DE102022003079A1

DE102022003079A1 - Method for an automated generation of data for raster map-based prediction approaches

Info

Publication number: DE102022003079A1
Application number: DE102022003079.9A
Authority: DE
Inventors: Julian Schmidt
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-08-23
Filing date: 2022-08-23
Publication date: 2022-12-08

Abstract

Die Erfindung betrifft ein Verfahren zu einer automatisierten Generierung von Daten für rasterkartenbasierte Prädiktionsansätze. Erfindungsgemäß wird ein Text-Rasterkarten-Paare aufweisender gelabelter Datensatz erstellt, wobei hierbei Szenarien eines bestehenden Datensatzes, welche historische Eingabedaten und zukunftsbezogene Ausgabedaten aufweisen, in zumindest eine Rasterkarte überführt werden und für jede Rasterkarte eine das entsprechende Szenario beschreibende Textbeschreibung erstellt wird. Weiterhin wird mittels zumindest eines Text-zu-Bild-Modells ein Text-zu-Raster-Modell erstellt. Das Text-zu-Raster-Modell wird auf den Text-Rasterkarten-Paaren des Datensatzes trainiert, wobei mittels des trainierten Text-zu-Raster-Modells durch Texteingaben Szenarien in Form von Rasterkarten generiert werden.The invention relates to a method for automated generation of data for raster map-based prediction approaches. According to the invention, a labeled data set containing pairs of text and raster maps is created, whereby scenarios of an existing data set, which have historical input data and future-related output data, are transferred to at least one raster map and a text description describing the corresponding scenario is created for each raster map. Furthermore, a text-to-raster model is created using at least one text-to-image model. The text-to-raster model is trained on the text-raster map pairs of the dataset, with the trained text-to-raster model generating scenarios in the form of raster maps through text input.

Description

Die Erfindung betrifft ein Verfahren zu einer automatisierten Generierung von Daten für rasterkartenbasierte Prädiktionsansätze.The invention relates to a method for automated generation of data for raster map-based prediction approaches.

Eine Prädiktion von Verkehrsteilnehmern, beispielsweise Fahrzeugen, bildet einen essenziellen Bestandteil zum Betrieb automatisiert, insbesondere hochautomatisiert oder autonom fahrender Fahrzeuge. Eine zuverlässige und sichere Bewegungsplanung ist nur dann möglich, wenn auch diese Prädiktion von hoher Qualität ist.A prediction of road users, for example vehicles, forms an essential component for the operation of automated, in particular highly automated or autonomously driving vehicles. Reliable and secure movement planning is only possible if this prediction is also of high quality.

In diesem Zusammenhang sind lernbasierte Methoden zu einer Trajektorienprädiktion bekannt, bei denen eine Qualität der Ergebnisse stark vom jeweils zugrundeliegenden Datensatz abhängt. Ein maßgeblicher Einflussfaktor des Datensatzes auf eine Güte der jeweiligen Prädiktion ist die Diversität oder Szenarienverteilung des Datensatzes. Besteht dieser beispielsweise nur aus Szenarien, in denen ein Spurfolgemanöver prädiziert werden soll, kann keine hohe Prädiktionsgüte für Abbiegevorgänge erreicht werden. Zusätzlich fehlen in realen Datensätzen häufig kritische Szenarien, wie beispielsweise Beinaheunfälle oder Unfälle.In this context, learning-based methods for trajectory prediction are known, in which the quality of the results depends heavily on the respective underlying data set. A significant influencing factor of the data set on the quality of the respective prediction is the diversity or scenario distribution of the data set. For example, if this only consists of scenarios in which a lane following maneuver is to be predicted, a high prediction quality for turning maneuvers cannot be achieved. In addition, critical scenarios such as near misses or accidents are often missing from real data sets.

Aus diesem Grund existieren Verfahren, mit welchen automatisiert und gezielt bestimmte Szenarien generiert werden können. Diese Szenarien können beispielsweise dazu genutzt werden, um bestehende Datensätze zu erweitern, beispielsweise um Verteilungen der Szenarien besser auszugleichen oder kritische Szenarien hinzuzufügen. Auch ist es bekannt, rein automatisiert Datensätze zu erstellen.For this reason, there are methods with which certain scenarios can be generated automatically and in a targeted manner. These scenarios can be used, for example, to expand existing data sets, for example to better balance the distributions of the scenarios or to add critical scenarios. It is also known to create data sets in a purely automated manner.

Aus dem Stand der Technik sind rasterkartenbasierte Prädiktionsansätze bekannt, bei welchen eine Umgebung in einer Rasterkarte aus einer Vogelperspektive dargestellt wird. Raster map-based prediction approaches are known from the prior art, in which an environment is represented in a raster map from a bird's eye view.

Teil der Umgebung können sowohl der zu prädizierende Verkehrsteilnehmer, umliegende von der Perzeption erkannte Verkehrsteilnehmer, rohe Sensordaten und Karteninformationen, beispielsweise einer HD-Karte, wie zum Beispiel Straßengeometrien, sein. Eingabedaten für rasterkartenbasierte Prädiktionsansätze bilden somit eine Rasterkarte der Umgebung.Part of the environment can be both the road user to be predicted, surrounding road users recognized by the perception, raw sensor data and map information, for example an HD map, such as road geometries. Input data for raster map-based prediction approaches thus form a raster map of the environment.

In „Kamenev, A. et al. PredictionNet: Real-Time Joint Probabilistic Traffic Prediction for Planning, Control, and Simulation; arXiv:2109.11094“ ist ein Verfahren zur Vorhersage einer zukünftigen Bewegung von Verkehrsteilnehmern, auch als Agenten bezeichnet, in einer Fahrzeugumgebung beschrieben. Hierbei wird ein tiefes künstliches neuronales Netzwerk verwendet, welches eine Bewegung aller umliegenden Verkehrsteilnehmer zusammen mit einer Bewegung eines Ego-Fahrzeugs vorhersagt. Alle Vorhersagen sind probabilistisch und werden in einer einfachen Top-Down-Rasterung dargestellt, die eine beliebige Anzahl von Agenten zulässt. Aufbereitet auf einer mehrschichtigen Karte mit Fahrspurinformationen gibt das Netzwerk zukünftige Positionen, Geschwindigkeiten und Rückverfolgungsvektoren gemeinsam für alle Agenten einschließlich des Ego-Fahrzeugs in einem einzigen Durchgang aus. Trajektorien werden dann aus dieser Ausgabe extrahiert. Weiterhin werden durch eine Erweiterung des Netzwerks mit einem so genannten Reinforcement Learning Ereignisse, wie aggressive Manöver und Unfälle, gehandhabt.In “Kamenev, A. et al. PredictionNet: Real-Time Joint Probabilistic Traffic Prediction for Planning, Control, and Simulation; arXiv:2109.11094" describes a method for predicting a future movement of road users, also referred to as agents, in a vehicle environment. A deep artificial neural network is used here, which predicts a movement of all surrounding road users together with a movement of an ego vehicle. All predictions are probabilistic and presented in a simple top-down grid that allows for any number of agents. Rendered on a multi-layered map with lane information, the network outputs future positions, velocities and tracking vectors together for all agents including the ego vehicle in a single pass. Trajectories are then extracted from this output. Furthermore, by expanding the network with so-called reinforcement learning, events such as aggressive maneuvers and accidents are handled.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zu einer automatisierten Generierung von Daten für rasterkartenbasierte Prädiktionsansätze anzugeben.The invention is based on the object of specifying a novel method for automated generation of data for raster map-based prediction approaches.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous configurations of the invention are the subject matter of the dependent claims.

In dem Verfahren zu einer automatisierten Generierung von Daten für rasterkartenbasierte Prädiktionsansätze wird erfindungsgemäß ein Text-Rasterkarten-Paare aufweisender gelabelter Datensatz erstellt, wobei hierbei Szenarien eines bestehenden Datensatzes, welche historische Eingabedaten und zukunftsbezogene Ausgabedaten aufweisen, in zumindest eine Rasterkarte überführt werden und für jede Rasterkarte eine das entsprechende Szenario beschreibende Textbeschreibung erstellt wird. Weiterhin wird mittels zumindest eines Text-zu-Bild-Modells ein Text-zu-Raster-Modell erstellt. Insbesondere bedeutet dies, dass das Text-zu-Raster-Modell zum Beispiel die gleiche Modellarchitektur hat bzw. das Prinzip darauf basiert. Das Text-zu-Raster-Modell wird auf den Text-Rasterkarten-Paaren des Datensatzes trainiert, wobei mittels des trainierten Text-zu-Raster-Modells durch Texteingaben Szenarien in Form von Rasterkarten generiert werden.In the method for an automated generation of data for raster map-based prediction approaches, a labeled data set containing text-raster map pairs is created according to the invention, whereby scenarios of an existing data set, which have historical input data and future-related output data, are transferred to at least one raster map and for each raster map a text description describing the corresponding scenario is created. Furthermore, a text-to-raster model is created using at least one text-to-image model. In particular, this means that the text-to-raster model, for example, has the same model architecture or the principle is based on it. The text-to-raster model is trained on the text-raster map pairs of the dataset, with the trained text-to-raster model generating scenarios in the form of raster maps through text input.

Beispielsweise kann eine Rasterkarte dabei als eine Verallgemeinerung eines Bilds gesehen werden. In verschiedenen Layern der Rasterkarte, englisch Channels, können verschiedene Informationen dargestellt werden. Ein typisches Bild hat beispielsweise drei Layer (RGB), wobei eine Rasterkarte, abhängig von gegebenen Informationen, auch deutlich mehr Layer beinhalten kann. Beispielsweise kann mittels so genannter Convolutional Neural Networks während des Trainingsprozesses gelernt werden, aus gegebenen Eingabedaten der Rasterkarte Prädiktionen zu tätigen. Ein mögliches Ausgabeformat solcher Prädiktionsansätze ist dann eine Rasterkarte der Zukunft, also eine zukünftige Position des prädizierten Verkehrsteilnehmers in der Umgebung.For example, a raster map can be seen as a generalization of an image. Different information can be displayed in different layers of the raster map, English channels. A typical image has, for example, three layers (RGB), whereby a raster map can also contain significantly more layers, depending on the information given. For example, so-called convolutional neural networks can be used during the training process to learn how to make predictions from given input data of the raster map. A possible output format of such prediction approaches is then a raster Map of the future, i.e. a future position of the predicted road user in the area.

Mittels des vorliegenden Verfahrens können für rasterkartenbasierte Prädiktionsansätze verwendete Datensätze beliebig erweitert oder automatisiert generiert werden. Dies kann dazu genutzt werden, unterpräsentierte Szenarien besser abzudecken oder kritische Szenarien abzudecken. Insbesondere die Generierung kritischer Szenarien wird erst durch die einzigartige Fähigkeit, dass solche Modelle auch bisher nicht gesehene Szenarien generieren können, möglich.Using the present method, data sets used for raster map-based prediction approaches can be arbitrarily expanded or automatically generated. This can be used to better cover under-presented scenarios or to cover critical scenarios. In particular, the generation of critical scenarios is only possible due to the unique ability that such models can also generate previously unseen scenarios.

Die Beschreibung solcher Szenarien ist durch die einfache Textform für den Menschen in einfacher Weise interpretierbar. Dieser kann demnach aus einfachen textuellen Beschreibungen diverse und komplexe Szenarien generieren. Müsste ein Mensch händisch Rasterkarten ähnlich komplexer Szenarien erstellen, wäre ein enormer Mehraufwand notwendig.The description of such scenarios can be easily interpreted by humans due to the simple text form. This can therefore generate diverse and complex scenarios from simple textual descriptions. If a person had to create raster maps of similarly complex scenarios by hand, an enormous amount of additional work would be required.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Exemplary embodiments of the invention are explained in more detail below with reference to a drawing.

Dabei zeigt:

1 schematisch eine Draufsicht einer Verkehrssituation mit mehreren Verkehrsteilnehmern.

It shows:

1 schematically shows a top view of a traffic situation with several road users.

In der einzigen 1 ist eine Draufsicht einer Verkehrssituation mit mehreren Verkehrsteilnehmern V1 bis Vn dargestellt, wobei in einem rasterkartenbasierten Prädiktionsansatz mittels eines rasterkartenbasierten Prädiktionsmodells ein Verhalten des Verkehrsteilnehmers V1 und in dessen Umgebung befindlicher Verkehrsteilnehmer V2 bis Vn prädiziert wird. Die Verkehrsteilnehmer V1 bis Vn sind beispielsweise Fahrzeuge im Bereich einer Straßenkreuzung.In the only 1 1 shows a top view of a traffic situation with several road users V1 to Vn, wherein a behavior of the road user V1 and the road users V2 to Vn in its vicinity are predicted in a grid map-based prediction approach using a grid map-based prediction model. The road users V1 to Vn are, for example, vehicles in the area of a street crossing.

Zum Training eines solchen rasterkartenbasierten Prädiktionsmodells sind Rasterkarten erforderlich. Zur Erzeugung dieser Rasterkarten werden in einem Verfahren automatisiert Daten generiert.Raster maps are required to train such a raster map-based prediction model. To generate these grid maps, data is automatically generated in a process.

Dieses Verfahren basiert auf bekannten Text-zu-Bild-Modellen, auch als Text-to-Image-Model bezeichnet. Solche Text-zu-Bild-Modelle sind dafür trainiert, aus einer Texteingabe eine Bildausgabe zu erstellen. Derartige Text-zu-Bild-Modelle sind beispielsweise aus

- Ramesh, A. et al.: Zero-Shot Text-to-Image Generation; arXiv:2102.12092
- Ramesh, A. et al.: Hierarchical Text-Conditional Image Generation with CLIP Latents; arXiv:2204.06125 und
- Saharia, S. et al.: Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding; arXiv:2205.11487

bekannt. Für das Training solcher Text-zu-Bild-Modelle wird üblicherweise ein Datensatz verwendet, welcher Text-Bild-Paare aufweist. Modellarchitekturen können dabei beispielsweise die so genannte BERT- oder GPT3-Architektur sein.This method is based on known text-to-image models, also known as text-to-image models. Such text-to-image models are trained to create image output from text input. Such text-to-image models are off, for example

- Ramesh, A. et al.: Zero-Shot Text-to-Image Generation; arXiv:2102.12092
- Ramesh, A. et al.: Hierarchical Text-Conditional Image Generation with CLIP Latents; arXiv:2204.06125 and
- Saharia, S. et al.: Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding; arXiv:2205.11487

known. For the training of such text-to-image models, a data set which has text-image pairs is usually used. Model architectures can be the so-called BERT or GPT3 architecture, for example.

Nach erfolgreichem Training sind solche Text-zu-Bild-Modelle in der Lage, aus einer Texteingabe mehrere unterschiedliche Bilder zu generieren. Aufgrund des lernbasierten Ansatzes sind die Text-zu-Bild-Modelle auch in der Lage, Bilder zu generieren, die aus bisher noch nie gesehenen Kombinationen bestehen. Beispielsweise resultieren aus einer Texteingabe „Avocado Sessel“ Bilder mit mehreren aus Avocados gebildeten Sesseln, wie dies beispielsweise unter https://www.heise.de/hintergrund/Ein-Avocado-Sessel-als-Zukunft-der-KI-5018147.html beschrieben ist.After successful training, such text-to-image models are able to generate several different images from a text input. Due to the learning-based approach, the text-to-image models are also able to generate images consisting of combinations never seen before. For example, a text input “Avocado armchair” results in images with several armchairs made of avocados, as can be seen, for example, at https://www.heise.de/background/Ein-Avocado-Sessel-als-Zukunft-der-KI-5018147.html is described.

Dieses grundlegende Prinzip wird auch in dem vorliegenden Verfahren zur automatisierten Generierung von Daten bzw. Szenarien für rasterkartenbasierte Prädiktionsansätze verwendet.This basic principle is also used in the present method for the automated generation of data or scenarios for raster map-based prediction approaches.

Hierbei wird zunächst ein Text-Rasterkarten-Paare aufweisender gelabelter Datensatz erstellt, wobei Szenarien eines bestehenden Datensatzes, welche historische Eingabedaten und zukunftsbezogene Ausgabedaten aufweisen, in zumindest eine Rasterkarte bzw. Rasterkartenrepräsentation überführt werden. Der Datensatz ist beispielsweise für eine Trajektorienprädiktion der Verkehrsteilnehmer V1 bis Vn gemäß „Chang, Ming-Fang et al.: Argoverse: 3D Tracking and Forecasting with Rich Maps; arXiv: 1911.02620“ vorgesehen.First, a labeled data set containing text-raster map pairs is created, with scenarios of an existing data set containing historical input data and future-related output data being transferred to at least one raster map or raster map representation. The data set is, for example, for a trajectory prediction of road users V1 to Vn according to "Chang, Ming-Fang et al.: Argoverse: 3D Tracking and Forecasting with Rich Maps; arXiv: 1911.02620”.

Bestandteil der Rasterkarte können dabei historische Positionen des zu prädizierenden Verkehrsteilnehmers V1 und/oder historische Positionen von umliegenden, von einer Perzeption erkannten Verkehrsteilnehmern V2 bis Vn und/oder historische rohe Sensordaten und/oder Karteninformationen, beispielsweise einer HD-Karte, wie zum Beispiel Straßengeometrien, sein. Diese Bestandteile sind dabei in mindestens einem Layer der Rasterkarte abgelegt. Zu den umliegenden Verkehrsteilnehmern V2 bis Vn können, neben oder alternativ zu den oben bereits erwähnten Fahrzeugen, beispielsweise auch Fußgänger und/oder Radfahrer und/oder andere Verkehrsteilnehmer gehören. In 1 sind beispielsweise Fußgänger und/oder Radfahrer als Punkte bzw. Kreise dargestellt.Components of the raster map can be historical positions of the road user V1 to be predicted and/or historical positions of surrounding road users V2 to Vn recognized by a perception and/or historical raw sensor data and/or map information, for example an HD map, such as road geometries, be. These components are stored in at least one layer of the raster map. In addition to or as an alternative to the vehicles already mentioned above, the surrounding road users V2 to Vn can also include, for example, pedestrians and/or cyclists and/or other road users. In 1 For example, pedestrians and/or cyclists are shown as dots or circles.

In zumindest einem weiteren Layer der Rasterkarte wird zumindest eine zukünftige Position des zu prädizierenden Verkehrsteilnehmers V1 abgebildet.In at least one further layer of the raster map, at least one future position of the mapped to be predicted road user V1.

Insbesondere gleichzeitig wird für jede Rasterkarte eine das entsprechende Szenario beschreibende Textbeschreibung erstellt. Die Textbeschreibung kann dabei mittels eines manuellen Labelings durch einen oder mehrere Anwender und/oder mittels eines automatisierten Labelings erstellt werden. Für das automatisierte Labeling können bereits bekannte Methoden, beispielsweise eine in „Schmidt, J. et al.: MEAT: Maneuver Extraction from Agent Trajectories; arXiv:2206.05158“ beschriebene Methode, verwendet werden.In particular, at the same time, a text description describing the corresponding scenario is created for each raster map. The text description can be created by one or more users by means of manual labeling and/or by means of automated labeling. Methods that are already known can be used for automated labeling, for example one described in “Schmidt, J. et al.: MEAT: Maneuver Extraction from Agent Trajectories; arXiv:2206.05158” method can be used.

Das heißt, mittels zumindest eines Text-zu-Bild-Modells wird ein Text-zu-Raster-Modell erstellt. Ein Beispiel für ein solches Text-Rasterkarten-Paar ist gemäß 1 für den Verkehrsteilnehmer V1 und einen vor diesem befindlichen Verkehrsteilnehmer V2: „Rechtsabbiegevorgang mit vorherfahrendem Fahrzeug“.That is, a text-to-raster model is created using at least one text-to-image model. An example of such a text-raster map pair is according to 1 for road user V1 and a road user V2 in front of him: “Right turning process with vehicle in front”.

Der Unterschied zwischen einem Text-zu-Bild-Modell und dem erzeugten Text-zu-Raster-Modell ist, dass die Anzahl der Layer der Rasterkarte deutlich größer sein kann, als die Anzahl der Layer von typischen Bildern.The difference between a text-to-image model and the generated text-to-raster model is that the number of layers in the raster map can be significantly larger than the number of layers in typical images.

Anschließend wird das Text-zu-Raster Modell auf Text-Rasterkarten-Paaren des zuvor erstellten Datensatzes trainiert.The text-to-raster model is then trained on text-raster map pairs from the previously created dataset.

Mittels des so trainierten Text-zu-Raster-Modells können durch Texteingaben beliebig diverse Szenarien in Form von Rasterkarten generiert werden. Dabei können entweder manuell durch Anwender oder automatisiert Texteingaben vorgegeben werden.Using the text-to-raster model trained in this way, any number of scenarios can be generated in the form of raster maps by entering text. Text input can be specified either manually by the user or automatically.

Beispielsweise kann manuell als Texteingabe vorgegeben werden: „Linksabbiegevorgang mit Beinaheunfall“.For example, the following text can be entered manually: “Left turn with near-accident”.

Die Texteingabe kann dazu verwendet werden, Rasterkarten für kritische Szenarien oder für im Datensatz unterrepräsentierte Szenarien zu generieren.Text input can be used to generate raster maps for critical scenarios or for scenarios underrepresented in the data set.

Wird ein rasterkartenbasiertesTrajektorienprädiktionsmodell im Anschluss trainiert, so kann eine vom Text-zu-Raster-Modell erstellte Rasterkarte in Eingabedaten und Ausgabedaten aufgeteilt werden. Dies ist möglich, da bei der Generierung der Rasterkarten des Datensatzes die historischen und zukunftsbezogenen Daten in verschiedene Layer aufgeteilt werden. Als Eingabedaten dienen dabei die Layer, die lediglich historische Informationen beinhalten und als Trainingsziel können die Layer verwendet werden, die die zukünftige Position des zu prädizierenden Verkehrsteilnehmers V1 widerspiegeln.When subsequently training a raster map-based trajectory prediction model, a raster map created from the text-to-raster model can be split into input data and output data. This is possible because when generating the raster maps of the data set, the historical and future data are split into different layers. The layers that only contain historical information serve as input data, and the layers that reflect the future position of the road user V1 to be predicted can be used as the training target.

Somit ist es mittels des Verfahrens möglich, Szenarien eines Datensatzes zur Trajektorienprädiktion in Rasterkarten umzuwandeln und manuell oder automatisiert Textbeschreibungen der einzelnen Szenarien zu generieren. Mittels zumindest eines Text-zu-Raster-Modells, welches beispielsweise als Verallgemeinerung aktueller Text-zu-Bild-Modelle gesehen werden kann, wird auf den Text-Rasterkarten-Paaren des Datensatzes trainiert, wobei das trainierte Text-zu-Raster-Modell dazu verwendet werden kann, beliebige und vom Menschen interpretierbare Textbeschreibungen in Rasterkarten umzuwandeln. Diese Rasterkarten können für das Training von rasterkartenbasierten Prädiktionsmodellen verwendet werden.It is thus possible using the method to convert scenarios of a data set for trajectory prediction into raster maps and to generate text descriptions of the individual scenarios manually or automatically. Using at least one text-to-raster model, which can be seen, for example, as a generalization of current text-to-image models, training is carried out on the text-raster map pairs of the dataset, with the trained text-to-raster model also being used can be used to convert arbitrary and human-interpretable textual descriptions into raster maps. These raster maps can be used to train raster map-based prediction models.

Claims

Method for the automated generation of data for raster map-based prediction approaches, characterized in that - a labeled data set containing text-raster map pairs is created, wherein - scenarios of an existing data set, which have historical input data and future-related output data, are transferred to at least one raster map and - a text description describing the corresponding scenario is created for each raster map, - a text-to-raster model is created using at least one text-to-image model, - the text-to-raster model on the text-raster maps- pairing of the dataset is trained and - by means of the trained text-to-raster model, scenarios in the form of raster maps are generated by text input.

procedure after claim 1 , characterized in that in at least one layer of the at least one raster map - historical positions of a road user (V1) to be predicted and/or - historical positions of surrounding road users (V2 to Vn) recognized by a perception and/or - historical raw sensor data and /or - Card information is or will be displayed.

procedure after claim 1 or 2 , characterized in that at least one future position of a road user (V1) to be predicted is depicted in at least one layer of the at least one raster map.

Method according to one of the preceding claims, characterized in that the text describing the corresponding scenario writing is created by means of manual labeling and/or automated labeling.

Method according to one of the preceding claims, characterized in that the historical input data and the future-related output data are stored in different layers of the at least one raster map.

Use of a raster map generated in a method according to one of the preceding claims for training a raster map-based prediction model.