DE102020214514A1

DE102020214514A1 - Method for controlling a motor vehicle and control device

Info

Publication number: DE102020214514A1
Application number: DE102020214514.8A
Authority: DE
Inventors: Anne Stockem Novo; Till Nattermann; Martin Krüger
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2020-11-18
Filing date: 2020-11-18
Publication date: 2022-05-19
Also published as: WO2022106336A1

Abstract

Ein Verfahren zum Steuern eines Kraftfahrzeugs (12) hat die folgenden Schritte:- Erhalten mehrerer, in zeitlichem Abstand erzeugten Aufnahmen einer Straße (14) und wenigstens eines sich auf der Straße (14) befindenden sichtbaren Verkehrsteilnehmers (22),- Erzeugen von Fahrzeugumgebungsdaten auf Grundlage der Aufnahmen durch ein Steuergerät des Kraftfahrzeugs (12),- Übergeben der Fahrzeugumgebungsdaten (U) an ein trainiertes Maschinenlernmodul, und- Ermitteln der wahrscheinlichen Präsenz wenigstens eines verdeckten Verkehrsteilnehmers (24) in einem von dem wenigstens einen sichtbaren Verkehrsteilnehmer (22) verdeckten Teil der Straße (14) durch das trainierte Maschinenlernmodul.Ferner ist ein Steuergerät (30) gezeigt.A method for controlling a motor vehicle (12) has the following steps: - Obtaining a plurality of recordings of a road (14) and at least one visible road user (22) on the road (14), generated at a time interval, - Generating vehicle environment data Based on the recordings by a control unit of the motor vehicle (12), - transferring the vehicle environment data (U) to a trained machine learning module, and - determining the probable presence of at least one hidden road user (24) in a part covered by the at least one visible road user (22). the road (14) by the trained machine learning module. A control unit (30) is also shown.

Description

Die Erfindung betrifft ein Verfahren zum Steuern eines Kraftfahrzeugs, ein Steuergerät für ein Kraftfahrzeug, ein Kraftfahrzeug sowie ein Computerprogramm zum Durchführen des Verfahrens.The invention relates to a method for controlling a motor vehicle, a control unit for a motor vehicle, a motor vehicle and a computer program for carrying out the method.

Fahrassistenzsysteme, die eine Längsbewegung und/oder eine Querbewegung eines Kraftfahrzeugs teilweise automatisiert oder vollständig automatisiert steuern, ermitteln die Steuerbefehle zum Steuern der Längs- und/oder Querbewegung anhand von Sensoren, die die Umgebung des Kraftfahrzeugs aufnehmen.Driving assistance systems that control a longitudinal movement and/or a transverse movement of a motor vehicle in a partially automated or fully automated manner determine the control commands for controlling the longitudinal and/or transverse movement using sensors that record the surroundings of the motor vehicle.

Dabei wird der von den Sensoren erfassbare Bereich der Umgebung des Kraftfahrzeugs regelmäßig durch andere, sichtbare Verkehrsteilnehmer begrenzt.The area around the motor vehicle that can be detected by the sensors is regularly limited by other visible road users.

Beispielsweise fährt vor dem Kraftfahrzeug ein Verkehrsteilnehmer in derselben Fahrspur. Der weitere Verkehrsteilnehmer ist dann für einen Sensor des Kraftfahrzeugs, wie eine Kamera, sichtbar und der Verkehrsteilnehmer begrenzt gleichzeitig den von der Kamera wahrnehmbaren Bereich in dieser Fahrspur.For example, a road user is driving ahead of the motor vehicle in the same lane. The other road user is then visible to a sensor of the motor vehicle, such as a camera, and at the same time the road user limits the area in this lane that can be perceived by the camera.

Das Erkennen von weiteren Verkehrsteilnehmern, die durch den sichtbaren Verkehrsteilnehmer verdeckt sind, stellt eine große Herausforderung für die Fahrassistenzsystem dar.The recognition of other road users who are hidden by the visible road user represents a major challenge for the driver assistance system.

Aus dem Stand der Technik ist es zum Beispiel bekannt, teilweise verdeckte Verkehrsteilnehmer zu erkennen und zu verfolgen. Diese Verkehrsteilnehmer können räumlich oder zeitlich teilweise verdeckt sein.It is known from the prior art, for example, to recognize and track partially hidden road users. These road users can be partially obscured spatially or temporally.

Beispielsweise kann ein Verkehrsteilnehmer, dessen Fahrzeugabmessungen signifikant größer sind als die des sichtbaren Verkehrsteilnehmers durch solche Systeme erkannt werden. Außerdem kann ein zeitlich teilweise verdeckter Verkehrsteilnehmer zum Beispiel beim Durchfahren einer Kurve erkannt werden.For example, a road user whose vehicle dimensions are significantly larger than those of the visible road user can be recognized by such systems. In addition, a road user who is partially obscured in terms of time can be recognized, for example when driving through a curve.

Dementsprechend erkennen diese Systeme nur teilweise verdeckte Verkehrsteilnehmer und auch nur in bestimmten Verkehrssituationen.Accordingly, these systems only recognize partially concealed road users and only in certain traffic situations.

Es ist daher die Aufgabe der Erfindung, die wahrnehmbare Umgebung des Kraftfahrzeugs zu erweitern.It is therefore the object of the invention to expand the perceptible surroundings of the motor vehicle.

Diese Aufgabe wird gelöst durch ein Verfahren zum Steuern eines Kraftfahrzeugs, das auf einer Straße fährt. Das Verfahren weist die folgenden Schritte auf:

Erhalten mehrerer, in zeitlichem Abstand erzeugten Aufnahmen der Straße und wenigstens eines sich auf der Straße befindenden sichtbaren Verkehrsteilnehmers durch ein Steuergerät des Kraftfahrzeugs, wobei die Aufnahmen mittels wenigstens eines Sensors des Kraftfahrzeugs erzeugt werden,
Erzeugen von Fahrzeugumgebungsdaten auf Grundlage der Aufnahmen durch das Steuergerät, wobei die Fahrzeugumgebungsdaten zumindest die Position des wenigstens einen sichtbaren Verkehrsteilnehmers relativ zum Kraftfahrzeug umfassen,
Übergeben der Fahrzeugumgebungsdaten an ein Ergänzungsmodul des Steuergeräts, wobei das Ergänzungsmodul ein trainiertes Maschinenlernmodul ist, und
Ermitteln der wahrscheinlichen Präsenz wenigstens eines verdeckten Verkehrsteilnehmers in einem von dem wenigstens einen sichtbaren Verkehrsteilnehmer verdeckten Teil der Straße durch das trainierte Maschinenlernmodul.

This object is achieved by a method for controlling a motor vehicle that is driving on a road. The procedure has the following steps:

Obtaining several recordings of the road and at least one visible road user on the road, generated at intervals, by a control unit of the motor vehicle, the recordings being generated by means of at least one sensor of the motor vehicle,
Generation of data surrounding the vehicle on the basis of the recordings by the control unit, the data surrounding the vehicle comprising at least the position of the at least one visible road user relative to the motor vehicle,
Transferring the vehicle environment data to a supplementary module of the control unit, the supplementary module being a trained machine learning module, and
Determining the probable presence of at least one hidden road user in a part of the road covered by the at least one visible road user by the trained machine learning module.

Die Erfindung beruht auf dem Grundgedanken, basierend auf dem Verhalten des zumindest eines sichtbaren Verkehrsteilnehmers auf zumindest einen weiteren Verkehrsteilnehmer zu schließen, der durch den sichtbaren Verkehrsteilnehmer verdeckt ist. Hierfür werden durch den Sensor des Kraftfahrzeugs mehrere Aufnahmen einer Umgebung des Kraftfahrzeugs aufgenommen. In diesen Aufnahmen sind die Straße und der sichtbare Verkehrsteilnehmer durch die Sensoren abgebildet. Aus den mehreren, in zeitlichen Abstand zueinander erzeugten Aufnahmen der Umgebung des Kraftfahrzeugs kann das Steuergerät dann die Fahrzeugumgebungsdaten erzeugen, aus denen zeitlich aufgelöst zumindest die relative Position des Verkehrsteilnehmers hervorgeht, also die Bewegungsabfolge des sichtbaren Verkehrsteilnehmers innerhalb eines Aufnahmezeitraums. Aus dieser Bewegungsabfolge, bzw. dem Verhalten des sichtbaren Verkehrsteilnehmers, ermittelt das trainierte Maschinenlernmodul dann die wahrscheinliche Präsenz eines verdeckten Verkehrsteilnehmers. Folglich kann auch auf verdeckte Verkehrsteilnehmer geschlossen werden, sodass die wahrnehmbare Umgebung des Kraftfahrzeugs vergrößert wird.The invention is based on the basic idea of inferring at least one other road user who is hidden by the visible road user based on the behavior of the at least one visible road user. For this purpose, the sensor of the motor vehicle takes multiple pictures of an area surrounding the motor vehicle. In these recordings, the road and the visible road user are represented by the sensors. From the multiple recordings of the surroundings of the motor vehicle that are generated at different times, the control unit can then generate the vehicle surroundings data, from which at least the relative position of the road user can be seen resolved over time, i.e. the sequence of movements of the visible road user within a recording period. From this movement sequence or the behavior of the visible road user, the trained machine learning module then determines the probable presence of a hidden road user. Consequently, hidden road users can also be inferred, so that the perceptible surroundings of the motor vehicle are enlarged.

Diese vergrößerte wahrnehmbare Umgebung des Kraftfahrzeugs wird beispielsweise von weiteren Modulen des Steuergeräts zur Fahrmanöverplanung verwendet. Es werden also zusätzliche Informationen bereitgestellt, die insbesondere in komplexen Verkehrssituationen, also in Verkehrssituationen mit einer Vielzahl an sichtbaren und verdeckten Verkehrsteilnehmern, eine vorausschauende Fahrweise des Kraftfahrzeugs ermöglichen. Auf diese Weise werden weniger abrupte Fahrmanöver durch das Kraftfahrzeug durchgeführt und die Fahrsicherheit sowie der Komfort für die Fahrzeuginsassen erhöht.This enlarged, perceptible environment of the motor vehicle is used, for example, by further modules of the control device for driving maneuver planning. Additional information is thus made available which, in particular in complex traffic situations, that is to say in traffic situations with a large number of visible and hidden road users, enables the motor vehicle to drive with foresight. This way, driving will be less abrupt maneuver carried out by the motor vehicle and increases driving safety and comfort for the vehicle occupants.

Unter „sichtbaren Verkehrsteilnehmern“ werden diejenigen Verkehrsteilnehmer verstanden, die im Detektionsbereich des Sensors des Kraftfahrzeugs sind.“Visible road users” are those road users who are in the detection range of the sensor of the motor vehicle.

Entsprechend sind „verdeckte Verkehrsteilnehmer“ solche, die nicht im Detektionsbereich des Sensors des Kraftfahrzeugs sind, beispielsweise weil sie durch einen sichtbaren Verkehrsteilnehmer verdeckt sind.Correspondingly, "concealed road users" are those who are not in the detection range of the motor vehicle's sensor, for example because they are covered by a visible road user.

Es ist denkbar, dass der sichtbare und/oder der verdeckte Verkehrsteilnehmer auch ein Kraftfahrzeug ist bzw. Kraftfahrzeuge sind.It is conceivable that the visible and/or the concealed road user is or are motor vehicles.

Die Aufnahmen der Straße und des wenigstens einen sichtbaren Verkehrsteilnehmers können von einer Vielzahl an Sensoren bereitgestellt werden. Beispielsweise handelt es sich bei dem zumindest einen Sensor um eine Kamera, einen Radarsensor, einen Abstandssensor, einen Ultraschallsensor, einen LIDAR-Sensor („light detection and ranging“) und/oder eine beliebige andere Art Sensor, der die Straße und den sichtbaren Verkehrsteilnehmer wahrnehmen kann.The recordings of the road and the at least one visible road user can be provided by a large number of sensors. For example, the at least one sensor is a camera, a radar sensor, a distance sensor, an ultrasonic sensor, a LIDAR sensor (“light detection and ranging”) and/or any other type of sensor that detects the road and the visible road user can perceive.

Üblicherweise weisen Kraftfahrzeuge eine Vielzahl solcher Sensoren auf und das Steuergerät kann von mehr als einem Sensor, insbesondere allen Sensoren entsprechende mehrere, in zeitlichem Abstand erzeugte Aufnahmen der Straße und des wenigstens einen sich auf der Straße befindenden sichtbaren Verkehrsteilnehmers erhalten.Motor vehicles usually have a large number of such sensors, and the control device can receive multiple recordings of the road and of the at least one visible road user on the road from more than one sensor, in particular from all sensors.

Im Allgemeinen kann der Sensor oder die Vielzahl an Sensoren nicht nur den Bereich in Fahrtrichtung vor einem Kraftfahrzeug aufnehmen, sondern auch den Bereich neben, d.h. seitlich des Kraftfahrzeugs, und/oder hinter dem Kraftfahrzeug.In general, the sensor or the plurality of sensors can record not only the area in front of a motor vehicle in the direction of travel, but also the area next to, i.e. to the side of, the motor vehicle and/or behind the motor vehicle.

Zusätzlich kann der Bereich, der von dem Sensor erfasst wird, nicht nur auf die Stra-ße begrenzt sein. Es ist denkbar, dass der Sensor auch die Bereiche neben der Straße aufnimmt. In den Bereichen neben der Straße können zum Beispiel Verkehrsschilder angeordnet sein, die auch von den Sensoren erfasst werden können.In addition, the area covered by the sensor may not be limited to just the road. It is conceivable that the sensor will also record the areas next to the road. For example, traffic signs can be arranged in the areas next to the road, which can also be detected by the sensors.

Das Steuergerät erzeugt dann aus den Aufnahmen des einen Sensors oder der Vielzahl an Sensoren die Fahrzeugumgebungsdaten. Diese Fahrzeugumgebungsdaten umfassen beispielsweise zeitlich aufgelöst die relative Position in Bezug zum Kraftfahrzeug und/oder die absolute Position, Geschwindigkeit und/oder Beschleunigung des Verkehrsteilnehmers, die Art des Verkehrsteilnehmers, die Abmessungen des Verkehrsteilnehmers, wie Höhe, Länge und/oder Breite, und/oder die Anzahl an Fahrspuren der Straße.The control unit then generates the data surrounding the vehicle from the recordings of one sensor or the plurality of sensors. This data surrounding the vehicle includes, for example, the relative position in relation to the motor vehicle and/or the absolute position, speed and/or acceleration of the road user, the type of road user, the dimensions of the road user, such as height, length and/or width, and/or resolved over time the number of lanes on the road.

Dabei sind die Position, die Geschwindigkeit und/oder die Beschleunigung des Verkehrsteilnehmers insbesondere zweidimensionale Werte, beispielsweise entlang und senkrecht zu der Fahrspur oder der Trajektorie, auf der sich der Verkehrsteilnehmer bewegt.The position, the speed and/or the acceleration of the road user are in particular two-dimensional values, for example along and perpendicular to the lane or the trajectory on which the road user is moving.

Das Steuergerät bestimmt also insbesondere die longitudinale und laterale Beschleunigung, die longitudinale und laterale Geschwindigkeit, die longitudinale und laterale Position des Verkehrsteilnehmers.The control device thus determines in particular the longitudinal and lateral acceleration, the longitudinal and lateral speed, the longitudinal and lateral position of the road user.

Es ist denkbar, dass das Steuergerät den Fahrzeugtyp und/oder die Fahrzeugklasse als Art des Verkehrsteilnehmers bestimmt.It is conceivable that the control device determines the vehicle type and/or the vehicle class as the type of road user.

Beispielsweise kombiniert das Steuergerät die von der Vielzahl an Sensoren erhaltenen Aufnahmen. Auf diese Weise kann der Informationsgehalt der Fahrzeugumgebungsdaten erhöht werden, da auch Informationen bereitgestellt werden, die zwar von einem Sensor erfasst wurden aber nicht von einem anderen.For example, the control unit combines the recordings received from the large number of sensors. In this way, the information content of the data surrounding the vehicle can be increased, since information is also provided that was recorded by one sensor but not by another.

So kann eine Kamera eine Fahrspurmarkierung und/oder ein Verkehrszeichen, beispielsweise eine Geschwindigkeitsbegrenzung, erkennen, die von einem Radarsensor nicht erfassbar sind. Allerdings kann mithilfe von Radarsensoren dann der relative Abstand zu dem sichtbaren Verkehrsteilnehmer besser aufgelöst werden.A camera can thus recognize a lane marking and/or a traffic sign, for example a speed limit, which cannot be detected by a radar sensor. However, the relative distance to the visible road user can then be better resolved with the help of radar sensors.

Die erzeugten Fahrzeugumgebungsdaten werden dann dem Ergänzungsmodul übergeben, das ein trainiertes Maschinenlernmodul ist.The generated vehicle environment data is then transferred to the supplemental module, which is a trained machine learning module.

Das Ergänzungsmodul weist zum Beispiel ein trainiertes neuronales Netz auf, das durch das erfahrene Training geprägt ist.The supplementary module has, for example, a trained neural network that is characterized by the training experienced.

Beispielsweise kann das Maschinenlernmodul aus der zeitlich aufgelösten Position, Geschwindigkeit und/oder Beschleunigung des zumindest einen sichtbaren Verkehrsteilnehmers ein Fahrmanöver und/oder eine Fahrzeugtrajektorie des sichtbaren Verkehrsteilnehmers bestimmen. Falls dieses Fahrmanöver oder diese Fahrzeugtrajektorie dann ein unerwartetes Fahrmanöver bzw. eine unerwartete Fahrzeugtrajektorie ist, kann das Ergänzungsmodul auf einen verdeckten Verkehrsteilnehmer schließen.For example, the machine learning module can determine a driving maneuver and/or a vehicle trajectory of the visible road user from the time-resolved position, speed and/or acceleration of the at least one visible road user. If this driving maneuver or this vehicle trajectory is then an unexpected driving maneuver or an unexpected vehicle trajectory, the supplementary module can conclude that there is a hidden road user.

So kann das Ergänzungsmodul auf einen verdeckten Verkehrsteilnehmer schließen, falls der sichtbare Verkehrsteilnehmer plötzlich die Geschwindigkeit verändert, zum Beispiel abbremst, und/oder einen Spurwechsel vornimmt.The supplementary module can thus conclude that there is a hidden road user if the visible road user suddenly dies Changes speed, for example slows down and/or changes lanes.

Ein Aspekt der Erfindung sieht vor, dass die Fahrzeugumgebungsdaten die Aufnahmen sind und/oder eine zweidimensionale Repräsentation der durch den wenigstens einen Sensor beobachteten Verkehrssituation ist. Auf diese Weise können die Aufnahmen direkt verarbeitet werden oder dem Maschinenlernmodul wird eine Art Bild als Eingabedaten übergeben, also einfach verarbeitbare Daten.One aspect of the invention provides that the data surrounding the vehicle are the recordings and/or are a two-dimensional representation of the traffic situation observed by the at least one sensor. In this way, the recordings can be processed directly or a type of image is passed to the machine learning module as input data, i.e. data that is easy to process.

Das Ergänzungsmodul kann Ausgabedaten ausgeben, die die Fahrzeugumgebungsdaten umfassen. Dabei sind die Fahrzeugumgebungsdaten um die verdeckten Verkehrsteilnehmer ergänzt. Folglich erweitert das Ergänzungsmodul nur die als Eingabedaten übergebenen Daten und es ist keine aufwendige Aufbereitung der Daten des Maschinenlernmoduls notwendig. Stattdessen können die Ausgabedaten direkt an weitere Module des Steuergeräts übergeben werden, die beispielsweise ein Fahrmanöver für das Kraftfahrzeug planen.The supplemental module can output output data that includes the vehicle surroundings data. The data surrounding the vehicle are supplemented by the hidden road users. As a result, the supplementary module only expands the data transferred as input data and no complex processing of the data from the machine learning module is necessary. Instead, the output data can be transferred directly to other modules of the control unit, which plan a driving maneuver for the motor vehicle, for example.

Zum Beispiel sind die Ausgabedaten die zweidimensionale Repräsentation der durch den wenigstens einen Sensor beobachteten Verkehrssituation, in der der wenigstens eine verdeckte Verkehrsteilnehmer ergänzt ist.For example, the output data is the two-dimensional representation of the traffic situation observed by the at least one sensor, in which the at least one hidden road user is added.

Im Allgemeinen ist es auch denkbar, dass das Ergänzungsmodul eine Wahrscheinlichkeit für das Vorhandensein des verdeckten Verkehrsteilnehmers und/oder eine wahrscheinliche Position des verdeckten Verkehrsteilnehmers angibt.In general, it is also conceivable for the supplementary module to indicate a probability of the presence of the hidden road user and/or a probable position of the hidden road user.

In einer Ausgestaltung der Erfindung umfasst die zweidimensionale Repräsentation die Fahrzeugumgebungsdaten in einem Frenet-Serret-Koordinatensystem. In diesem Koordinatensystem ist jede Straße krümmungsfrei, sodass unabhängig von einem tatsächlichen Verlauf der Straße jede Verkehrssituation auf die gleiche Art und Weise behandelt werden kann. Somit wird die Verarbeitung der Eingabedaten, also der Fahrzeugumgebungsdaten für das Ergänzungsmodul vereinfacht.In one embodiment of the invention, the two-dimensional representation includes the data surrounding the vehicle in a Frenet-Serret coordinate system. In this coordinate system, every street is free of curvature, so that every traffic situation can be treated in the same way, regardless of the actual course of the street. This simplifies the processing of the input data, ie the data surrounding the vehicle, for the supplementary module.

Ein weiterer Aspekt der Erfindung sieht vor, dass die Längsachse und die Querachse des Frenet-Serret-Koordinatensystems diskret sind. Somit werden die dem Ergänzungsmodul zugeführten Eingangsdaten reduziert, sodass dieses sehr schnell, insbesondere in Echtzeit, den verdeckten Verkehrsteilnehmer erkennen kann.A further aspect of the invention provides that the longitudinal axis and the transverse axis of the Frenet-Serret coordinate system are discrete. The input data supplied to the supplementary module is thus reduced, so that it can very quickly, in particular in real time, recognize the hidden road user.

Zum Beispiel entspricht die Anzahl an Werten der Querachse der Anzahl an Fahrspuren der Straße.For example, the number of lateral axis values corresponds to the number of lanes of the road.

Alternativ oder zusätzlich kann der Abstand der Werte in Längsrichtung des Koordinatensystems einem vorbestimmten Wert, insbesondere einer Fahrzeuglänge des Kraftfahrzeugs entsprechen.Alternatively or additionally, the distance between the values in the longitudinal direction of the coordinate system can correspond to a predetermined value, in particular a vehicle length of the motor vehicle.

Beispielsweise beträgt der Abstand in Längsrichtung zwischen zwei benachbarten Werten des Koordinatensystems 5 Meter.For example, the distance in the longitudinal direction between two adjacent values of the coordinate system is 5 meters.

Dabei kann der Bereich der Längsachse begrenzt sein, zum Beispiel auf 500 Meter vor und hinter dem Kraftfahrzeug.The area of the longitudinal axis can be limited, for example to 500 meters in front of and behind the motor vehicle.

Bei einer Straße mit drei Fahrspuren, einer Fahrzeuglänge von 5 Metern und einem Bereich von 500 Metern vor und hinter dem Fahrzeug würde das Koordinatensystem drei Werte in Querrichtung und 200 in Längsrichtung umfassen, also 600 Koordinatenpunkte.For a road with three lanes, a vehicle length of 5 meters and an area of 500 meters in front and behind the vehicle, the coordinate system would have three values in the lateral direction and 200 in the longitudinal direction, i.e. 600 coordinate points.

In einer Ausgestaltung der Erfindung werden die mehreren, in zeitlichem Abstand erzeugten Aufnahmen mit einer vordefinierten Abtastraste und/oder über ein vorbestimmtes Zeitintervall aufgenommen.In one embodiment of the invention, the multiple recordings generated at intervals in time are recorded with a predefined scanning raster and/or over a predefined time interval.

Mit anderen Worten wird eine bestimmte Sequenz von Aufnahmen an das Steuergerät übergeben. Dies stellt sicher, dass immer dieselbe Art an Eingabedaten an das Ergänzungsmodul übergeben werden.In other words, a specific sequence of recordings is transferred to the control unit. This ensures that the same type of input data is always passed to the plug-in.

Beispielsweise werden die Aufnahmen über ein Zeitintervall von 2 bis 5 Sekunden und einer Abtastrate von 5 bis 20 Hertz (Hz) erzeugt. Folglich wird dem Ergänzungsmodul eine Sequenz, genauer gesagt ein Tupel, mit 10 (Abtastrate von 5 Hz bei einem Zeitintervall von 2 Sekunden) bis 100 (Abtastrate von 20 Hz bei einem Zeitintervall von 5 Sekunden) Werten übergeben. Auf diese Weise wird sichergestellt, dass das Ergänzungsmodul genügend Informationen über den zumindest einen sichtbaren Verkehrsteilnehmer erhält und trotzdem noch schnell den verdeckten Verkehrsteilnehmer erkennen kann.For example, the recordings are generated over a time interval of 2 to 5 seconds and a sampling rate of 5 to 20 Hertz (Hz). Consequently, a sequence, more precisely a tuple, with 10 (sampling rate of 5 Hz with a time interval of 2 seconds) to 100 (sampling rate of 20 Hz with a time interval of 5 seconds) values is transferred to the supplementary module. This ensures that the supplementary module receives enough information about the at least one visible road user and can still quickly identify the hidden road user.

Beispielsweise kann das trainierte Maschinenlernmodul auf jeder Spur der Straße höchstens einen verdeckten Verkehrsteilnehmer vor und höchstens einen hinter dem Kraftfahrzeug ermitteln. Dies vereinfacht das Vervollständigen der Fahrzeugumgebungsdaten für das Ergänzungsmodul und ermöglicht bereits vorausschauende Fahrmanöver.For example, the trained machine learning module can determine at most one hidden road user in front of and at most one behind the motor vehicle on each lane of the road. This simplifies the completion of the vehicle environment data for the supplementary module and already enables anticipatory driving manoeuvres.

Dabei und im Folgenden bezieht sich die Angabe vor und hinter dem Kraftfahrzeug auf die Position relativ zum Kraftfahrzeug, z.B. entlang der Längsachse des Frenet-Serret-Koordinatensystems.Here and in the following, the specification in front of and behind the motor vehicle refers to the position relative to the motor vehicle, e.g. along the longitudinal axis of the Frenet-Serret coordinate system.

In einer Ausgestaltung der Erfindung bestimmt das Steuergerät aus den Aufnahmen und/oder anhand von hinterlegten Sensorunsicherheiten Unsicherheiten in der Position und/oder der Geschwindigkeit des sichtbaren Verkehrsteilnehmers. Diese Unsicherheiten werden dann an das Ergänzungsmodul als Teil der Fahrzeugumgebungsdaten übergeben. Dementsprechend werden auch Unsicherheiten bei der Ergänzung des Umfelds des Kraftfahrzeugs berücksichtigt und das Ergänzungsmodul kann somit genauere Wahrscheinlichkeiten für die Präsenz des verdeckten Verkehrsteilnehmers bereitstellen.In one embodiment of the invention, the control unit determines uncertainties in the position and/or the speed of the visible road user from the recordings and/or using stored sensor uncertainties. These uncertainties are then passed to the supplemental module as part of the vehicle environment data. Accordingly, uncertainties are also taken into account when supplementing the environment of the motor vehicle, and the supplemental module can thus provide more precise probabilities for the presence of the hidden road user.

Das trainierte Maschinenlernmodul kann einen Generator eines Generative Adversarial Networks (GAN) umfassen. GANs bestehen aus zwei künstlichen neuronalen Netzwerken, nämlich einem Generator und einem Diskriminator. Der Generator generiert anhand von Eingabedaten entsprechende Ausgabedaten, die an den Diskriminator übergeben werden. Die Ausgabedaten werden dann durch den Diskriminator bewertet.The trained machine learning module may include a Generative Adversarial Network (GAN) generator. GANs consist of two artificial neural networks, namely a generator and a discriminator. Based on input data, the generator generates corresponding output data, which are passed to the discriminator. The output data is then evaluated by the discriminator.

Genauer gesagt erhält der Diskriminator zusätzliche Ausgabedaten, die der tatsächlichen Situation entsprechen. Falls der Diskriminator dann die von dem Generator erzeugten Ausgabedaten erkennt, wird der Diskriminator belohnt und der Generator bestraft. Der Generator und Diskriminator führen also ein sogenanntes Nullsummenspiel durch.More precisely, the discriminator receives additional output data corresponding to the actual situation. If the discriminator then recognizes the output data produced by the generator, the discriminator is rewarded and the generator is penalized. The generator and discriminator thus carry out a so-called zero-sum game.

In der Praxis hat sich herausgestellt, dass GANs besonders geeignet sind, um die Wahrscheinlichkeitsverteilung der Eingangsdaten zu erlernen. Somit stellen GANs sehr zuverlässig gute Ausgabedaten bereit. Dementsprechend kann ein Generator eines GANs, wenn dieser entsprechend trainiert wurde, sehr zuverlässig verdeckte Verkehrsteilnehmer erkennen.In practice, it has turned out that GANs are particularly suitable for learning the probability distribution of the input data. Thus, GANs provide good output data very reliably. Accordingly, a generator of a GAN, if trained accordingly, can detect hidden road users very reliably.

Ein weiterer Aspekt der Erfindung sieht vor, dass der Generator mittels eines Diskriminators des Generative Adversarial Networks und eines Trainingsdatensatzes trainiert wurde. Dabei weist der Trainingsdatensatz mehrere verschiedene Sätze an vollständigen Fahrzeugumgebungsdaten auf, die sowohl zumindest die relative Position des zumindest einen sichtbaren Verkehrsteilnehmers in Bezug zum Kraftfahrzeug als auch die relative Position des wenigstens einen verdeckten Verkehrsteilnehmers umfassen. Auf diese Weise kann ein sehr gut trainierter Generator bereitgestellt werden, der zuverlässig verdeckte Verkehrsteilnehmer erkennt.A further aspect of the invention provides that the generator was trained using a discriminator of the Generative Adversarial Network and a training data set. The training data set has several different sets of complete vehicle environment data, which include both at least the relative position of the at least one visible road user in relation to the motor vehicle and the relative position of the at least one hidden road user. In this way, a very well-trained generator can be provided that reliably detects hidden road users.

Der Trainingsdatensatz kann anhand von Aufnahmen einer oberhalb einer Straße angeordneten Kamera aufgezeichnet werden, z.B. an einer Brücke oder mittels einer Drohne. Anhand der Aufnahmen können dann die Positionen, Geschwindigkeiten, Beschleunigungen, Fahrspurinformationen, Fahrmanöver und Fahrzeugtrajektorien aller Verkehrsteilnehmer als Teil des Trainingsdatensatzes bestimmt werden. Somit umfasst der Trainingsdatensatz die vollständigen Informationen aller Verkehrsteilnehmer, also die vollständigen Fahrzeugumgebungsdaten für jedes Kraftfahrzeug. Beispielsweise wird das Highway Drone Dataset (highD) als Trainingsdatensatz verwendet.The training data set can be recorded using recordings from a camera arranged above a road, e.g. on a bridge or using a drone. Based on the recordings, the positions, speeds, accelerations, lane information, driving maneuvers and vehicle trajectories of all road users can then be determined as part of the training data set. The training data set thus includes the complete information of all road users, ie the complete vehicle environment data for each motor vehicle. For example, the Highway Drone Dataset (highD) is used as the training dataset.

Aus diesem Trainingsdatensatz können dann reduzierte Lerndaten bestimmt werden, die den von dem Steuergerät erzeugten Fahrzeugumgebungsdaten in einer bestimmen Verkehrssituation entsprechen.Reduced learning data can then be determined from this training data set, which correspond to the vehicle environment data generated by the control unit in a specific traffic situation.

Mit anderen Worten werden aus dem vollständigen Trainingssatz die Aufnahmen des Sensors nachgebildet.In other words, the sensor recordings are reproduced from the complete training set.

Um den Generator zu trainieren, können die reduzierten Lerndaten dem Generator zugeführt werden, der zusätzlich aus dem vollständigen Trainingsdatensatz Daten über das Vorhandensein von verdeckten Verkehrsteilnehmern in einem den Ausgabedaten des Generators entsprechenden Format erhält. Dieser Prozess wird vorzugsweise für alle Kraftfahrzeuge und alle Verkehrssituationen des vollständigen Trainingsdatensatzes wiederholt, sodass der Generator und der Diskriminator am Schluss sehr gut trainiert sind. Der Generator wird dann im Steuergerät genutzt.In order to train the generator, the reduced learning data can be fed to the generator, which also receives data from the complete training data set about the presence of hidden road users in a format corresponding to the output data of the generator. This process is preferably repeated for all motor vehicles and all traffic situations of the complete training data set, so that the generator and the discriminator are very well trained at the end. The generator is then used in the control unit.

In einer Ausgestaltung der Erfindung ermittelt das Steuergerät anhand der ermittelten Präsenz wenigstens eines verdeckten Verkehrsteilnehmers und/oder der Ausgangsdaten des Ergänzungsmoduls ein von dem Kraftfahrzeug auszuführendes Fahrmanöver. Dabei steuert das Steuergerät das Kraftfahrzeug derart an, dass es das Fahrmanöver ausführt. Auf diese Weise ist es möglich, vorausschauende Fahrmanöver auszuführen, wodurch der Komfort für die Insassen des Kraftfahrzeugs erhöht wird.In one embodiment of the invention, the control device uses the determined presence of at least one hidden road user and/or the output data of the supplementary module to determine a driving maneuver to be carried out by the motor vehicle. The control unit controls the motor vehicle in such a way that it carries out the driving maneuver. In this way it is possible to carry out anticipatory driving maneuvers, which increases the comfort for the occupants of the motor vehicle.

Das Steuergerät kann das Vorhandensein des verdeckten Verkehrsteilnehmers mittels eines Plausibilisierungsmoduls verifizieren. Auf diese Weise wird sichergestellt, dass der verdeckte Verkehrsteilnehmer auch höchstwahrscheinlich vorhanden ist.The control unit can verify the presence of the hidden road user using a plausibility module. This ensures that the hidden road user is most likely present.

Beispielsweise verifiziert das Steuergerät das Vorhandensein des verdeckten Verkehrsteilnehmers anhand von geltenden Verkehrsregeln, die insbesondere aus den Fahrzeugumgebungsdaten gewonnen werden, und/oder anhand von Konfidenzintervallen der Fahrzeugumgebungsdaten.For example, the control unit verifies the presence of the hidden road user based on applicable traffic rules, which are obtained in particular from the data surrounding the vehicle, and/or based on confidence intervals of the data surrounding the vehicle.

Die Aufgabe der Erfindung wird ferner gelöst durch ein Steuergerät für ein Kraftahrzeug, wobei das Steuergerät dazu ausgebildet ist, ein zuvor beschriebenes Verfahren durchzuführen. Hinsichtlich der Vorteile und Merkmale wird auf die obigen Ausführungen zum Verfahren verwiesen, die gleichermaßen für das Steuergerät gelten und umgekehrt.The object of the invention is also achieved by a control unit for a motor vehicle, the control unit being designed to carry out a method as described above. With regard to the advantages and features, reference is made to the above statements on the method, which apply equally to the control unit and vice versa.

Des Weiteren wird die Aufgabe der Erfindung gelöst durch ein Kraftfahrzeug mit einem zuvor beschriebenen Steuergerät und wenigstens einem Sensor. Dabei stellt der Sensor mehrere, in zeitlichem Abstand erzeugte Aufnahmen der Straße bereit. Es ergeben sich die bereits zum Verfahren und zum Steuergerät ausgeführten Vorteile und Merkmale, die auch für das Kraftfahrzeug gelten und umgekehrt.Furthermore, the object of the invention is achieved by a motor vehicle with a control unit as described above and at least one sensor. The sensor provides several images of the road generated at intervals. This results in the advantages and features already mentioned for the method and the control device, which also apply to the motor vehicle and vice versa.

Die Aufgabe wird auch durch ein Computerprogramm mit Programmcodemitteln gelöst, um die Schritte des oben beschriebenen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Datenträger oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere auf einer Recheneinheit eines zuvor beschriebenen Steuergeräts. Hinsichtlich der Vorteile und Merkmale des Computerprogramms wird auf die obigen Erläuterungen zum Verfahren und zum Steuergeräte verwiesen, die gleichermaßen für das Computerprogramm gelten.The object is also achieved by a computer program with program code means to carry out the steps of the method described above when the computer program is executed on a data carrier or a corresponding processing unit, in particular on a processing unit of a previously described control device. With regard to the advantages and features of the computer program, reference is made to the above explanations of the method and the control device, which apply equally to the computer program.

Unter „Programmcodemitteln“ sind dabei und im Folgenden computerausführbare Instruktionen in Form von Programmcode und/oder Programmcodemodulen in kompilierter und/oder in unkompilierter Form zu verstehen, die in einer beliebigen Programmiersprache und/oder in Maschinensprache vorliegen können.“Program code means” are to be understood here and below as computer-executable instructions in the form of program code and/or program code modules in compiled and/or uncompiled form, which can be present in any programming language and/or in machine language.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie aus den beigefügten Zeichnungen, auf die im Folgenden Bezug genommen wird. In den Zeichnungen zeigen:

- eine schematische Draufsicht einer Verkehrssituation mit einem erfindungsgemäßen Kraftfahrzeug,
- eine schematische Draufsicht des Kraftfahrzeugs gemäß 1,
- ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens,
- 4 und 5 zweidimensionale Repräsentationen der während des Verfahrens gemäß 3 erzeugten Daten, und
- ein schematisches Ablaufdiagramm eines Trainings eines Generative Adversarial Networks.

Further features and advantages of the invention result from the following description and from the accompanying drawings, to which reference is made below. In the drawings show:

- a schematic plan view of a traffic situation with a motor vehicle according to the invention,
- a schematic plan view of the motor vehicle according to FIG 1 ,
- a schematic flowchart of a method according to the invention,
- 4 and 5 two-dimensional representations of the process according to 3 generated data, and
- a schematic flow chart of a training of a Generative Adversarial Network.

1 zeigt eine Verkehrssituation 10, bei der ein Kraftfahrzeug 12 auf einer Straße 14 in eine Fahrtrichtung F fährt. Die Fahrtrichtung F ist dabei durch einen entsprechenden Pfeil dargestellt. 1 shows a traffic situation 10 in which a motor vehicle 12 is driving on a road 14 in a travel direction F. The direction of travel F is represented by a corresponding arrow.

Die Straße 14 umfasst zwei Fahrspuren 16 und einen Seitenstreifen 18, auf dem das Kraftfahrzeug 12 gegebenenfalls auch fahren könnte, falls es die Verkehrssituation 10 erfordert, beispielsweise um einem Hindernis auszuweichen. Die Fahrspuren 16 und der Seitenstreifen 18 sind jeweils durch entsprechende Begrenzungsmarkierungen 20 begrenzt.The road 14 includes two lanes 16 and a hard shoulder 18 on which the motor vehicle 12 could possibly also drive if the traffic situation 10 requires it, for example in order to avoid an obstacle. The lanes 16 and the hard shoulder 18 are each delimited by corresponding boundary markings 20 .

Bei den Begrenzungsmarkierungen 20 handelt es sich zum Beispiel um eine Fahrbahnmarkierung, eine Fahrspurmarkierungen, eine Leitplanke oder ein Fahrbahnbankett.The boundary markings 20 are, for example, roadway markings, lane markings, a crash barrier or a shoulder of the roadway.

Auf der Straße 14, genauer gesagt auf den Fahrspuren 16, fahren neben dem Kraftfahrzeug 12 auch Verkehrsteilnehmer 22, 24, die sich entsprechend zum Kraftfahrzeug 12 in die Fahrtrichtung F bewegen.On the road 14, more precisely on the lanes 16, road users 22, 24, who move in the direction of travel F corresponding to the motor vehicle 12, drive in addition to the motor vehicle 12.

In der Ausgestaltung der 1 sind die Verkehrsteilnehmer 22, 24 auch Kraftfahrzeuge.In the design of 1 are the road users 22, 24 and motor vehicles.

Dabei sind die Verkehrsteilnehmer 22 sichtbare Verkehrsteilnehmer 22, also solche, die von Sensoren 28 (2) des Kraftfahrzeugs 12 wahrgenommen werden können.The road users 22 are visible road users 22, ie those who are detected by sensors 28 ( 2 ) of the motor vehicle 12 can be perceived.

Der Verkehrsteilnehmer 24 ist in der Fahrspur 16, in der sich das Kraftfahrzeug 12 befindet, durch den ebenfalls in der Fahrspur 16 befindlichen sichtbaren Verkehrsteilnehmer 22 verdeckt und kann somit nicht durch die Sensoren 28 des Kraftfahrzeugs 12 wahrgenommen werden. Dementsprechend ist der Verkehrsteilnehmer 24 ein verdeckter Verkehrsteilnehmer 24.The road user 24 is hidden in the lane 16 in which the motor vehicle 12 is located by the visible road user 22 also located in the lane 16 and can therefore not be perceived by the sensors 28 of the motor vehicle 12 . Accordingly, road user 24 is a hidden road user 24.

Wie in 2 gezeigt, hat das Kraftfahrzeug 12 ein System 26 zum Steuern des Kraftfahrzeugs 12. Das System 26 umfasst die Sensoren 28, ein Steuergerät 30, das mit den Sensoren 28 verbunden ist, und Komponenten 32 des Kraftfahrzeugs 12, die eine Längsbewegung und/oder Querbewegung des Kraftfahrzeugs 12 steuern.As in 2 shown, the motor vehicle 12 has a system 26 for controlling the motor vehicle 12. The system 26 includes the sensors 28, a control unit 30, which is connected to the sensors 28, and components 32 of the motor vehicle 12, a longitudinal movement and / or lateral movement of the Motor vehicle 12 control.

Die Sensoren 28 sind vorne, hinten und/oder seitlich am Kraftfahrzeug 12 angeordnet und dazu ausgebildet, die Umgebung des Kraftfahrzeugs 12 zu erfassen, entsprechende Aufnahmen A der Umgebung des Kraftfahrzeugs 12 bereitzustellen und diese Aufnahmen A an das Steuergerät 30 zu übergeben. Das Übergeben der Aufnahmen A ist in der 2 durch entsprechende, gestrichelt dargestellte Pfeile angedeutet.The sensors 28 are arranged at the front, rear and/or side of the motor vehicle 12 and are designed to detect the surroundings of the motor vehicle 12, to provide corresponding recordings A of the surroundings of the motor vehicle 12 and to transmit these recordings A to the control unit 30. The transfer of recordings A is in the 2 indicated by corresponding arrows shown in dashed lines.

Bei den Sensoren 28 handelt es sich beispielsweise um eine Kamera, einen Radarsensor, ein Abstandssensor, einen Ultraschallsensor, einen LIDAR-Sensor und oder eine beliebige andere Art Sensor 28, der dazu geeignet ist, die Umgebung des Kraftfahrzeugs 12, insbesondere die Straße 14 und die sichtbaren Verkehrsteilnehmer 22, zu erfassen und entsprechende Aufnahmen A bereitzustellen.The sensors 28 are, for example, a camera, a radar sensor, a distance sensor, an ultrasonic sensor, a LIDAR sensor and/or any other type of sensor 28 that is suitable for detecting the surroundings of the motor vehicle 12, in particular the road 14 and to detect the visible road users 22 and to provide corresponding recordings A.

Die Sensoren 28 nehmen die Fahrzeugumgebung mit einer bestimmten Abtastrate (auch bekannt als Abtastfrequenz, Samplingrate oder Samplingfrequenz) auf.The sensors 28 record the vehicle's surroundings at a certain sampling rate (also known as sampling frequency, sampling rate or sampling frequency).

Mit anderen Worten stellt jeder Sensor 28 mit einem vorbestimmten Abtastintervall eine Aufnahme A bereit. Jede dieser Aufnahmen A wird dann an das Steuergerät 30 übergeben.In other words, each sensor 28 provides a shot A at a predetermined sampling interval. Each of these recordings A is then transferred to the control device 30 .

In der Umgebung des Kraftfahrzeugs 12 werden also beispielsweise die Straße 14 und die sichtbaren Verkehrsteilnehmer 22 durch die Sensoren 28 erfasst.In the vicinity of motor vehicle 12, road 14 and visible road users 22, for example, are thus detected by sensors 28.

Das Steuergerät 30 verarbeitet die von den Sensoren 28 erhaltenen Aufnahmen A und steuert das Kraftfahrzeug 12 basierend auf den verarbeiteten Aufnahmen A wenigstens teilweise automatisiert, insbesondere vollständig automatisiert.The control unit 30 processes the recordings A received from the sensors 28 and controls the motor vehicle 12 based on the processed recordings A at least partially automatically, in particular fully automatically.

Mit anderen Worten ist auf dem Steuergerät 30 ein Fahrassistenzsystem implementiert, dass eine Querbewegung und/oder eine Längsbewegung des Kraftfahrzeugs 12 wenigstens teilweise automatisiert steuern kann, insbesondere vollständig automatisiert.In other words, a driver assistance system is implemented on control unit 30 that can control a transverse movement and/or a longitudinal movement of motor vehicle 12 at least partially automatically, in particular fully automatically.

Das Steuergerät 30 stellt hierfür beispielsweise Steuerbefehle S für die Komponenten 32 des Kraftfahrzeugs 12 bereit, wie viel Antriebsstrang oder eine Lenkvorrichtung des Kraftfahrzeugs 12, und die Komponenten 32 sind dazu ausgebildet, die Steuerbefehle S auszuführen.For this purpose, control unit 30 provides, for example, control commands S for components 32 of motor vehicle 12, such as the drive train or a steering device of motor vehicle 12, and components 32 are designed to execute control commands S.

Natürlich ist es auch denkbar, dass das Steuergerät 30 die Komponenten 32 direkt ansteuert.Of course it is also conceivable that the control unit 30 controls the components 32 directly.

Eine besondere Herausforderung für das Steuergerät 30 stellt das Erkennen von verdeckten Verkehrsteilnehmern dar, also beispielweise des Verkehrsteilnehmers 24 in der 1. Um den verdeckten Verkehrsteilnehmer 24 zu erkennen, ist das Steuergerät 30 ausgebildet, ein Verfahren durchzuführen.A particular challenge for the control unit 30 is the detection of hidden road users, for example the road user 24 in the 1 . In order to recognize the concealed road user 24, the control unit 30 is designed to carry out a method.

Genauer gesagt umfasst das Steuergerät einen Datenträger 34 und eine Recheneinheit 36, wobei auf dem Datenträger 34 ein Computerprogramm 38 gespeichert ist, das auf der Recheneinheit 36 ausgeführt wird und das Programmcodemittel umfasst, um die Schritte des Verfahrens auszuführen.More precisely, the control unit includes a data carrier 34 and a processing unit 36, a computer program 38 being stored on the data carrier 34, which is executed on the processing unit 36 and includes the program code means for executing the steps of the method.

Die Schritte des Verfahrens werden im Folgenden anhand der 3 bis 5 erläutert. Dabei sind in dem Blockschaltbild der 3 funktionell zusammengehörige Komponenten zusammengefasst und dargestellt. Die durchgezogenen Kästen stellen logische Blöcke des Steuergeräts 30 dar und die gestrichelten Blöcke sind Hardwarekomponenten, also die physischen Komponenten des Kraftfahrzeugs 12. Ferner zeigen die Pfeile Datenströme zwischen den Software- und/oder Hardwarekomponenten des Kraftfahrzeugs 12.The steps of the procedure are described below using the 3 until 5 explained. Here are in the block diagram of 3 functionally related components summarized and presented. The solid boxes represent logical blocks of control unit 30 and the dashed blocks are hardware components, i.e. the physical components of motor vehicle 12. The arrows also show data streams between the software and/or hardware components of motor vehicle 12.

Das Steuergerät 30 umfasst, wie in 3 dargestellt, ein Objekterkennungsmodul 40, ein Ergänzungsmodul 42, ein Plausibilisierungsmodul 44 und ein Fahrmanöverplanungsmodul 46.The control unit 30 comprises, as in 3 shown, an object recognition module 40, a supplementary module 42, a plausibility module 44 and a driving maneuver planning module 46.

In einem ersten Verfahrensschritt erhält das Steuergerät 30 die Aufnahmen A der Sensoren 28 mit der entsprechenden Abtastrate. Die Aufnahmen A werden zunächst in einem Zwischenspeicher des Steuergeräts 30 zwischengespeichert und, sobald die Aufnahmen A ein bestimmtes Zeitintervall abdecken, an das Objekterkennungsmodul 40 übergeben.In a first method step, control unit 30 receives recordings A from sensors 28 at the appropriate sampling rate. The recordings A are initially temporarily stored in a buffer of the control device 30 and, as soon as the recordings A cover a specific time interval, are transferred to the object recognition module 40 .

Das Steuergerät 30 erhält also mehrere, in zeitlichem Abstand zueinander erzeugte Aufnahmen A der Sensoren 28.The control unit 30 thus receives a plurality of recordings A of the sensors 28 generated at a time interval from one another.

Mit anderen Worten erhält das Steuergerät 30 kontinuierlich die Aufnahmen A der Sensoren 28 und übergibt immer ein bestimmtes Zeitintervall, beispielsweise die letzten 2 bis 5 Sekunden, an das Objekterkennungsmodul 40.In other words, control unit 30 continuously receives recordings A from sensors 28 and always transfers a specific time interval, for example the last 2 to 5 seconds, to object recognition module 40.

Das Objekterkennungsmodul 40 ist dann dazu ausgebildet, aus den Aufnahmen A Fahrzeugumgebungsdaten U zu erzeugen. Die Fahrzeugumgebungsdaten U beschreiben die von den Sensoren 28 erfasste Verkehrssituation 10.The object recognition module 40 is then designed to generate vehicle environment data U from the recordings A. The vehicle surroundings data U describe the traffic situation 10 detected by the sensors 28.

Beispielsweise weisen die Fahrzeugumgebungsdaten U die in der Verkehrssituation 10 erfassten Objekte, also die Verkehrsteilnehmer 22 und die Straße 14, und entsprechende Objektparameter sowie Unsicherheiten der Objektparameter auf.For example, the vehicle surroundings data U include the objects detected in the traffic situation 10, ie the road users 22 and the road 14, and corresponding object parameters as well as uncertainties in the object parameters.

Bei den Objektparametern der Straße 14 kann es sich um die Art der Begrenzungsmarkierung 20 und deren Verlauf handeln, um die Anzahl an Fahrspuren 16 und/oder die anhand von Schildern erfassten, gültigen Verkehrsregeln in einem Abschnitt der Straße 14.The object parameters of the road 14 can be the type of boundary marking 20 and its course, the number of lanes 16 and/or the valid traffic rules in a section of the road 14 detected using signs.

Dementsprechend stellen die Objektparameter der Straße 14 einen geografischen Verlauf jeder Fahrspur 16 bereit und bilden geltende Verkehrsregeln ab, beispielsweise eine Höchstgeschwindigkeit für jede Fahrspur 16.Accordingly, the object parameters of the road 14 provide a geographical course of each lane 16 and map applicable traffic regulations, for example a speed limit for each lane 16.

Die Objektparameter der sichtbaren Verkehrsteilnehmern 22 umfassen beispielsweise für jeden sichtbaren Verkehrsteilnehmer 22 die absolute und/oder relative Position, die Geschwindigkeit, die Beschleunigung und/oder die Größe, wie die Länge und Breite des entsprechenden Verkehrsteilnehmers 22.The object parameters of the visible road users 22 include, for example, for each visible road user 22, the absolute and/or relative position, the speed, the acceleration and/or the size, such as the length and width of the corresponding road user 22.

Dabei sind die Position, die Geschwindigkeit und/oder die Beschleunigung jedes Verkehrsteilnehmers 22 insbesondere zweidimensionale Werte, beispielsweise entlang und senkrecht zu der entsprechenden Fahrspur 16, auf der sich der Verkehrsteilnehmer 22 bewegt.The position, the speed and/or the acceleration of each road user 22 are in particular two-dimensional values, for example along and perpendicular to the corresponding lane 16 on which the road user 22 is moving.

Das Steuergerät 30 bestimmt also insbesondere die longitudinale und laterale Beschleunigung, die longitudinale und laterale Geschwindigkeit, die longitudinale und laterale Position des Verkehrsteilnehmers, insbesondere als relative Position in Bezug zum Kraftfahrzeug 12, sowie die Breite, Länge und/oder Höhe jedes Verkehrsteilnehmers 22 als Objektparameter.Control unit 30 thus determines in particular the longitudinal and lateral acceleration, the longitudinal and lateral speed, the longitudinal and lateral position of the road user, in particular as a relative position in relation to motor vehicle 12, and the width, length and/or height of each road user 22 as object parameters .

Entsprechend kann das Steuergerät 30 auch eine longitudinale und laterale Beschleunigungsunsicherheit, eine longitudinale und laterale Geschwindigkeitsunsicherheit, eine longitudinale und laterale Positionsunsicherheit und/oder Unsicherheiten in der Breite, Länge und/oder Höhe jedes sichtbaren Verkehrsteilnehmers 22 bestimmen.Correspondingly, the controller 30 can also determine a longitudinal and lateral acceleration uncertainty, a longitudinal and lateral velocity uncertainty, a longitudinal and lateral position uncertainty and/or uncertainties in the width, length and/or height of each visible road user 22 .

Beispielsweise bestimmt das Steuergerät 30 die Unsicherheiten anhand von hinterlegten Sensorunsicherheiten und/oder aus den Aufnahmen A der Sensoren 28.For example, control unit 30 determines the uncertainties based on stored sensor uncertainties and/or from recordings A of sensors 28.

In der Ausgestaltung der 3 bis 5 weisen die Fahrzeugumgebungsdaten U auch eine zweidimensionale Repräsentation 48 (4) der Fahrzeugumgebungsdaten U auf, die die erkannten Objekte grafisch darstellen.In the design of 3 until 5 the vehicle surroundings data U also have a two-dimensional representation 48 ( 4 ) of the vehicle environment data U, which graphically represent the detected objects.

Genauer gesagt umfasst die zweidimensionale Repräsentation 48 ein diskretes Frenet-Serret-Koordinatensystem 50, das die Straße 14, also die Fahrspuren 16 und den Seitenstreifen 18, krümmungsfrei wiedergibt. In der grafischen Repräsentation 48 ist die Position des Kraftfahrzeugs 12 durch eine schraffierte Fläche dargestellt und die Position der sichtbaren Verkehrsteilnehmer 22 durch ausgefüllte Kästen. More precisely, the two-dimensional representation 48 includes a discrete Frenet-Serret coordinate system 50, which reproduces the road 14, ie the lanes 16 and the hard shoulder 18, without any curvature. In the graphic representation 48, the position of the motor vehicle 12 is represented by a hatched area and the position of the visible road users 22 by filled-in boxes.

Das Frenet-Serret-Koordinatensystem 50 hat eine Querachse Q, die die Fahrspuren 16 und den Seitenstreifen 18 abbilden, und eine Längsachse L, die der Längsrichtung jeder Fahrspur 16 und des Seitenstreifens 18 entspricht.The Frenet-Serret coordinate system 50 has a transverse axis Q, which maps the lanes 16 and shoulder 18, and a longitudinal axis L, which corresponds to the longitudinal direction of each lane 16 and shoulder 18.

Dabei bezieht sich das Frenet-Serret-Koordinatensystem 50 auf das Kraftfahrzeug 12. Der Nullpunkt der Längsachse L wird also durch das Kraftfahrzeug 12 gebildet.In this case, the Frenet-Serret coordinate system 50 relates to the motor vehicle 12. The zero point of the longitudinal axis L is thus formed by the motor vehicle 12.

In der Ausgestaltung der 4 sind die Querachse Q und die Längsachse L diskret. Das heißt, dass die Querachse Q drei Werte aufweist und die Längsachse L unterteilt jede Fahrspur 16 und den Seitenstreifen 18 in Abschnitte (dargestellt durch entsprechende Kästen), wobei die Länge jedes Abschnitts der Fahrzeuglänge des Kraftfahrzeugs 12 entspricht.In the design of 4 the transverse axis Q and the longitudinal axis L are discrete. That is, the transverse axis Q has three values and the longitudinal axis L divides each lane 16 and hard shoulder 18 into sections (represented by corresponding boxes), with the length of each section corresponding to the vehicle length of the motor vehicle 12 .

Jeder Kasten entspricht also beispielsweise einem Abschnitt von 5 Metern in Längsrichtung der entsprechenden Fahrspur 16 oder des Seitenstreifens 18.Each box thus corresponds, for example, to a section of 5 meters in the longitudinal direction of the corresponding lane 16 or hard shoulder 18.

Zusätzlich ist das Frenet-Serret-Koordinatensystem 50 in der Längsachse L auch begrenzt.In addition, the Frenet-Serret coordinate system 50 in the longitudinal axis L is also limited.

In der Ausführungsform der 3 bis 5 erstreckt sich das Frenet-Serret-Koordinatensystem 50 nur in einem Bereich in Fahrtrichtung F vor dem Kraftfahrzeug 12. Natürlich kann sich das Frenet-Serret-Koordinatensystem 50 auch in Fahrtrichtung F hinter dem Kraftfahrzeug 12 erstrecken.In the embodiment of 3 until 5 the Frenet-Serret coordinate system 50 only extends in a region in the direction of travel F in front of the motor vehicle 12. Of course, the Frenet-Serret coordinate system 50 can also extend in the direction of travel F behind the motor vehicle 12.

Beispielsweise erstreckt sich das Frenet-Serret-Koordinatensystem 50 über einen Bereich von 500 Meter vor und hinter dem Kraftfahrzeug 12.For example, the Frenet-Serret coordinate system 50 extends over a range of 500 meters in front of and behind the motor vehicle 12.

In der zweidimensionalen Repräsentation 48 ist auch der von den Sensoren 28 erfassbare Bereich 52 dargestellt. Dementsprechend wird der Bereich 54 der zweidimensionalen Repräsentation 48 nicht durch die Sensoren 28 des Kraftfahrzeugs 12 erfasst.The area 52 that can be detected by the sensors 28 is also shown in the two-dimensional representation 48 . Accordingly, the area 54 of the two-dimensional representation 48 is not detected by the sensors 28 of the motor vehicle 12 .

Dabei umfassen die Fahrzeugumgebungsdaten U nicht nur eine zweidimensionale Repräsentation 48, sondern mehrere, in zeitlichem Abstand zueinander erzeugte zweidimensionalen Repräsentationen 48, aus deren zeitlichen Abfolge das Verhalten der sichtbaren Verkehrsteilnehmer 22 hervorgeht.The vehicle surroundings data U include not only a two-dimensional representation 48, but several two-dimensional representations 48 generated at a time interval from one another, the behavior of the visible road users 22 emerging from their time sequence.

Diese Fahrzeugumgebungsdaten U, also insbesondere die mehreren, in zeitlichem Abstand zueinander erzeugten zweidimensionalen Repräsentationen 48, werden in einem nächsten Verfahrensschritt an das Ergänzungsmodul 42 übergeben, das ein trainiertes Maschinenlernmodul 56 ist.This vehicle environment data U, ie in particular the multiple two-dimensional representations 48 generated at a time interval from one another, are transferred to the supplementary module 42 in a next method step, which is a trained machine learning module 56 .

Genauer gesagt umfasst das Maschinenlernmodul 56 einen Generator 58 eines Generative Adversarial Networks 60 (6). Generative Adversarial Networks 60 bestehen aus einem Generator und einem Diskriminator die zusammen trainiert werden. Das Verfahren zum Trainieren des Generative Adversarial Networks 60 wird weiter unten im Zusammenhang mit den Ausführungen zur 6 erläutert.More specifically, the machine learning module 56 includes a generator 58 of a Generative Adversarial Network 60 ( 6 ). Generative adversarial networks 60 consist of a generator and a discriminator that are trained together. The method for training the Generative Adversarial Networks 60 is described below in connection with the explanations for 6 explained.

Das Maschinenlernmodul 56, genauer gesagt der Generator 58, erhält also die Fahrzeugumgebungsdaten U als Eingabedaten und erzeugt entsprechende Ausgabedaten D, die die Fahrzeugumgebungsdaten U in dem nicht von den Sensoren 28 erfassbaren Bereich 54 ergänzen.The machine learning module 56, more precisely the generator 58, thus receives the vehicle environment data U as input data and generates corresponding output data D that supplement the vehicle environment data U in the area 54 that cannot be detected by the sensors 28.

Dies ist beispielhaft in 5 gezeigt, die die durch das Ergänzungsmodul 42 erweiterte zweidimensionale Repräsentation 48 der 4 zeigt. In der 5 ist der verdeckte Verkehrsteilnehmer 24 durch eine schraffierte Fläche gezeigt, deren Schraffurlinien sich von links oben nach rechts unten erstrecken.This is an example in 5 shown that the expanded by the supplementary module 42 two-dimensional representation 48 of 4 indicates. In the 5 the hidden road user 24 is shown by a hatched area whose hatching lines extend from top left to bottom right.

Das Maschinenlernmodul 56 bestimmt also in der Ausgestaltung der 5 die wahrscheinliche Präsenz des verdeckten Verkehrsteilnehmers 24. Dabei entspricht die von dem Maschinenlernmodul 56 erzeugte zweidimensionale Repräsentation 48 der tatsächlichen Verkehrssituation 10 der 1.The machine learning module 56 thus determines in the design of the 5 the probable presence of the hidden road user 24. The two-dimensional representation 48 generated by the machine learning module 56 corresponds to the actual traffic situation 10 of FIG 1 .

Das Ergänzungsmodul 42 bestimmt also in dem nicht von den Sensoren 28 erfassbaren Teil der Straße 14 den verdeckten Verkehrsteilnehmer 24 und entsprechende Objektparameter des verdeckten Verkehrsteilnehmers 24, insbesondere dessen Position und Geschwindigkeit.The supplementary module 42 thus determines the hidden road user 24 and corresponding object parameters of the hidden road user 24 in the part of the road 14 that cannot be detected by the sensors 28, in particular its position and speed.

Beispielsweise kann das Maschinenlernmodul 56 die wahrscheinliche Präsenz des verdeckten Verkehrsteilnehmers 24 anhand eines von dem in der Fahrspur 16 des Kraftfahrzeugs 12 durchgeführten Fahrmanövers, beispielsweise einem Bremsmanöver ermitteln.For example, the machine learning module 56 can determine the probable presence of the concealed road user 24 based on a driving maneuver performed in the lane 16 of the motor vehicle 12 , for example a braking maneuver.

Dabei kann das Maschinenlernmodul 56 derart trainiert sein, dass das Maschinenlernmodul 56 in jeder Fahrspur 16 höchstens einen verdeckten Verkehrsteilnehmer vor und hinter dem Kraftfahrzeug 12 bestimmt.The machine learning module 56 can be trained in such a way that the machine learning module 56 determines at most one hidden road user in front of and behind the motor vehicle 12 in each lane 16 .

Im Allgemeinen stellt das Maschinenlernmodul 56 auch eine Wahrscheinlichkeit für das Vorhandensein des verdeckten Verkehrsteilnehmers 24 als Teil der Ausgabedaten D bereit.In general, the machine learning module 56 also provides a probability of the presence of the hidden traffic participant 24 as part of the output data D .

In einem nächsten Verfahrensschritt übergibt das Ergänzungsmodul 42 die Ausgabedaten D an das Plausibilisierungsmodul 44, das das Vorhandensein des verdeckten Verkehrsteilnehmers 24 verifiziert.In a next method step, the supplementary module 42 transfers the output data D to the plausibility module 44, which verifies the presence of the hidden road user 24.

Hierfür vergleicht das Plausibilisierungsmodul 44 beispielsweise die von dem Ergänzungsmodul 42 bereitgestellte Wahrscheinlichkeit mit den Aufnahmen A der Sensoren 28 und/oder mit den geltenden Verkehrsregeln, die aus den Aufnahmen A bestimmt wurden.For this purpose, the plausibility check module 44 compares, for example, the probability provided by the supplementary module 42 with the recordings A of the sensors 28 and/or with the applicable traffic rules that were determined from the recordings A.

Beispielsweise würde das Plausibilisierungsmodul 44 das Vorhandensein des verdeckten Verkehrsteilnehmers 24 ausschließen, falls das Abbremsen des sichtbaren Verkehrsteilnehmers 22 mit einer Änderung in der maximal zulässigen Geschwindigkeit auf der Straße 14 verknüpfbar wäre.For example, the plausibility module 44 would rule out the presence of the hidden road user 24 if the braking of the visible road user 22 could be linked to a change in the maximum permissible speed on the road 14 .

Alternativ kann das Plausibilisierungsmodul 44 auch das Vorhandensein des verdeckten Verkehrsteilnehmer 24 bestätigen, falls von dem Ergänzungsmodul 42 nur eine geringe Wahrscheinlichkeit für das Vorhandensein des verdeckten Verkehrsteilnehmers 24 erhält und das Plausibilisierungsmodul 44 zusätzlich Hinweise in den Aufnahmen A der Sensoren 28 für das Vorhandensein des verdeckten Verkehrsteilnehmers 24 ermittelt.Alternatively, the plausibility check module 44 can also confirm the presence of the hidden road user 24 if the supplementary module 42 only receives a low probability of the presence of the hidden road user 24 and the plausibility check module 44 receives additional information in the recordings A of the sensors 28 for the presence of the hidden road user 24 determined.

Anschließend übergibt das Plausibilisierungsmodul 44 die verifizierten Ausgabedaten an das Fahrmanöverplanungsmodul 46, das ein auszuführendes Fahrmanöver für das Kraftfahrzeug 12 ermittelt.The plausibility check module 44 then transfers the verified output data to the driving maneuver planning module 46, which determines a driving maneuver to be carried out for the motor vehicle 12.

Beispielsweise bestimmt das Ergänzungsmodul 42 in der Verkehrssituation 10 der 1, dass der verdeckte Verkehrsteilnehmer 24 eine geringere Geschwindigkeit als das Kraftfahrzeug 12 aufweist. Entsprechend ermittelt das Fahrmanöverplanungsmodul 46 einen Spurwechsel und oder ein Abbremsen als auszuführendes Fahrmanöver für das Kraftfahrzeug 12.For example, the supplementary module 42 determines in the traffic situation 10 of 1 that the concealed road user 24 has a lower speed than the motor vehicle 12. Accordingly, driving maneuver planning module 46 determines a lane change and/or braking as a driving maneuver to be carried out for motor vehicle 12.

Genauer gesagt ermittelt das Fahrmanöverplanungsmodul 46 entsprechende Steuerbefehle S, die an die Komponenten 32 des Kraftfahrzeugs 12 übergeben werden. Mittels der Steuerbefehle S wird die Längs- und/oder Querbewegung des Kraftfahrzeugs 12 entsprechend des auszuführenden Fahrmanövers gesteuert.To put it more precisely, the driving maneuver planning module 46 determines corresponding control commands S, which are transferred to the components 32 of the motor vehicle 12 . The longitudinal and/or transverse movement of the motor vehicle 12 is controlled by means of the control commands S in accordance with the driving maneuver to be carried out.

Durch das beschriebene Verfahren wird also der wahrnehmbare Bereich vergrößert, sodass vorausschauende Fahrmanöver für das Kraftfahrzeug 12 möglich sind. Dementsprechend muss das Steuergerät 30 nicht nur auf die Fahrmanöver der anderen Verkehrsteilnehmer 22, 24 reagieren, sondern kann bereits zuvor ein notwendiges Bremsmanöver und/oder einen notwendigen Spurwechsel einleiten. Auf diese Weise wird die Fahrsicherheit sowie der Komfort für die Insassen des Kraftfahrzeugs 12 erhöht.The perceptible area is thus enlarged by the method described, so that anticipatory driving maneuvers are possible for the motor vehicle 12 . Accordingly, control unit 30 not only has to react to the driving maneuvers of other road users 22, 24, but can also initiate a necessary braking maneuver and/or a necessary lane change beforehand. In this way, driving safety as well the comfort for the occupants of the motor vehicle 12 increases.

Dabei ist das Verfahren natürlich nicht auf die Verkehrssituation 10 mit zwei sichtbaren Verkehrsteilnehmer 22 und einem verdeckten Verkehrsteilnehmer 24 beschränkt. Im Allgemeinen sind mehrere sichtbare Verkehrsteilnehmer 22 und auch mehrere verdeckte Verkehrsteilnehmer 24 denkbar.The method is of course not limited to the traffic situation 10 with two visible road users 22 and one hidden road user 24 . In general, several visible road users 22 and also several hidden road users 24 are conceivable.

Beispielsweise kann das Steuergerät 30 auch auf verdeckte Verkehrsteilnehmer 24 hinter dem Kraftfahrzeug 12 schließen.For example, control unit 30 can also conclude that road users 24 are hidden behind motor vehicle 12 .

Anhand der 6 wird im Folgenden kurz das Training des Generative Adversarial Networks 60 erläutert, das neben dem Generator 58 auch einen Diskriminator 62 aufweist.Based on 6 the training of the generative adversarial network 60 is briefly explained below, which also has a discriminator 62 in addition to the generator 58 .

Für das Training wird ein Trainingsdatensatz 64 verwendet, der die vollständigen Objektparameter aller Verkehrsteilnehmer von einer Vielzahl an Verkehrssituationen 10 enthält. Der Trainingsdatensatz 64 enthält daher auch die absolute oder relative Position verdeckter Verkehrsteilnehmer.A training data set 64 containing the complete object parameters of all road users from a large number of traffic situations 10 is used for the training. The training data record 64 therefore also contains the absolute or relative position of hidden road users.

Mit anderen Worten enthält der Trainingsdatensatz 64 mehrere Sätze an vollständigen Fahrzeugumgebungsdaten für mehrere Kraftfahrzeuge für eine Vielzahl an Verkehrssituationen 10.In other words, the training data set 64 contains multiple sets of complete vehicle environment data for multiple motor vehicles for a variety of traffic situations 10.

Dieser Trainingsdatensatz 64 wurde beispielsweise mittels Drohnenaufnahmen erzeugt. Über einem Abschnitt einer Straße 14 schwebt also eine Drohne mit einer Kamera und nimmt diesen Abschnitt der Straße 14 über einen langen Zeitraum auf. Somit erzeugt die Kamera der Drohne Aufnahmen, die der 1 entsprechen.This training data record 64 was generated, for example, by means of drone recordings. A drone with a camera hovers over a section of a road 14 and records this section of the road 14 over a long period of time. The drone's camera thus produces recordings that the 1 correspond.

Dabei muss der der Zeitraum nicht zusammenhängend sein. Der Trainingsdatensatz kann also durch Aufnahmen in verschiedenen Abschnitten einer Straße und zu verschiedenen Zeitpunkten zusammengesetzt sein.The period does not have to be contiguous. The training data set can therefore be composed of recordings in different sections of a road and at different times.

Aus diesen Aufnahmen können dann entsprechend die Position, Geschwindigkeit, Beschleunigung und die Fahrzeugabmessungen aller Verkehrsteilnehmer bestimmt werden.The position, speed, acceleration and vehicle dimensions of all road users can then be determined from these recordings.

Der Trainingsdatensatz 64 weist also eine Vielzahl an zweidimensionalen Repräsentationen 48 entsprechend der 5 auf, in der alle Verkehrsteilnehmer dargestellt sind. Somit sind in dem Trainingsdatensatz 64 für jedes Kraftfahrzeug 12 alle sichtbaren Verkehrsteilnehmer 22 und alle verdeckten Verkehrssteilnehmer 24 abgebildet.The training data set 64 thus has a large number of two-dimensional representations 48 corresponding to the 5 on, in which all road users are represented. All visible road users 22 and all hidden road users 24 are thus mapped in the training data record 64 for each motor vehicle 12 .

Aus diesem Trainingsdatensatz 64 wird dann ein Lerndatensatz 66 generiert, der die Aufnahmen A der Sensoren 28 eines Kraftfahrzeugs 12 für eine bestimmte Verkehrssituation 10 simuliert.A learning data set 66 is then generated from this training data set 64 , which simulates the recordings A of the sensors 28 of a motor vehicle 12 for a specific traffic situation 10 .

Mit anderen Worten werden die vollständigen Informationen der Verkehrssituation 10 auf die von den Sensoren 28 des Kraftfahrzeugs 12 wahrnehmbaren Informationen reduziert und entsprechende Fahrzeugumgebungsdaten U erzeugt. Diese Fahrzeugumgebungsdaten U werden dann den Generator 58 übergeben, der entsprechend zu den vorherigen Ausführungen Ausgabedaten D bereitstellt und an den Diskriminator 62 übergibt.In other words, the complete information of the traffic situation 10 is reduced to the information that can be perceived by the sensors 28 of the motor vehicle 12 and corresponding vehicle surroundings data U are generated. These vehicle environment data U are then transferred to the generator 58 which, in accordance with the previous statements, provides output data D and transfers them to the discriminator 62 .

Zusätzlich werden aus dem Lerndatensatz 66 auch tatsächliche Ausgabedaten D' erzeugt, die die tatsächliche Verkehrssituation 10 wiedergeben. Dabei weisen die tatsächlichen Ausgabedaten D' und die von dem Generator 58 erzeugten Ausgabedaten D dasselbe Format auf.In addition, actual output data D′, which reflect the actual traffic situation 10 , are also generated from the learning data set 66 . The actual output data D' and the output data D generated by the generator 58 have the same format.

Anschließend erhält der Diskriminator 62 die tatsächlichen Ausgabedaten D' und die von dem Generator 58 erzeugten Ausgabedaten D und der Diskriminator 62 muss dann entscheiden, welche Ausgabedaten D, D' von dem Generator 58 erzeugt wurden.Subsequently, the discriminator 62 receives the actual output data D′ and the output data D generated by the generator 58 and the discriminator 62 then has to decide which output data D, D′ were generated by the generator 58 .

Falls der Diskriminator 62 die Ausgabedaten D des Generators 58 erkennt, so wird der Diskriminator 62 belohnt und der Generator 58 bestraft. Im anderen Fall, also falls der Diskriminator 62 die Ausgabedaten D des Generators 58 nicht erkennt, wird der Generator 58 belohnt und der Diskriminator 62 bestraft.If the discriminator 62 recognizes the output data D of the generator 58, the discriminator 62 is rewarded and the generator 58 is penalized. In the other case, ie if the discriminator 62 does not recognize the output data D of the generator 58, the generator 58 is rewarded and the discriminator 62 is punished.

Auf diese Weise werden sowohl der Diskriminator 62 als auch der Generator 58 zusammen trainiert und der Generator kann nach Abschluss des Trainings mit dem Trainingsdatensatz 64 sehr zuverlässig verdeckte Verkehrsteilnehmer 24 erkennen. In this way, both the discriminator 62 and the generator 58 are trained together and the generator can very reliably detect hidden road users 24 after the training has been completed with the training data set 64 .

Im Allgemeinen kann der Generator 58 natürlich auch noch trainiert werden, falls dieser im Steuergerät 30 implementiert ist.In general, generator 58 can of course also be trained if it is implemented in control unit 30 .

Falls sich beispielsweise zu einem späteren Zeitpunkt in der Verkehrssituation 10 herausstellt, dass tatsächlich ein verdeckter Verkehrsteilnehmer 24 vorhanden war, so kann das Maschinenlernmodul für das korrekte Erkennen belohnt und für ein Nichterkennen bestraft werden. Auf diese Weise wird das Maschinenlernmodul 56 auch noch durch die auftretenden Verkehrssituationen 10 trainiert.If, for example, it turns out at a later point in time in the traffic situation 10 that a hidden road user 24 was actually present, the machine learning module can be rewarded for the correct recognition and punished for not recognizing it. In this way, the machine learning module 56 is also trained by the traffic situations 10 that occur.

Claims

Method for controlling a motor vehicle (12) driving on a road (14), comprising the following steps: - Obtaining a plurality of spaced-apart Ten recordings (A) of the road (14) and at least one visible road user (22) on the road (14), in particular a motor vehicle, by a control unit (30) of the motor vehicle (12), the recordings (A) being at least one sensor (28) of the motor vehicle (12) are generated, - generating vehicle environment data (U) on the basis of the recordings (A) by the control unit (30), wherein the vehicle environment data (U) at least the position of the at least one visible road user ( 22) relative to the motor vehicle (12), - transferring the vehicle environment data (U) to a supplementary module (42) of the control unit (30), the supplementary module (42) being a trained machine learning module (56), and - determining the probable presence at least a hidden road user (24) in a part of the road (14) that is hidden by the at least one visible road user (22) by the trained machine learning module (56).

procedure after claim 1 , characterized in that the data (U) surrounding the vehicle are the recordings (A) and/or a two-dimensional representation (48) of the traffic situation (10) observed by the at least one sensor (28).

procedure after claim 1 or 2 , characterized in that the supplementary module (42) outputs output data (D) which include the vehicle surroundings data (U) which are supplemented by the hidden road users (24), in particular the output data (D) the two-dimensional representation (48) of the the at least one sensor (28) observed traffic situation (10) in which the at least one hidden road user (24) is added.

procedure after claim 2 or 3 , characterized in that the two-dimensional representation (48) includes the vehicle environment data (U) in a Frenet-Serret coordinate system (50).

procedure the claim 4 , characterized in that the longitudinal axis (L) and the transverse axis (Q) of the Frenet-Serret coordinate system (50) are discrete, in particular wherein the number of values of the transverse axis (L) corresponds to the number of lanes (16) of the road (14 ) and/or the distance between the values in the longitudinal direction (L) corresponds to a predetermined value, in particular a vehicle length of the motor vehicle (12).

Method according to one of the preceding claims, characterized in that the plurality of recordings (A) generated at intervals in time are recorded with a predefined scanning raster and/or over a predefined time interval.

Method according to one of the preceding claims, characterized in that the trained machine learning module (56) determines at most one hidden road user (24) in front of and at most one behind the motor vehicle (12) in each lane (16) of the road (14).

Method according to one of the preceding claims, characterized in that the control unit (30) determines uncertainties in the position and/or the speed of the visible road user (22) from the recordings (A) and/or on the basis of stored sensor uncertainties and transmits them to the supplementary module ( 42) as part of the vehicle environment data (U).

Method according to one of the preceding claims, characterized in that the trained machine learning module (56) comprises a generator (58) of a generative adversarial network (60).

procedure after claim 9 , characterized in that the generator (58) was trained by means of a discriminator (62) of the Generative Adversarial Network (60) and a training data set (64), the training data set (64) having several different sets of complete vehicle environment data (U) which include both at least the relative position in relation to the motor vehicle (12) of the at least one visible road user (22) and the relative position of the at least one hidden road user (24).

Method according to one of the preceding claims, characterized in that the control unit (30) uses the determined presence of at least one hidden road user (24) and/or the output data of the supplementary module (42) to determine a driving maneuver to be carried out by the motor vehicle (12) and the motor vehicle (12) controls such that it performs the driving maneuver.

Method according to one of the preceding claims, characterized in that the control unit (30) verifies the presence of the hidden road user (24) by means of a plausibility module (44), in particular wherein the control unit (30) verifies the presence of the hidden road user (24) on the basis of valid Traffic rules, which are obtained in particular from the vehicle environment data (U), and / or confidence intervals of the vehicle environment data (U) verified.

Control unit for a motor vehicle, the control unit (30) being designed to carry out a method according to one of the preceding claims.

Computer program with program code means for performing the steps of a method according to one of Claims 1 until 12 carried out when the computer program (38) is executed on a data carrier (34) or a corresponding processing unit (36), in particular on a processing unit (36) of a control unit (30). Claim 13 .