DE102018008685A1

DE102018008685A1 - Method for training an artificial neural network, artificial neural network, use of an artificial neural network and corresponding computer program, machine-readable storage medium and corresponding device

Info

Publication number: DE102018008685A1
Application number: DE102018008685.3A
Authority: DE
Inventors: Paul Sanzenbacher; Holger Andreas Banzhaf; Ulrich Baumann
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-11-06
Filing date: 2018-11-06
Publication date: 2020-05-07
Also published as: WO2020094534A1

Abstract

Verfahren zum Trainieren eines künstlichen neuronalen Netzes, insbesondere eines Convolutional Neural Networks, zur Bestimmung einer Pfadvorhersage für ein Fahrzeug als Ausgabegröße in Abhängigkeit von einem Ausgangszustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgrößen, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine Information einer Orientierung an der Position umfasst, mit den Schritten:Optimieren des künstlichen neuronalen Netzes,wobei im Schritt des Optimierens die Bestimmung der Informationen einer Position und die Bestimmung der Informationen einer Orientierung gemeinsam optimiert werden.Method for training an artificial neural network, in particular a convolutional neural network, for determining a path prediction for a vehicle as an output variable depending on an initial state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as input variables, the path at least comprises a pose of the vehicle, a pose comprising information about a position and information about an orientation at the position, comprising the steps of: optimizing the artificial neural network, the step of optimizing determining the information of a position and determining the information of a Orientation can be optimized together.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung ... zur Bestimmung einer Pfadvorhersage für ein Fahrzeug.The present invention relates to a method for training an artificial neural network, artificial neural network, use of an artificial neural network and corresponding computer program, machine-readable storage medium and corresponding device ... for determining a path prediction for a vehicle.

Ein bevorzugtes Anwendungsgebiet der vorliegenden Erfindung liegt im Bereich der autonomen Systeme, insbesondere im Bereich des zumindest teilweise automatisierten Fahrens.A preferred field of application of the present invention is in the field of autonomous systems, in particular in the field of at least partially automated driving.

Zumindest teilweise automatisiertes Fahren meint, das Steuern eines Fahrzeugs, bei dem die gesamte oder zumindest Teile der Fahraufgabe von Fahrzeugsystemen übernommen werden. Wird die gesamte Fahraufgabe übernommen so spricht man von einem vollautomatisiert bzw. hochautomatisiert betriebenen Fahrzeug. Das Fahrzeug fährt automatisiert, indem es beispielsweise den Straßenverlauf, andere Verkehrsteilnehmer oder Hindernisse selbständig erkennt und die entsprechenden Steuerbefehle zumindest teilweise im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wodurch der Fahrverlauf des Fahrzeugs entsprechend beeinflusst wird. Ein menschlicher Fahrer ist bei einem vollautomatisiert bzw. hochautomatisiert betriebenen Fahrzeug nicht mehr an der Fahraufgabe beteiligt.At least partially automated driving means controlling a vehicle in which all or at least part of the driving task is performed by vehicle systems. If the entire driving task is taken over, one speaks of a fully automated or highly automated vehicle. The vehicle drives automatically by, for example, automatically recognizing the course of the road, other road users or obstacles and at least partially calculating the corresponding control commands in the vehicle and forwarding them to the actuators in the vehicle, thereby influencing the course of the vehicle accordingly. In a fully automated or highly automated vehicle, a human driver is no longer involved in the driving task.

Stand der TechnikState of the art

Aus N. Perez-Higueras et al., „Learning Human-Aware Path Planning with Fully Convolutional Networks,“ in IEEE International Conference on Robotics and Automation, 2018 . ist ein künstliches neuronales Netz zur Bestimmung von zukünftigen Position eines Roboters in Abhängigkeit von einer gegebenen Startposition, einer gegebenen Zielposition und der aktuellen Umgebung des Roboters bekannt.Out N. Perez-Higueras et al., "Learning Human-Aware Path Planning with Fully Convolutional Networks," in IEEE International Conference on Robotics and Automation, 2018 . an artificial neural network for determining the future position of a robot as a function of a given starting position, a given target position and the current environment of the robot is known.

Aus D. P. Kingma and J. L. Ba, „Adam: A Method for Stochastic Optimization,“ in International Conference on Learning Representations, 2015 . ist ein Verfahren zur stochastischen Optimierung bekannt.Out DP Kingma and JL Ba, "Adam: A Method for Stochastic Optimization," in International Conference on Learning Representations, 2015 . a method for stochastic optimization is known.

Aus V. Badrinarayanan et al., „SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation,“ arXiv preprint arXiv: 1511.00561, 2015. ist SegNet, ein künstliches neuronales Netz der Art Convolutional Neural Network gemäß der Encoder-Decoder-Architektur zur semantischen Segmentierung bekannt.From V. Badrinarayanan et al., "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation," arXiv preprint arXiv: 1511.00561, 2015. is SegNet, an artificial neural network of the Art Convolutional Neural Network according to the encoder-decoder architecture known for semantic segmentation.

Aus M. Jordan and A. Perez, „Optimal Bidirectional Rapidly-Exploring Random Trees,“ MIT, Tech. Rep., 2013, TR 2013-021 . ist der „Sample“-basierte Bewegungsplaner "Bidirectional RRT* (BiRRT*) bekannt.Out M. Jordan and A. Perez, "Optimal Bidirectional Rapidly-Exploring Random Trees," MIT, Tech. Rep., 2013, TR 2013-021 . the "Sample" -based motion planner "Bidirectional RRT * (BiRRT *) is known.

Mittels künstlichen neuronalen Netzen ist es möglich in Abhängigkeit von einer Startposition eines Fahrzeugs, einer Endposition eines Fahrzeugs und einer Information über die Umgebung des Fahrzeugs eine Pfadvorhersage des Fahrzeugs von der Startposition zu der Endposition zu bestimmen.Using artificial neural networks, it is possible to determine a path prediction of the vehicle from the start position to the end position depending on a start position of a vehicle, an end position of a vehicle and information about the surroundings of the vehicle.

Die bekannten künstlichen neuronalen Netze geben die Pfadvorhersage als Ausgabegröße in Form pixelbasierter Matrizen aus. Jeder Pixel der Matrix repräsentiert eine diskrete Position der Umgebung der Karte. Das künstliche neuronale Netz löst dabei eine Klassifizierungsaufgabe, die jedem Pixel der Ausgabe eine Klasse zuordnet. Die Klasse beschreibt dabei die Zugehörigkeit des Pixels zu dem vorhergesagten Pfad des Fahrzeugs von der Startposition zu der Endposition bzw. die Nicht-Zugehörigkeit des jeweiligen Pixels zu der Pfadvorhersage.The known artificial neural networks output the path prediction as an output variable in the form of pixel-based matrices. Each pixel of the matrix represents a discrete position around the map. The artificial neural network solves a classification task that assigns a class to each pixel of the output. The class describes the affiliation of the pixel to the predicted path of the vehicle from the start position to the end position or the non-affiliation of the respective pixel to the path prediction.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund schlägt die vorliegende Erfindung ein künstliches neuronales Netz zur Bestimmung Pfadvorhersage eines Fahrzeugs als Ausgabegröße in Abhängigkeit von einem Startzustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgrößen, wobei die Pfadvorhersage eine Pose des Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine Information einer Orientierung an der Position umfasst.Against this background, the present invention proposes an artificial neural network for determining the path prediction of a vehicle as an output variable depending on a starting state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as input variables, the path prediction comprising a pose of the vehicle, wherein a pose includes information of a position and information of an orientation at the position.

Der zentrale Unterschied der Pfadvorhersage des künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung ist, dass die Pfadvorhersage zusätzlich zu der Vorhersage zu der Position bzw. den Positionen des Fahrzeugs auch eine Vorhersage zu der Orientierung bzw. den Orientierungen des Fahrzeugs an der jeweiligen Position bzw. den jeweiligen Positionen macht.The central difference of the path prediction of the artificial neural network according to the present invention is that the path prediction in addition to the prediction of the position or the positions of the vehicle also a prediction of the orientation or the orientations of the vehicle at the respective position or the positions.

Diese zusätzliche Information ist vorteilhaft bei der Bewegungsplanung des Fahrzeugs aus dem Startzustand in den Endzustand. Besonders vorteilhaft ist diese zusätzliche Information bei der Bewegungsplanung bei komplexen Fahrmanövern, insbesondere bei Ausweichmanövern bzw. bei Parkmanövern bzw. bei Umkehrmanöver.This additional information is advantageous when planning the movement of the vehicle from the start state to the end state. This additional information is particularly advantageous when planning movements in complex driving maneuvers, in particular in evasive maneuvers or in parking maneuvers or in reversing maneuvers.

Unter einem Zustand des Fahrzeugs ist vorliegend eine Information über die Pose, d.h. über die Position und die Orientierung sowie über die Geschwindigkeit des Fahrzeugs an der Position zu verstehen.
Der Startzustand ist der Zustand des Fahrzeugs von dem aus die Bestimmung des Pfades gemäß der vorliegenden Erfindung erfolgen soll.In the present case, a state of the vehicle is to be understood as information about the pose, ie about the position and the orientation as well as about the speed of the vehicle at the position.
The starting state is the state of the vehicle from which the path is to be determined in accordance with the present invention.

Das künstliche neuronale Netz kann in der Art der Convolutional Neural Networks (CNN) ausgestaltet sein.The artificial neural network can be designed in the manner of convolutional neural networks (CNN).

Die Ausgestaltung des künstlichen neuronalen Netzes als Convolutional Neural Network (CNN) eignet sich besonders, da sich diese Art der künstlichen neuronalen Netze besonders gut für die Verarbeitung von hoch-dimensionalen Eingangsgrößen und der Bestimmung von multimodalen Positionsverteilungen für ein Fahrzeug eignen und sie daher auf die multimodale Pfadvorhersage gegeben einer hochdimensionalen Umfeldrepräsentation trainiert werden können.The design of the artificial neural network as a convolutional neural network (CNN) is particularly suitable, since this type of artificial neural network is particularly well suited for the processing of high-dimensional input variables and the determination of multimodal position distributions for a vehicle multimodal path prediction can be trained given a high-dimensional environment representation.

Gemäß einer Ausführungsform des künstlichen neuronalen Netzes umfasst die Information einer Orientierung einen Sinusanteil und einen Cosinusanteil des Einheitskreises.According to one embodiment of the artificial neural network, the information about an orientation comprises a sine component and a cosine component of the unit circle.

Die Darstellung der Orientierung mittels Sinus- und Cosinusanteilen bietet mehrere Vorteile. Zunächst stellt eine Orientierung mit einem Sinus- und einem Cosinusanteil von jeweils Null einen ungültigen Wert im Einheitskreis dar. Diese Information kann gemäß der vorliegenden Erfindung dazu genutzt werden, zu kodieren, dass sich die Orientierung auf eine Position bezieht, die nicht Teil des vorhergesagten Pfades ist. Ferner kann eine Ermittlung der Resultierenden aus den Sinus- und Cosinusanteilen als Konfidenzmaß interpretiert werden, das angibt, ob eine Information über die Orientierung vorhanden ist. Da im Einheitskreis gilt, sin²(θ) + sin²(θ) = 1, kann bei der Ausgabe des Netzes genau dies überprüft werden. Ergibt die quadrierte Addition der vorhergesagten Sinusuns Cosinusanteile stark von 1 abweichende Werte, lässt sich vermuten, dass die Orientierungsvorhersagen der der Position durch das Netz nicht eindeutig getroffen werden können. D.h. die Vorhersagend es Netzes sind an dieser Position mit einer hohen Unsicherheit belegt.Displaying the orientation using sine and cosine components offers several advantages. First, an orientation with a sine and a cosine component of zero each represents an invalid value in the unit circle. According to the present invention, this information can be used to code that the orientation relates to a position that is not part of the predicted path is. Furthermore, a determination of the resultant from the sine and cosine components can be interpreted as a confidence measure that indicates whether information about the orientation is available. Since sin ² (θ) + sin ² (θ) = 1 applies in the unit circle, this can be checked when the network is output. If the squared addition of the predicted sine and cosine components results in values that deviate greatly from 1, it can be assumed that the orientation predictions of the position cannot be made uniquely by the network. This means that the predictive elements of the network are subject to a high degree of uncertainty at this position.

Nach einer Ausführungsform des künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung wird der Zustand (Startzustand, Endzustand) eines Fahrzeugs in den Eingabe- bzw. Ausgabegrößen mittels einer Matrix repräsentiert wird, die die gleiche Auflösung hat wie die Information über die Umgebung des Fahrzeugs. Die Information über die Position des Fahrzeugs wird anhand der entsprechenden Zelle in der Matrix repräsentiert. Die Zelle enthält einen Wert, der die Geschwindigkeit des Fahrzeugs in dem Zustand repräsentiert. Die der Positionszelle angrenzenden Zellen enthalten Werte, die die Orientierung des Fahrzeugs repräsentieren. Dabei kann die Orientierung als Sinus- und Cosinusanteile des Einheitskreises repräsentiert werden.According to one embodiment of the artificial neural network according to the present invention, the state (start state, end state) of a vehicle is represented in the input or output variables by means of a matrix which has the same resolution as the information about the surroundings of the vehicle. The information about the position of the vehicle is represented on the basis of the corresponding cell in the matrix. The cell contains a value that represents the speed of the vehicle in the state. The cells adjacent to the position cell contain values that represent the orientation of the vehicle. The orientation can be represented as sine and cosine components of the unit circle.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Bestimmung einer Pfadvorhersage für ein Fahrzeug als Ausgabegröße in Abhängigkeit von einem Startzustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgrößen, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine Information einer Position und eine Information einer Orientierung an der Position umfasst.
Das künstliche neuronale Netz kann in der Art der Convolutional Neural Networks (CNN) ausgestaltet sein.Another aspect of the present invention is a method for training an artificial neural network for determining a path prediction for a vehicle as an output variable depending on a starting state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as input variables, the path comprises at least one pose of the vehicle, a pose comprising information about a position and information about an orientation at the position.
The artificial neural network can be designed in the manner of convolutional neural networks (CNN).

Der Kern des Trainingsverfahrens der vorliegenden Erfindung liegt darin, dass im Schritt des Optimierens die Optimierung der Bestimmung der Information über die Position und der Bestimmung der Information über die Orientierung an der Position gemeinsam erfolgt.The essence of the training method of the present invention lies in the fact that in the optimization step the optimization of the determination of the information about the position and the determination of the information about the orientation at the position is carried out together.

Dieser Aspekt der Erfindung basiert auf der Erkenntnis, dass die Bestimmung der zukünftigen Position als Klassifizierungsaufgabe erfolgen kann und die Bestimmung der zukünftigen Orientierung an der Position als Regressionsaufgabe erfolgen kann.This aspect of the invention is based on the knowledge that the future position can be determined as a classification task and the future orientation at the position can be determined as a regression task.

Dazu ist es erforderlich, dass die jeweiligen Informationen in geeigneter Form dargestellt werden. Während die Darstellung der zukünftigen Position des Fahrzeugs in Form einer Klassifikation erfolgen kann, die angibt, ob eine Position der Ausgabegröße Teil des befahrbaren Pfades ist oder nicht, erfolgt die Darstellung der zukünftigen Orientierung an der Position in Form von kontinuierlichen Sinus- und Cosinusanteilen des Einheitskreises.For this it is necessary that the respective information is presented in a suitable form. While the future position of the vehicle can be represented in the form of a classification that indicates whether a position of the output quantity is part of the path that can be traveled or not, the future orientation at the position is represented in the form of continuous sine and cosine components of the unit circle .

Diese Darstellung weist den Vorteil auf, dass die Orientierung nicht mittels eines segmentierten Einheitskreises erfolgt. Da dies zur Folge hätte, dass für jedes vorgesehene Segment des Einheitskreises eine Klassifizierungsaufgabe zu lösen wäre. Dies würde zu einem exponentiellen Wachstum der Dimension der Ausgabegröße (Ausgabetensor) führen und damit zu einer enormen Erhöhung der erforderlichen Berechnungsressourcen führen.This representation has the advantage that the orientation is not carried out by means of a segmented unit circle. As this would have the consequence that a classification problem would have to be solved for each intended segment of the unit group. This would lead to an exponential growth in the dimension of the output size (output sensor) and thus to an enormous increase in the required calculation resources.

Ferner bietet sich die Darstellung als Sinus- und Cosinusanteile an, da der im Einheitskreis ungültige Wert Sinusanteil = 0 und Cosinusanteil = 0 dazu verwendet werden kann, Zellen mit unbekannter Orientierung zu markieren, da diese nicht auf dem vorhergesagten Pfad liegen (eine Orientierungsinformation liegt nur dem vorhergesagten Pfad vor).Furthermore, the representation as a sine and cosine component is recommended, since the value sine component = 0 and cosine component = 0, which are invalid in the unit circle, can be used to mark cells with unknown orientation, since these are not on the predicted path (there is only orientation information the predicted path).

Ein Nachteil des Erlernens der Orientierung durch eine Regression anstatt einer Klassifikation ist, dass es dadurch nicht möglich ist, pixelweise, multimodale Orientierungen des Fahrzeugs zu bestimmen. D.h. für eine bestimmte Position mehr als eine mögliche Orientierung zu bestimmen. Tatsächlich handelt es sich dabei um seltene Einzelfälle. In der Praxis ist eine bestimmte Orientierung je bestimmter Position ausreichend. Dem steht die Vermeidung des exponentiellen Wachstums der Ausgabe gegenüber. A disadvantage of learning the orientation by regression instead of classification is that it is not possible to determine pixel-by-pixel, multimodal orientations of the vehicle. That is, to determine more than one possible orientation for a certain position. In fact, these are rare individual cases. In practice, a certain orientation for a certain position is sufficient. This is offset by the avoidance of exponential growth in output.

Gemäß einer Ausführungsform des Trainingsverfahrens der vorliegenden Erfindung erfolgt im Schritt des Optimierens die Optimierung mittels eines stochastischen Optimierungsalgorithmus.According to one embodiment of the training method of the present invention, the optimization takes place in the optimization step by means of a stochastic optimization algorithm.

Gemäß einer Ausführungsform des Trainingsverfahrens der vorliegenden Erfindung erfolgt im Schritt des Optimierens die Optimierung in Abhängigkeit von einer vorgegebenen Sequenz an Posen.According to one embodiment of the training method of the present invention, the optimization takes place in the optimization step as a function of a predetermined sequence of poses.

Unter einer Pose ist vorliegend eine Information über eine Position und die Information über eine Orientierung an dieser Position zu verstehen. Eine Sequenz an Posen ist somit ein Pfad inklusive der jeweiligen Orientierung an den Positionen des Pfads. Alternativ zu einer Sequenz an Posen kann auch eine Trajektorie verwendet werden. Eine Trajektorie umfasst eine Sequenz von Posen bzw. aus einer gegebenen Trajektorie ist eine Sequenz an Posen ableitbar. Ferner umfasst eine Trajektorie eine Zeitinformation. Somit kann aus einer Trajektorie eine Geschwindigkeitsinformation abgeleitet werden.In the present case, a pose means information about a position and information about an orientation at this position. A sequence of poses is thus a path including the respective orientation at the positions of the path. As an alternative to a sequence of poses, a trajectory can also be used. A trajectory comprises a sequence of poses or a sequence of poses can be derived from a given trajectory. A trajectory also includes time information. Speed information can thus be derived from a trajectory.

Gemäß einer Ausführungsform des Trainingsverfahrens der vorliegenden Erfindung wird im Schritt des Optimierens zu der vorgegebenen Sequenz an Posen eine Vielzahl von unterschiedlichen Startzuständen des Fahrzeugs auf der zu befahrenden Stecke erzeugt.According to one embodiment of the training method of the present invention, in the step of optimizing the given sequence of poses, a multiplicity of different starting states of the vehicle are generated on the route to be traveled.

Unter einem Zustand des Fahrzeugs ist vorliegend eine Information über die Pose, d.h. über die Position und die Orientierung sowie über die Geschwindigkeit des Fahrzeugs an der Position zu verstehen.Under a state of the vehicle there is information about the pose, i.e. to understand about the position and orientation as well as the speed of the vehicle at the position.

Der Startzustand ist der Zustand des Fahrzeugs von dem aus die Bestimmung des Pfades gemäß der vorliegenden Erfindung erfolgen soll.The starting state is the state of the vehicle from which the path is to be determined in accordance with the present invention.

Durch die Vielzahl an Startzuständen für eine vorgegebene Sequenz an Posen bzw. Trajektorie ist es möglich auf einfache Art und Weise den Trainingsdatensatz zu erweitern ohne eine entsprechende Anzahl an Sequenzen an Posen bzw. Trajektorien vorzuhalten bzw. aufzuzeichnen.Due to the large number of start states for a given sequence of poses or trajectories, it is possible to easily expand the training data record without having to maintain or record a corresponding number of sequences of poses or trajectories.

Diese Erweiterungsmethode zwingt das zu trainierende künstliche neuronale Netz seine Bestimmung des Pfades aufgrund der zusätzlichen Trainingsdaten bzw. sich verändernden Informationen über das Umfeld entsprechend anzupassen (Bspw. kann sich durch eine geänderte Startposition der von den Sensoren des Fahrzeugs erfasste bzw. erfassbare Umgebung ändern.) Dies führt so insgesamt zu einer verbesserten Optimierung des künstlichen neuronalen Netzes durch die adaptive Anpassung der Vorhersagen an sich verändernde Umgebungsinformationen.This extension method forces the artificial neural network to be trained to adapt its determination of the path accordingly on the basis of the additional training data or changing information about the environment (for example, the environment detected or detectable by the sensors of the vehicle can change due to a changed starting position.) Overall, this leads to an improved optimization of the artificial neural network by adaptively adapting the predictions to changing environmental information.

Die Erzeugung der Vielzahl an Startzustände kann mittels eines Zufallsverfahrens erfolgen.The multitude of starting states can be generated by means of a random process.

Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung zur Steuerung eines Fahrzeugs.Another aspect of the present invention is the use of an artificial neural network according to the present invention for controlling a vehicle.

Die Verwendung umfasst die nachstehenden Schritte.Use includes the steps below.

Ermitteln einer Pfadvorhersage für das Fahrzeug mittels des künstlichen neuronalen Netzes. Für diesen Schritt können dem zuvor trainierten künstlichen neuronale Netz als Eingangsgrößen ein Startzustand des Fahrzeugs, ein Endzustand des Fahrzeugs und eine Information über die Umgebung des Fahrzeugs zugeführt werden. Das künstliche neuronale Netz kann als Ausgangsgröße eine Information über einen Pfad des Fahrzeugs bereitstellen.Determining a path prediction for the vehicle using the artificial neural network. For this step, a starting state of the vehicle, an end state of the vehicle and information about the surroundings of the vehicle can be supplied to the previously trained artificial neural network as input variables. The artificial neural network can provide information about a path of the vehicle as an output variable.

Auswählen einer Position aus der ermittelten Pfadvorhersage. Für diesen Schritt kann aus der ermittelten Pfadvorhersage für das Fahrzeug mindestens eine Position ausgewählt werden. Die Auswahl der Position kann dabei so erfolgen, dass aus der Ausgabegröße des künstlichen neuronalen Netzes, die bspw. einen Tensor umfasst, aus einer Matrix des Tensors eine Zelle ausgewählt wird, die im dem vorgesagten Pfad des Fahrzeugs zugeordnet wurde. Denkbar ist auch die Auswahl mindestens einer Zelle, die eine diskrete Position repräsentiert.Select a position from the determined path prediction. For this step, at least one position can be selected from the determined path prediction for the vehicle. The position can be selected such that a cell is selected from the output size of the artificial neural network, which comprises, for example, a tensor, from a matrix of the tensor, which cell was assigned in the predicted path of the vehicle. It is also conceivable to select at least one cell that represents a discrete position.

Erzeugen einer kontinuierlichen Position abhängig von der bestimmten Zelle. Dieser Schritt basiert auf der Erkenntnis, dass die Zellen des vorhergesagten Pfads lediglich diskrete Positionsangaben darstellen, die einen der Auflösung entsprechenden Bereich der Umgebung des Fahrzeugs darstellen. Bspw. einen Bereich von 60 cm × 60 cm. Zum einen wird durch die Kontinuisierung der diskreten Position der gesamte Wertebereich an möglichen Positionen abgedeckt. Zum anderen lässt sich durch die Kontinuisierung der diskreten Position die Steuerung auf einfache Weise vereinfachen.Generate a continuous position depending on the particular cell. This step is based on the knowledge that the cells of the predicted path merely represent discrete position information, which represent a region of the surroundings of the vehicle corresponding to the resolution. E.g. an area of 60 cm × 60 cm. On the one hand, the continuation of the discrete position covers the entire range of values at possible positions. On the other hand, the control can be simplified in a simple manner by the continuation of the discrete position.

Bestimmen einer Orientierung an der ausgewählten Position bzw. aus der korrespondierenden Zelle. Dieser Schritt basiert auf der Erkenntnis, dass die Ausgabe des künstlichen neuronalen Netzes neben den Positionen, die zu dem ermittelten Pfad des Fahrzeugs gehören auch entsprechende Orientierungen an den jeweiligen Positionen ermittelt hat. D.h. zu jeder Zelle existiert eine Information über die Position des Fahrzeugs und eine Information über die Orientierung des Fahrzeugs. In Abhängigkeit von der ausgewählten Zelle für die Position kann die zugehörige Orientierung des Fahrzeugs ausgewählt werden. Die Bestimmung der Orientierung kann dabei so erfolgen, dass aus der Ausgabegröße des künstlichen neuronalen Netzes, die bspw. einen Tensor umfasst, aus einer Matrix bzw. Matrizen des Tensors eine bzw. mehrere Zellen ausgewählt werden, die korrespondierende Zellen zu der ausgewählten Position darstellen.Determine an orientation at the selected position or from the corresponding cell. This step is based on the realization that the output of the artificial neural network in addition to the positions that belong to the determined path of the vehicle has also determined corresponding orientations at the respective positions. That is, for each cell there is information about the position of the vehicle and information about the orientation of the vehicle. Depending on the selected cell for the position, the associated orientation of the vehicle can be selected. The orientation can be determined in such a way that from the output size of the artificial neural network, which comprises, for example, a tensor, one or more cells are selected from a matrix or matrices of the tensor, which cells correspond to the selected position.

Bestimmen einer Pose für das Fahrzeug durch Zusammenführen der erzeugten kontinuierlichen Position und der bestimmten Orientierung. Für diesen Schritt wird die kontinuisierte Position und die bestimmte Orientierung des Fahrzeugs zu einer Pose für die Steuerung des Fahrzeugs zusammengeführt.Determine a pose for the vehicle by merging the generated continuous position and the determined orientation. For this step, the continuous position and the specific orientation of the vehicle are combined into a pose for the control of the vehicle.

Steuern des Fahrzeugs in Abhängigkeit der bestimmten Pose. Für diesen Schritt können die bestimmten Posen einem Bewegungsplaner zugeführt werden. Ein geeigneter Bewegungsplaner ist der Bidirectional RRT* (BiRRT*).Control the vehicle depending on the particular pose. For this step, the specific poses can be sent to a movement planner. A suitable movement planner is the bidirectional RRT * (BiRRT *).

Unter Steuern des Fahrzeugs kann vorliegend verstanden werden einen Bewegungsplan für das Fahrzeug in Abhängigkeit der bestimmten Pose zu berechnen und darauf basierend die Fahrzeugsysteme derart anzusteuern, dass das Fahrzeug im Wesentlichen dem berechneten Bewegungsplan folgt.Controlling the vehicle in the present case can be understood to calculate a movement plan for the vehicle depending on the particular pose and to control the vehicle systems based thereon in such a way that the vehicle essentially follows the calculated movement plan.

Bei der Verwendung kann als künstliches neuronales Netz ein Convolutional Neural Network eingesetzt werden.When used, a convolutional neural network can be used as an artificial neural network.

Der Einsatz eines Convolutional Neural Network (CNN) als künstliches neuronales Netz eignet sich besonders, da sich diese Art der künstlichen neuronalen Netze besonders gut für die Verarbeitung von hoch-dimensionalen Eingangsgrößen und der Bestimmung von multimodalen Positionsverteilungen für ein Fahrzeug eignen und sie daher auf die multimodale Pfadvorhersage gegeben einer hochdimensionalen Umfeldrepräsentation trainiert werden können.The use of a convolutional neural network (CNN) as an artificial neural network is particularly suitable, since this type of artificial neural network is particularly well suited for processing high-dimensional input variables and determining multimodal position distributions for a vehicle and therefore for the vehicle multimodal path prediction can be trained given a high-dimensional environment representation.

Die Verwendung des künstlichen neuronalen Netzes eignet sich für komplexe Fahrmanöver wie bspw. Einparkmanöver, Umkehrmanöver oder Ausweichmanöver.The use of the artificial neural network is suitable for complex driving maneuvers such as parking maneuvers, reversing maneuvers or evasive maneuvers.

Nach einer Ausführungsform der Verwendung gemäß der vorliegenden Erfindung wird im Schritt des Auswählens die Pose mittels eines Verfahrens der Wahrscheinlichkeitsfunktion ausgewählt.According to an embodiment of the use according to the present invention, in the step of selecting, the pose is selected using a method of the probability function.

Im Schritt des Auswählens kann eine Pose nur dann ausgewählt werden, wenn die Wahrscheinlichkeit für die Zugehörigkeit des ermittelten Pfads über einem vorbestimmten Schwellenwert liegt.In the step of selecting, a pose can only be selected if the probability of belonging to the determined path lies above a predetermined threshold value.

Der Schwellenwert kann an die praktischen und tatsächlichen Erfordernisse angepasst werden. Ziel des Schwellenwerts ist es die Ausgabe des künstlichen neuronalen Netzes derart weiter zu verwenden, dass lediglich die Teile der Pfadvorhersage verwendet werden, die mit für die praktischen und tatsächlichen Erfordernisse erforderlichen Wahrscheinlichkeit zu dem zu befahrenden Teil der Umgebung gehören. Der Schwellenwert kann zwischen 45 % und 55 % liegen. Der Schwellenwert kann bei 50 % liegen.The threshold can be adapted to practical and actual requirements. The aim of the threshold value is to continue to use the output of the artificial neural network in such a way that only those parts of the path prediction are used which, with the probability required for the practical and actual requirements, belong to the part of the environment to be traveled on. The threshold can be between 45% and 55%. The threshold can be 50%.

Das Vorsehen eines solchen Schwellenwerts führt dazu, dass der Bewegungsplaner für die Bewegungsplanung nur Bereiche der Umgebung des Fahrzeugs berücksichtigt, die mit hoher bzw. überwiegender Wahrscheinlichkeit zu befahrende Bereiche darstellen.The provision of such a threshold value means that the motion planner only takes into account areas of the surroundings of the vehicle for the motion planning that represent areas to be traveled with a high or predominant probability.

Nach einer Ausführungsform der Verwendung gemäß der vorliegenden Erfindung wird im Schritt Erzeugens einer kontinuierlichen Position aus einer diskreten Position des ermittelten Pfads mittels einer uniformen Verteilung die kontinuierliche Position erzeugt.According to one embodiment of the use according to the present invention, in the step of generating a continuous position from a discrete position of the determined path, the continuous position is generated by means of a uniform distribution.

Diese Ausführungsform weist den Vorteil auf, dass die diskreten Positionen, die durch das künstliche neuronale Netz bestimmt wurden, in eine kontinuierliche Positionsangabe umgewandelt werden. Dies führt zu einer Gesamtabdeckung des möglichen Wertebereichs der Positionen innerhalb einer Zelle, da die diskreten Positionssamples je nach Auflösung der Eingangs- bzw. Ausgangsgrößen einen nicht unerheblichen Bereich der Umgebung des Fahrzeugs abdecken. Bspw. umfasst eine Zelle einen Bereich von 60 cm x 60 cm je nach Parametrierung der Eingabedaten.This embodiment has the advantage that the discrete positions determined by the artificial neural network are converted into a continuous position specification. This leads to an overall coverage of the possible value range of the positions within a cell, since the discrete position samples cover a not insignificant area of the surroundings of the vehicle, depending on the resolution of the input or output variables. E.g. a cell covers an area of 60 cm x 60 cm depending on the parameterization of the input data.

Nach einer Ausführungsform der Verwendung gemäß der vorliegenden Erfindung wird im Schritt des Bestimmens einer Orientierung die Orientierung mittels eines Verfahrens zur Interpolation, insbesondere zur bilinearen Interpolation, aus der Orientierung an dem Zellmittelpunkt zur kontinuierlichen gesampelten Position durch die Orientierung der angrenzenden Zellen bestimmt.According to an embodiment of the use according to the present invention, in the step of determining an orientation, the orientation is determined by means of a method for interpolation, in particular for bilinear interpolation, from the orientation at the cell center to the continuously sampled position by the orientation of the adjacent cells.

Diese Ausführungsform weist den Vorteil auf, dass die Orientierungsangabe genauer zu der Positionsangabe passt. Gerade in dem Zusammenhang, dass die Positionssamples diskrete Positionsangaben darstelle und für jede Positionsangabe eine Orientierungsangabe vorliegt, führt eine Interpolation der Orientierungsangabe dazu, dass die Orientierungsangabe besser zur jeweiligen Positionsangabe passt. Der Vorteil dieses Merkmals tritt insbesondere dann hervor, wenn die diskrete Positionsangabe in eine kontinuierliche Positionsangabe umgewandelt wurde.This embodiment has the advantage that the orientation information matches the position information more precisely. Especially in the context that the position samples are discrete Represent position information and there is an orientation information for each position information, an interpolation of the orientation information means that the orientation information fits better to the respective position information. The advantage of this feature is particularly evident when the discrete position specification has been converted into a continuous position specification.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, das zur Verwendung eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung zur Steuerung eines Fahrzeugs eingerichtet ist.Another aspect of the present invention is a computer program that is set up to use an artificial neural network according to the present invention to control a vehicle.

Gerade die Kombination von klassischen Bewegungsplanungsverfahren mit Verfahren des maschinellen Lernens, insbesondere durch den Einsatz von künstlichen neuronalen Netzen, hilft das Dilemma zu lösen auf schnelle Art und Weise sichere Trajektorien für die Steuerung eines Fahrzeugs auch in komplexen Manövern.The combination of classic movement planning methods with methods of machine learning, especially through the use of artificial neural networks, helps to solve the dilemma in a quick manner, safe trajectories for the control of a vehicle even in complex maneuvers.

Nachstehend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen erläutert.Embodiments of the present invention will be explained below with reference to drawings.

Es zeigen:

1 ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung;
2 eine schematische Darstellung eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung;
3 ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Steuern eines Fahrzeugs gemäß der vorliegenden Erfindung.

Show it:

1 a flow diagram of an embodiment of the method for training an artificial neural network according to the present invention;
2nd a schematic representation of an artificial neural network according to the present invention;
3rd a flowchart of an embodiment of the method for controlling a vehicle according to the present invention.

1 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung. 1 shows a flow diagram of an embodiment of the method for training an artificial neural network according to the present invention.

Das mit dem vorliegenden Trainingsverfahren zu trainierende künstliche neuronale Netzwerk ist geeignet zur Bestimmung eines Pfads eines Fahrzeugs als Ausgabegröße in Abhängigkeit von einem Ausgangszustand des Fahrzeugs, einem Endzustand des Fahrzeugs und einer Information über die Umgebung des Fahrzeugs als Eingangsgröße, wobei der Pfad mindestens eine Pose des Fahrzeugs umfasst, wobei eine Pose eine diskrete Information einer Position und eine kontinuierliche Information einer Orientierung an der Position umfasst.The artificial neural network to be trained with the present training method is suitable for determining a path of a vehicle as an output variable as a function of an initial state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as an input variable, the path being at least one pose of the Vehicle, wherein a pose comprises discrete information of a position and continuous information of an orientation at the position.

Im Schritt 101 erfolgt die Optimierung des künstlichen neuronalen Netzes. Beim Optimieren werden die Bestimmung der diskreten Informationen und die Bestimmung der kontinuierlichen Informationen, also Klassifikation der möglichen Positionen und Regression der dazugehörigen Fahrzeugorientierungen gemeinsam optimiert.In step 101 the artificial neural network is optimized. When optimizing, the determination of the discrete information and the determination of the continuous information, i.e. classification of the possible positions and regression of the associated vehicle orientations, are optimized together.

Die Optimierung bzw. das Training des künstlichen neuronalen Netzes kann Ende zu Ende mittels aufgenommenen Trajektorien erfolgen. Die Trajektorien können dabei von aufgezeichneten realen Manöverfahrten stammen. Ferner ist es denkbar Manöverfahrten in geeigneten Simulatoren zu simulieren und die Trajektorien der Simulation zu entnehmen.The optimization or training of the artificial neural network can be carried out end to end using recorded trajectories. The trajectories can originate from recorded real maneuvers. It is also conceivable to simulate maneuvers in suitable simulators and to extract the trajectories from the simulation.

Die Parameter des künstlichen neuronalen Netzes können durch die Anwendung eines Verfahrens zur stochastischen Optimierung und der Verlustfunktion $L = \sum_{c \in C} (f_{C E} (c) L_{C E} (c) + f_{M S E} (c) L_{M S E} (c)) + \sum_{w \in W} \frac{λ w^{3}}{2},$

wobei c eine Zelle der Ausgabe des künstlichen neuronalen Netzes bezeichnet, der erste Term zellweise der Verlust der Kreuzentropie L_CE(c) der Klassifizierungsaufgabe, der zweite Term zellweise die mittlere quadratische Abweichung L_MSE(c) der Regressionsaufgabe und der letzte Term den L2 Regularisierungsverlust der Gewichte w ∈ W mit dem Skalierungsfaktor λ beschreibt.The parameters of the artificial neural network can be determined by using a method for stochastic optimization and the loss function

L = \sum_{c \in C.} (f_{C. E} (c) L_{C. E} (c) + f_{M S E} (c) L_{M S E} (c)) + \sum_{w \in W} \frac{λ w^{3rd}}{2nd},

where c denotes a cell of the output of the artificial neural network, the first term cell-wise the loss of the cross entropy L _CE (c) of the classification task, the second term cell-wise the mean squared deviation L _MSE (c) of the regression task and the last term the L2 regularization loss describes the weights w ∈ W with the scaling factor λ.

Dadurch, dass in der Verlustfunktion sowohl der Verlust der Kreuzentropie der Klassifizierungsaufgabe als auch die mittlere quadratische Abweichung der Regressionsaufgabe gemeinsam berücksichtigt werden, erfolgt die erfindungsgemäße gemeinsame Optimierung.The fact that both the loss of the cross entropy of the classification task and the mean square deviation of the regression task are taken into account jointly in the loss function means that the joint optimization according to the invention takes place.

Die Bestimmungseigenschaften des Modells können durch die zwei nachstehend erläuterten Metriken ermittelt werden.The determination properties of the model can be determined by the two metrics explained below.

Die erste Metrik misst die Nähe von N bestimmten Posen $x_{p r e d}^{[i]} \in χ_{p r e d}$

zur vorgegebenen Trajektorie (eng. ground truth trajectory) x_t ∈ χ durch die Ermittlung der mittleren Pfadabweichung D gemäß

D (χ, χ_{p r e d}) = \frac{\sum_{i = 1}^{N} m i n_{x_{t} \in χ} d (x_{t}, x_{p r e d}^{[i]})}{N},

wobei d(·) den Abstand zwischen einer Pose der Trajektorie und einer bestimmten Pose beschreibt. Die Berechnung erfolgt dabei mittels einer gewichteten Summe der Euklidischen Distanz und der Winkelabweichung gemäß

d (x_{t}, x_{p r e d}^{[i]}) = ω_{p o s} {‖ x_{p r e d}^{[i]} - x_{t} ‖}_{2} + ω_{p o s} | θ_{p r e d}^{[i]} - θ_{t} |,

wobei den unterschiedlichen Einheiten der beiden Terme dadurch Rechnung getragen werden kann, dass die Gewichte w_pos und w_θ entsprechend angepasst werden. Bspw. auf w_pos = 0,35 und w_θ = 0,65 gesetzt werden.The first metric measures the proximity of N specific poses

x_{p r e d}^{[i]} \in χ_{p r e d}

to the given trajectory (eng. ground truth trajectory) x _t ∈ χ by determining the mean path deviation D according to

D (χ, χ_{p r e d}) = \frac{\sum_{i = 1}^{N} m i n_{x_{t} \in χ} d (x_{t}, x_{p r e d}^{[i]})}{N},

where d (·) describes the distance between a pose of the trajectory and a certain pose. The calculation is based on a weighted sum of the Euclidean distance and the angular deviation

d (x_{t}, x_{p r e d}^{[i]}) = ω_{p O s} {‖ x_{p r e d}^{[i]} - x_{t} ‖}_{2nd} + ω_{p O s} | θ_{p r e d}^{[i]} - θ_{t} |,

the different units of the two terms can be taken into account by adapting the weights w _pos and w _θ accordingly. E.g. can be set to w _pos = 0.35 and w _θ = 0.65.

Die zweite Metrik misst den maximalen Bestimmungsabstand G mittels den nachstehend erläuterten zwei Schritten. (1) Jede bestimmte Pose wird auf die vorgegebene Trajektorie abgebildet und (2) es wird die maximale Länge bestimmt, die nicht von einer bestimmten Pose abgedeckt wird. Die Abbildung des ersten Schritts kann wie folgt beschrieben werden $x_{r e f}^{[i]} = \underset{x_{t} \in x}{arc min} d (x_{t}, x_{p r e d}^{[i]}),$

wobei

x_{r e f}^{[i]}

die Referenzpose der bestimmten Pose

x_{p r e d}^{[i]}

auf der vorgegebenen Trajektorie ist. Die Referenzposen werden gemäß ihrer Bogenlänge zu einer geordneten Liste χ_ref zusammengefasst. Der maximale Bestimmungsabstand G ∈ [0,1] bestimmt sich dann wie nachstehend angegeben nach

G (χ, χ_{r e f}) = \frac{{max}_{i = 0} N_{- 1} s_{r e f}^{[i + 1]} s_{r e f}^{[i]}}{s_{T}},

wobei die Länge der vorgegebenen Trajektorie &_T beträgt.The second metric measures the maximum determination distance G using the two steps explained below. (1) Each particular pose is mapped to the specified trajectory and (2) the maximum length is determined that is not covered by a particular pose. The illustration of the first step can be described as follows

x_{r e f}^{[i]} = \underset{x_{t} \in x}{arc min} d (x_{t}, x_{p r e d}^{[i]}),

in which

x_{r e f}^{[i]}

the reference pose of the particular pose

x_{p r e d}^{[i]}

is on the given trajectory. The reference _{poses are} grouped according to their arc length into an ordered list χ _ref . The maximum determination distance G ∈ [0.1] is then determined as shown below

G (χ, χ_{r e f}) = \frac{{Max}_{i = 0} N_{- 1} s_{r e f}^{[i + 1]} s_{r e f}^{[i]}}{s_{T}},

where the length of the predetermined trajectory is & _T.

In künstlichen neuronalen Netzen bei denen die annotierten (eng. labeled) Eingabegrößen (hier: grids) keine Pfadinformation enthalten, d.h. für den zukünftigen Pfad des Fahrzeugs irrelevante Positionen darstellen, kann eine Hochskalierung der relevanten Zellen mit den Funktonen f_CE(c) und f_MSE(c) erfolgen, wenn die Funktionen die nachstehenden Abbildungen beschreiben $f_{C E} (c) = 1 + I_{c} \cdot (γ_{C E} - 1),$

f_{M S E} (c) = 1 + I_{c} \cdot (γ_{M S E} - 1),

wobei γ_CE und γ_MSE Hyperparameter des Modells und

eine Indikatorfunktion ist, die 1 annimmt, wenn der zukünftige Pfad die Zelle c kreuzt, ansonsten 0 annimmt.In artificial neural networks in which the annotated (eng. Labeled) input variables (here: grids) do not contain any path information, ie represent positions that are irrelevant for the future path of the vehicle, an upscaling of the relevant cells with the functions f _CE (c) and f _MSE (c) occur when the functions describe the figures below

f_{C. E} (c) = 1 + {I.}_{c} \cdot (γ_{C. E} - 1),

f_{M S E} (c) = 1 + {I.}_{c} \cdot (γ_{M S E} - 1),

where γ _CE and γ _MSE hyperparameters of the model and

is an indicator function that assumes 1 if the future path crosses cell c, otherwise assumes 0.

Im Rahmen der Optimierung können auch die Hyperparameter des Modells optimiert werden. Grundsätzlich können alle Hyperparameter des Modells optimiert werden.As part of the optimization, the hyper parameters of the model can also be optimized. In principle, all hyper parameters of the model can be optimized.

In Versuchen wurde festgestellt, dass bereits gute Ergebnisse erzielt werden können, wenn nur eine Teilmenge der Hyperparameter optimiert wird. So kann die Dämpfung der exponentiellen Lernrate lrd und der Skalierungsfaktor λ der L2 Regularisierung auf lrd = 0,01 nach 10⁶ Iterationen und λ = 0,003 festgelegt werden. Die weiteren drei Hyperparameter die Lernrate lr sowie γ_CE und γ_MSE können in einem zweischrittigen Ansatz optimiert werden. Im ersten Schritt wird die Lernrate lr variiert während γ_CE und γ_MSE konstant auf dem Wert 25 gehalten werden. Im zweiten Schritt wird die Lernrate lr auf ihrem zuvor ermittelten Bestwert gehalten, γ_CE und γ_MSE zu optimieren.Experiments have shown that good results can be achieved if only a subset of the hyper parameters is optimized. The damping of the exponential learning rate lrd and the scaling factor λ of the L2 regularization can be set to lrd = 0.01 after 10 ⁶ iterations and λ = 0.003. The other three hyperparameters, the learning rate lr and γ _CE and γ _MSE, can be optimized in a two-step approach. In the first step, the learning rate lr is varied while γ _CE and γ _{MSE are} constant in value 25th being held. In the second step, the learning rate lr is kept at its previously determined best value to optimize γ _CE and γ _MSE .

Dem Fachmann ist dabei klar, dass die im vorherigen Abschnitt vorgeschlagenen Größen für die Hyperparameter stark von den verwendeten künstlichen neuronalen Netzen und insbesondere von deren Implementierung auf entsprechenden Rechenressourcen abhängt. Und daher vorliegend lediglich beispielhaft aufgeführt werden.It is clear to the person skilled in the art that the sizes for the hyper parameters proposed in the previous section depend heavily on the artificial neural networks used and in particular on their implementation on corresponding computing resources. And are therefore only listed here as examples.

2 zeigt eine schematische Darstellung eines künstlichen neuronalen Netzes 2 gemäß der vorliegenden Erfindung. Bei dem dargestellten künstlichen neuronalen Netz 2 handelt es sich um ein Convolutional Neural Network (CNN) realisiert nach der Encoder-Decoder-Architektur. Das dargestellte CNN basiert auf dem SegNet zur semantischen Segmentierung. 2nd shows a schematic representation of an artificial neural network 2nd according to the present invention. In the artificial neural network shown 2nd is a convolutional neural network (CNN) implemented according to the encoder-decoder architecture. The CNN shown is based on the SegNet for semantic segmentation.

Die semantische Segmentierung wird typischerweise auf Bilder angewendet. Eine Darstellung der Bilder wird als Eingangstensor einem entsprechend trainierten künstlichen neuronalen Netz zugeführt. Bei einer semantischen Segmentierung werden im Bild erkannte Objekte pixelgenau im Bild markiert. Die Objektklasse wird entsprechend für jeden Pixel des Bildes ausgegeben.Semantic segmentation is typically applied to images. A representation of the images is fed as an input tensor to an appropriately trained artificial neural network. In the case of semantic segmentation, objects recognized in the image are marked with pixel accuracy in the image. The object class is output accordingly for every pixel of the image.

Das dargestellte künstliche neuronale Netz nimmt 5 Matrizen (bzw. Grids) als Eingangstensor auf. Diese Matrizen umfassen Informationen über die Umgebung des Fahrzeugs. Das sind bspw. Informationen über statische Hindernisse, unbekannte bzw. nicht erfassbare Bereich, ein Teil des bisher zurückgelegten Pfades sowie den Start- und (geplanten) Endzustand des Fahrzeugs. Der Endzustand hängt dabei von dem bevorstehenden Manöver ab. Handelt es sich bspw. um ein Parkmanöver, dann kann der Endzustand den eingeparkten Zustand des Fahrzeugs beschreiben. Handelt es sich bspw. um ein Umkehr-oder Ausweichmanöver, dann kann der Endzustand den Zustand des Fahrzeugs nach dem Umkehren bzw. dem Ausweichen beschreiben.The artificial neural network shown takes up 5 matrices (or grids) as an input tensor. These matrices contain information about the surroundings of the vehicle. This includes, for example, information about static obstacles, unknown or unrecognizable area, part of the path covered so far and the start and (planned) end state of the vehicle. The final state depends on the upcoming maneuver. If it is a parking maneuver, for example, the final state can describe the parked state of the vehicle. If, for example, a reversing or evasive maneuver is involved, the final state can describe the state of the vehicle after reversing or evasive action.

Unter einem Zustand des Fahrzeugs kann vorliegend die Position des Fahrzeugs, die Orientierung des Fahrzeugs an der Position sowie die Geschwindigkeit des Fahrzeugs an der Position verstanden werden. In the present case, a state of the vehicle can be understood to mean the position of the vehicle, the orientation of the vehicle at the position and the speed of the vehicle at the position.

Beim Durchlaufen des CNN 2 wird der Eingangstensor zunächst durch einen Encoder 201, durch ein Kontextmodul 202, und anschließend durch einen Decoder 203 geführt. Im Encoder 201 wird der Eingangstensor 21 in seiner räumlichen Dimension reduziert und gleichzeitig in seine Tiefe erhöht (Anstieg der Feature-Maps). Das Kontextmodul 202 erhöht die Tiefe des Netzes, indem es die räumliche Dimension des Tensors beibehält, allerdings zusätzliche Feature-Maps berechnet. Im Decoder 203 wird der gefaltete Tensor bis auf seine Ursprungsgröße aufgefaltet und als Ausgangstensor 22 ausgegeben. Dies erfolgt durch abwechselnde Blöcke bestehend aus Faltungsschichten (eng. convolutional layer) 23, Pooling-Schichten (eng. pooling layer) 24 und Unpooling-Schichten (eng. unpooling layer) 25. Die Faltungsschichten 23 können dabei einen 3x3 Kern (eng. kernel) und eine Schrittweite (eng. stride) von 1 aufweisen. Die Pooling-Schichten 24 können einen 2x2 Kern und die Unpooling-Schichten 25 einen 2x2 Kern aufweisen. Auf jede Faltungsschicht 23, mit Ausnahme der letzten, können eine Stapelnormalisierung (eng. Batch Normalization) und eine ReLU Aktivierung (eng. ReLU activation) folgen.When going through the CNN 2nd the input tensor is first an encoder 201 , through a context module 202 , and then through a decoder 203 guided. In the encoder 201 becomes the entry tensor 21 reduced in its spatial dimension and at the same time increased in depth (increase in feature maps). The context module 202 increases the depth of the network by maintaining the spatial dimension of the tensor, but calculating additional feature maps. In the decoder 203 the folded tensor is unfolded to its original size and as an output tensor 22 spent. This is done by alternating blocks consisting of convolutional layers 23 , Pooling layers 24th and unpooling layers 25th . The folding layers 23 can have a 3x3 core (eng. kernel) and a step size (eng. stride) of 1. The pooling layers 24th can have a 2x2 core and the unpooling layers 25th have a 2x2 core. On every fold layer 23 With the exception of the last one, batch normalization (eng. Batch Normalization) and ReLU activation (eng. ReLU activation) can follow.

Das dargestellte CNN 2 gibt 4 Matrizen mit der gleichen Auflösung wie die des Eingangstensors 21 als Ausgabetensor 22 aus. Zwei der Matrizen enthalten die Ergebnisse der Klassifizierungsaufgabe. D.h. sie beinhalten eine pixelweise Information, ob ein Pixel zu dem zukünftigen Pfad gehört oder nicht. Die zwei anderen Matrizen enthalten die Ergebnisse der Regressionsaufgabe. D.h. sie beinhalten eine pixelweise Information über die Orientierung des Fahrzeugs an der jeweiligen Position, wobei die eine der Matrizen den Sinusanteil der Orientierung des Fahrzeugs und die andere der Matrizen den Cosinusanteil der Orientierung beinhaltet. Ein Sinus- und Cosinusanteil von 0 an einem Pixel stellt an sich einen ungültigen Wert im Einheitskreis dar, kann dagegen genutzt werden, um zu kodieren, dass der Pixel nicht teil eines bestimmten Pfades ist.The CNN shown 2nd gives 4 matrices with the same resolution as that of the input tensor 21 as an output sensor 22 out. Two of the matrices contain the results of the classification task. That is, they contain pixel-by-pixel information as to whether a pixel belongs to the future path or not. The other two matrices contain the results of the regression task. This means that they contain pixel-wise information about the orientation of the vehicle at the respective position, one of the matrices containing the sine component of the orientation of the vehicle and the other of the matrices containing the cosine component of the orientation. A sine and cosine component of 0 in a pixel is an invalid value in the unit circle, but can be used to code that the pixel is not part of a certain path.

3 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens zum Steuern eines Fahrzeugs gemäß der vorliegenden Erfindung. 3rd 10 shows a flowchart of an embodiment of the method for controlling a vehicle according to the present invention.

In Schritt 301 erfolgt eine Pfadvorhersage mittels eines künstlichen neuronalen Netzes gemäß der vorliegenden Erfindung. Für diesen Schritt können dem zuvor trainierten künstlichen neuronale Netz als Eingangsgrößen ein Startzustand des Fahrzeugs, ein Endzustand des Fahrzeugs und eine Information über die Umgebung des Fahrzeugs zugeführt werden. Das künstliche neuronale Netz kann als Ausgangsgröße eine Information über einen Pfad des Fahrzeugs bereitstellen.In step 301 there is a path prediction using an artificial neural network according to the present invention. For this step, a starting state of the vehicle, an end state of the vehicle and information about the surroundings of the vehicle can be supplied to the previously trained artificial neural network as input variables. The artificial neural network can provide information about a path of the vehicle as an output variable.

In Schritt 302 wird eine diskrete Position aus der bestimmten Pfadvorhersage ausgewählt. Für diesen Schritt kann aus der Pfadvorhersage für das Fahrzeug mindestens eine Pose ausgewählt werden. Denkbar ist auch die Auswahl mindestens einer Zelle, die eine diskrete Position repräsentiert.In step 302 a discrete position is selected from the determined path prediction. For this step, at least one pose can be selected from the path prediction for the vehicle. It is also conceivable to select at least one cell that represents a discrete position.

In Schritt 303 wird eine kontinuierliche Position an der ausgewählten Position erzeugt. Dieser Schritt basiert auf der Erkenntnis, dass die Zellen des vorhergesagten Pfads lediglich diskrete Positionsangaben darstellen, die einen der Auflösung entsprechenden Bereich der Umgebung des Fahrzeugs darstellen. Bspw. einen Bereich von 60 cm x 60 cm. Zum einen wird durch die Kontinuisierung der diskreten Position der gesamte Wertebereich an möglichen Positionen abgedeckt. Zum anderen lässt sich durch die Kontinuisierung der diskreten Position die Steuerung auf einfache Weise vereinfachen.In step 303 a continuous position is created at the selected position. This step is based on the knowledge that the cells of the predicted path merely represent discrete position information, which represent a region of the surroundings of the vehicle corresponding to the resolution. E.g. an area of 60 cm x 60 cm. On the one hand, the continuation of the discrete position covers the entire range of values at possible positions. On the other hand, the control can be simplified in a simple manner by the continuation of the discrete position.

In Schritt 304 wird eine Orientierung an der ausgewählten Position bestimmt. Dieser Schritt basiert auf der Erkenntnis, dass die Ausgabe des künstlichen neuronalen Netzes neben den Positionen, die zu dem ermittelten Pfad des Fahrzeugs gehören auch entsprechende Orientierungen an den jeweiligen Positionen ermittelt hat. D.h. zu jeder Zelle existiert eine Information über die Position des Fahrzeugs und eine Information über die Orientierung des Fahrzeugs. In Abhängigkeit von der ausgewählten Zelle für die Position kann die zugehörige Orientierung des Fahrzeugs ausgewählt werden.In step 304 an orientation at the selected position is determined. This step is based on the knowledge that the output of the artificial neural network, in addition to the positions that belong to the determined path of the vehicle, has also determined corresponding orientations at the respective positions. That is, for each cell there is information about the position of the vehicle and information about the orientation of the vehicle. Depending on the selected cell for the position, the associated orientation of the vehicle can be selected.

Gemäß einer Ausführungsform kann für die bestimmte Orientierung eine bilineare Interpolation in Bezug von der erzeugten kontinuierlichen Position durchgeführt werden.According to one embodiment, a bilinear interpolation can be carried out with respect to the generated continuous position for the specific orientation.

In Schritt 305 wird eine Pose zur Steuerung des Fahrzeugs durch Zusammenführen der erzeugten kontinuierlichen Position und der bestimmten Orientierung bestimmt. Für diesen Schritt kann die kontinuisierte Position und die bestimmte Orientierung des Fahrzeugs zu einer Pose für die Steuerung des Fahrzeugs zusammengeführt.In step 305 a pose for controlling the vehicle is determined by merging the generated continuous position and the determined orientation. For this step, the continuous position and the specific orientation of the vehicle can be combined into a pose for the control of the vehicle.

Gemäß einer Ausführungsform wird die kontinuisierte Information einer Position des Fahrzeugs mit der bilinear interpolierten Information einer Orientierung des Fahrzeugs zusammengeführt und bildet die Pose zu Steuerung des Fahrzeugs.According to one embodiment, the continuous information of a position of the vehicle is combined with the bilinearly interpolated information of an orientation of the vehicle and forms the pose for controlling the vehicle.

In Schritt 306 wird das Fahrzeug in Abhängigkeit von der bestimmten Pose gesteuert. Für diesen Schritt können die bestimmten Posen einem Bewegungsplaner zugeführt werden. Ein geeigneter Bewegungsplaner ist der Bidirectional RRT* (BiRRT*).In step 306 the vehicle is controlled depending on the particular pose. For this step, the specific poses can be one Movement planners are fed. A suitable movement planner is the bidirectional RRT * (BiRRT *).

Die Steuerung des Fahrzeugs kann dabei derart erfolgen, dass die bestimmte Pose bei der Berechnung eines Bewegungsplans für das Fahrzeug berücksichtigt wird. Die Steuerung des Fahrzeugs kann dann derart erfolgen, dass die Fahrzeugsysteme derart angesteuert werden, dass das Fahrzeug im Wesentlichen dem berechneten Bewegungsplan folgt.The vehicle can be controlled in such a way that the particular pose is taken into account when calculating a movement plan for the vehicle. The vehicle can then be controlled in such a way that the vehicle systems are controlled in such a way that the vehicle essentially follows the calculated movement plan.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for better information for the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

N. Perez-Higueras et al., "Learning Human-Aware Path Planning with Fully Convolutional Networks," in IEEE International Conference on Robotics and Automation, 2018 [0004]
D.P. Kingma and J.L. Ba, "Adam: A Method for Stochastic Optimization," in International Conference on Learning Representations, 2015 [0005]
M. Jordan and A. Perez, "Optimal Bidirectional Rapidly-Exploring Random Trees," MIT, Tech. Rep., 2013, TR 2013-021 [0007]

Claims

Method for training an artificial neural network, in particular a convolutional neural network, for determining a path prediction for a vehicle as an output variable as a function of an initial state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as input variables, the path at least comprises a pose of the vehicle, a pose comprising information of a position and information of an orientation at the position, with the steps: Optimization of the artificial neural network, in the step of optimizing, the determination of the information of a position and the determination of the information of an orientation are jointly optimized.

Procedure according to Claim 1 , in the step of optimizing the optimization depending on a predetermined sequence of poses.

Procedure according to Claim 2 , wherein in the step of optimizing the given sequence of poses, a multiplicity of initial states of the vehicle are generated, in particular the generation being carried out by means of a random process.

Computer program, which is set up all the steps of the method according to one of the Claims 1 to 3rd to execute.

Machine-readable storage medium on which the computer program according Claim 4 is saved.

Artificial neural network, in particular convolutional neural network, for determining a path prediction for a vehicle as an output variable as a function of an initial state of the vehicle, a final state of the vehicle and information about the surroundings of the vehicle as input variables, the path comprising at least one pose of the vehicle , wherein a pose comprises information of a position and information of an orientation at the position, trained by means of a method according to one of the Claims 1 to x.

Artificial neural network after Claim 6 , wherein the information about the position is discrete information and the artificial neural network is designed in such a way that the information about a position is achieved by means of a classification.

Artificial neural network after Claim 6 or7, wherein the information about the orientation is continuous information and the artificial neural network is designed such that the information about an orientation is achieved by means of a regression.

Artificial neural network according to one of the Claims 6 to 8th , wherein the information of an orientation comprises a sine component and cosine component of the unit circle.

Use of an artificial neural network, in particular a convolutional neural network, according to one of the Claims 6 to 9 for controlling a vehicle, in particular for a complex driving maneuver, in particular for an evasive maneuver and / or for a parking maneuver and / or for a reversing maneuver with the steps: determining a path prediction for the vehicle by means of the artificial neural network according to one of the Claims 6 to 9 ; Selecting a location from the particular path prediction; Creating a continuous position from the selected position; Determining an orientation at the selected position; Determining a pose for the vehicle by merging the generated continuous position and the determined orientation; Control the vehicle depending on the particular pose.

Use after Claim 10 , wherein in the step of selecting the position by means of a method of the probability function.

Procedure according to Claim 11 , wherein in the step of selecting a position is only selected if the probability of belonging to the particular path prediction lies above a predetermined threshold value, in particular wherein the threshold value is between 45% and 55%, in particular 50%.

Use according to one of the Claims 10 to 12th , the step of generating a continuous position from a discrete position of the determined path prediction using a uniform distribution generating the continuous position.

Use according to one of the Claims 10 to 13 , wherein in the step of determining an orientation, the orientation is determined from the orientation of the selected position using a method for interpolation, in particular for bilinear interpolation.

Computer program, which is set up all the steps of using an artificial neural network according to one of the Claims 6 to 9 according to one of the Claims 10 to 14 to control a vehicle.

Machine-readable storage medium on which the computer program according Claim 16 is saved

Device for controlling a vehicle, which is set up to use an artificial neural network according to one of the Claims 6 to 9 according to one of the Claims 10 to 14 .