DE102018206805B3

DE102018206805B3 - A method, apparatus and computer program for predicting a future movement of an object

Info

Publication number: DE102018206805B3
Application number: DE102018206805.4A
Authority: DE
Inventors: Michael Hanselmann
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-05-03
Filing date: 2018-05-03
Publication date: 2019-09-12
Anticipated expiration: 2038-05-04

Abstract

Die Erfindung betrifft ein Verfahren (60) zur Prädiktion einer zukünftigen Bewegung (112), insbesondere eines Fahrmanövers, eines Objektes (110) mittels zumindest zweier maschineller Lernsysteme (211,212). Ein erstes maschinelles Lernsystem (211) ermittelt abhängig von einer ersten Eingangsgröße eine erste Ausgangsgröße und die erste Ausgangsgröße charakterisiert das Objekt (110). Ein zweites maschinelles Lernsystem (212) ermittelt abhängig von einer zweiten Eingangsgröße eine zweite Ausgangsgröße und die zweite Ausgangsgröße charakterisiert zumindest einen Zustand des Objekts. Die zukünftige Bewegung (112) des Objektes (110) wird abhängig von der ersten Ausgangsgröße und der zweiten Ausgangsgröße prädiziert. Die Erfindung betrifft ferner ein Computerprogramm und eine Vorrichtung zum Ausführen des Verfahrens und ein maschinenlesbares Speicherelement, auf dem das Computerprogramm gespeichert ist.

The invention relates to a method (60) for predicting a future movement (112), in particular a driving maneuver, of an object (110) by means of at least two machine learning systems (211, 212). A first machine learning system (211) determines a first output variable as a function of a first input variable, and the first output variable characterizes the object (110). A second machine learning system (212) determines a second output variable as a function of a second input variable, and the second output variable characterizes at least one state of the object. The future motion (112) of the object (110) is predicted depending on the first output and the second output. The invention further relates to a computer program and a device for carrying out the method and to a machine-readable memory element on which the computer program is stored.

Description

Technisches GebietTechnical area

Die Erfindung betrifft ein Verfahren zum Prädizieren einer zukünftigen Bewegung eines Objekts mittels zweier maschineller Lernsysteme. Die Erfindung betrifft ferner ein Computerprogram und eine Vorrichtung, die eingerichtet sind, das Verfahren auszuführen. Ebenso betrifft die Erfindung ein Computerprogramm und ein maschinenlesbares Speicherelement.The invention relates to a method for predicting a future movement of an object by means of two machine learning systems. The invention further relates to a computer program and apparatus adapted to carry out the method. Likewise, the invention relates to a computer program and a machine-readable memory element.

Stand der TechnikState of the art

Die DE 10 2011 087 791 A1 offenbart ein Verfahren in einem Manöverassistenzsystem in Fahrzeugen sowie entsprechende Manöverassistenzsysteme. Das Verfahren umfasst die Schritte: Erkennen einer Situation, gemäß der ein Fahrer des Fahrzeuges in Bezug auf ein Objekt eine manuelle Handlung vornehmen will, sowie Unterstützen bei der Ausrichtung des Fahrzeuges in Bezug auf das Objekt.The DE 10 2011 087 791 A1 discloses a method in a maneuver assistance system in vehicles and corresponding maneuver assistance systems. The method comprises the steps of: detecting a situation in which a driver of the vehicle wants to make a manual action with respect to an object, and assisting in aligning the vehicle with respect to the object.

Es ist möglich, mittels gemischter Modelle eine automatische Segmentierung und Kategorisierung von Verhalten von Mäusen aus Videosequenzen zu ermitteln, wie z. B. gezeigt von: Johnson, M., Duvenaud, D. K., Wiltschko, A., Adams, R. P., & Datta, S. R. (2016): „Composing graphical models with neural networks for structured representations and fast inference“ In Advances in neural information processing systems (pp. 2946-2954).It is possible to use mixed models to determine an automatic segmentation and categorization of mouse behavior from video sequences, such as: Johnson, M., Duvenaud, DK, Wiltschko, A., Adams, RP, & Datta, SR (2016): "Composing graphical models with neural networks for structured representations and almost inference" in Advances in neural information processing systems (pp. 2946-2954).

Offenbarung der ErfindungDisclosure of the invention

In einem ersten Aspekt wird ein Verfahren zum Prädizieren einer zukünftigen Bewegung, insbesondere eines Fahrmanövers, eines Objekts mittels zumindest zweier maschineller Lernsysteme gemäß des unabhängigen Anspruchs 1 offenbart.In a first aspect, a method for predicting a future movement, in particular a driving maneuver, of an object by means of at least two machine learning systems according to independent claim 1 is disclosed.

Ein erstes maschinelles Lernsystem ermittelt abhängig von einer ersten Eingangsgröße eine erste Ausgangsgröße, die das Objekt charakterisiert. Ein zweites maschinelles Lernsystem ermittelt abhängig von einer zweiten Eingangsgröße eine zweite Ausgangsgröße und die zweite Ausgangsgröße charakterisiert zumindest einen Zustand des Objekts. Die zukünftige Bewegung des Objektes wird daraufhin abhängig von, insbesondere mittelbar oder unmittelbar, der ersten Ausgangsgröße und abhängig von, insbesondere mittelbar oder unmittelbar, der zweiten Ausgangsgröße prädiziert.A first machine learning system determines, depending on a first input variable, a first output variable which characterizes the object. A second machine learning system determines a second output variable as a function of a second input variable and the second output variable characterizes at least one state of the object. The future movement of the object is then predicted depending on, in particular indirectly or directly, the first output variable and depending on, in particular indirectly or directly, the second output variable.

Unter einem Zustand des Objekts kann im Folgenden eine konkrete Beschreibung einer Aktivität des Objekts verstanden werden, die aussagt, welche Art von Bewegung das Objekt momentan ausführt. Zum Beispiel kann das Objekt einen Zustand „geradeaus fahren“, „links abbiegen“, „bremsen“ oder „beschleunigen“ aufweisen. Zusätzlich oder alternativ kann der Zustand des Objekts auch mittels mehreren Unterzuständen beschrieben werden, z.B. „abbiegen“ und „beschleunigen“, wenn das Objekt beim Abbiegen schneller wird.In the following, a state of the object can be understood to mean a concrete description of an activity of the object which states what kind of movement the object currently executes. For example, the object may have a state of "driving straight ahead", "turning left", "braking" or "accelerating". Additionally or alternatively, the state of the object may also be described by means of a plurality of substates, e.g. "Turn" and "accelerate" as the object speeds up as you turn.

Unter einem Prädizieren der zukünftigen Bewegung, abhängig von unmittelbar einer der Ausgangsgrößen, kann verstanden werden, dass die Information, die diese Ausgangsgröße enthält, direkt zum Prädizieren verwendet wird. Unter einem Prädizieren der zukünftigen Bewegung, abhängig von mittelbar einer der Ausgangsgrößen, kann verstanden werden, dass die Information, die diese Ausgangsgröße enthält, indirekt zum Prädizieren verwendet wird, beispielsweise indem diese Ausgangsgröße weiterverarbeitet wird und ein Ergebnis dieser Weiterverarbeitung zum Prädizieren verwendet wird.By predicting the future motion, depending on immediately one of the outputs, it can be understood that the information containing that output is used directly for prediction. By predicating the future motion, depending on indirectly one of the outputs, it can be understood that the information containing this output is used indirectly for prediction, for example by further processing this output and using a result of this further processing for prediction.

Der Vorteil dieses Aspekts ist, dass mittels der Kombination zweier maschineller Lernsysteme, ein genaueres Situationsverständnis erreicht werden kann. Ferner kann beispielsweise in einer Verkehrssituation mit einer hohen Dynamik mittels dieses Verfahrens schneller und genauer eine Prädiktion der zukünftigen Bewegung des Objekts ermittelt und dementsprechend schneller auf eine veränderte Verkehrssituation reagiert werden. Dies ist insbesondere bei hohen Geschwindigkeiten oder unübersichtlichen Verkehrssituationen entscheidend.The advantage of this aspect is that by means of the combination of two machine learning systems, a more precise understanding of the situation can be achieved. Furthermore, for example, in a traffic situation with a high degree of dynamics by means of this method, a prediction of the future movement of the object can be determined more quickly and more accurately and, accordingly, more quickly respond to a changed traffic situation. This is particularly important at high speeds or confusing traffic situations.

Vorteilhaft ist, wenn die zwei maschinellen Lernsysteme in Reihe miteinander verbunden sind. Beispielsweise kann als die zweite Eingangsgröße die erste Ausgangsgröße herangezogen werden und die zukünftige Bewegung wird unmittelbar abhängig von der zweiten Ausgangsgröße und zumindest mittelbar von der ersten Ausgangsgröße prädiziert. Alternativ kann als die erste Eingangsgröße die zweite Ausgangsgröße herangezogen werden und die zukünftige Bewegung wird unmittelbar abhängig von der ersten Ausgangsgröße und zumindest mittelbar von der zweiten Ausgangsgröße prädiziert.It is advantageous if the two machine learning systems are connected in series. For example, the first output variable can be used as the second input variable and the future motion is predicted directly as a function of the second output variable and at least indirectly from the first output variable. Alternatively, the second output variable can be used as the first input variable and the future motion is predicted directly as a function of the first output variable and at least indirectly from the second output variable.

Der Vorteil der in Reihe verschalteten maschinellen Lernsysteme ist, dass durch die Reihenschaltung ein mächtigeres System erreicht wird, das eine exaktere Prädiktion durchführen kann, da die Ausgangsgrößen und die in die Ausgangsgröße eingeflossenen Parameter der maschinellen Lernsysteme in dem jeweiligen nachfolgenden maschinellen Lernsystem wiederverwendet werden. Ferner können basierend auf dieser Verschaltung der beiden maschinellen Lernsysteme, die maschinellen Lernsysteme bereits beim Lernen aufeinander abgestimmt werden.The advantage of the series-connected machine learning systems is that the series connection achieves a more powerful system that can perform a more accurate prediction, as the outputs and output parameters of the machine learning systems are reused in the respective subsequent machine learning system. Furthermore, based on this interconnection of the two machine learning systems, the machine learning systems can already be coordinated during learning.

Es kann vorgesehen sein, dass die erste Ausgangsgröße wenigstens eine Trajektorie des Objekts charakterisiert. Weiterhin kann vorgesehen sein, dass die erste Ausgangsgröße des Weiteren jeweils wenigstens eine Trajektorie einer Mehrzahl weiterer Objekte charakterisiert und die zweite Ausgangsgröße des Weiteren jeweils den Zustand der Mehrzahl der weiteren Objekte charakterisiert. Dadurch kann ein besseres Situationsverständnis ermittelt werden, welches erlaubt robuste Entscheidungen zu treffen.It can be provided that the first output quantity is at least one trajectory of the Characterized object. Furthermore, it can be provided that the first output variable further characterizes at least one trajectory of a plurality of further objects, and the second output variable further characterizes the state of the plurality of further objects. This allows a better understanding of the situation to be determined, which allows robust decisions to be made.

Ein oder mehrere weitere Objekte können die zukünftige Bewegung des überwachenden Objekts beeinflussen. Der Vorteil dieser Ausführungsform ist, dass die Zustände und Trajektorien mehrerer Objekte berücksichtigt werden, wodurch das gegenseitige Beeinflussen der Fahrverhalten von mehreren Objekten berücksichtigt wird.One or more further objects may influence the future movement of the monitoring object. The advantage of this embodiment is that the states and trajectories of several objects are taken into account, whereby the mutual influence of the driving behavior of several objects is taken into account.

Es kann ferner vorgesehen sein, dass das erste maschinelle Lernsystem ein tiefes neuronales Netz umfasst und das zweite maschinelle Lernsystem ein Probabilistisches Graphisches Modell umfasst. Das tiefe neuronale Netz kann ein vollvermaschtes oder rekurrentes neuronales Netz (engl. Recurrent Neural Network) sein. Bevorzugt besteht das tiefe neuronale Netz zu einem Teil aus einem Variational Autoencoder oder einem Structured Variational Autoencoder.It may further be provided that the first machine learning system comprises a deep neural network and the second machine learning system comprises a probabilistic graphic model. The deep neural network may be a fully meshed or recurrent neural network. Preferably, the deep neural network consists in part of a Variational Auto-Encoder or a Structured Variational Auto-Encoder.

Durch eine Kombination dieser unterschiedlichen, speziellen maschinellen Lernsysteme können die Stärken beider Systeme miteinander kombiniert werden. Das tiefe neuronale Netz ermittelt anhand von Sensordaten, insbesondere Bildern oder Bildserien, eine effiziente Repräsentation von Trajektorien und kann auch zur Generierung zukünftiger Trajektorien eingesetzt werden, während plötzlich auftretende Ereignisse zu ungenauen Trajektorien führen können. Diese Ereignisse können dagegen mit dem Probabilistischen Graphischen Modell effizient ermittelt und anschließend in der Trajektorie oder bei der Ermittlung der Trajektorie berücksichtigt werden, um die zukünftige Bewegung des Objektes genauer zu prädizieren.By combining these different, specialized machine learning systems, the strengths of both systems can be combined. The deep neural network determines an efficient representation of trajectories based on sensor data, in particular images or image series, and can also be used to generate future trajectories, while suddenly occurring events can lead to inaccurate trajectories. In contrast, these events can be efficiently determined with the Probabilistic Graphical Model and then taken into account in the trajectory or in the determination of the trajectory in order to more accurately predict the future movement of the object.

Es kann vorgesehen sein, dass das zweite maschinelle Lernsystem die zweite Ausgangsgröße des Weiteren abhängig von zumindest einer zeitlich vorhergehend ermittelten Ausgangsgröße dieses maschinellen Lernsystems ermittelt. Die zeitlich vorhergehend ermittelte Ausgangsgröße ist einem vorgebbaren vorhergehenden Zeitpunkt zugeordnet. Vorteilhaft hieran ist, dass damit auch Zusammenhänge, bzw. Informationen, die entlang einer zeitlichen Dimension der Eingangsgrößen vorhanden sind, genutzt werden können.It may be provided that the second machine learning system further determines the second output variable as a function of at least one output quantity of this machine learning system determined in advance in terms of time. The previously determined output quantity is assigned to a presettable previous time. The advantage of this is that it also connections, or information that is available along a temporal dimension of the input variables, can be used.

Weiterhin kann vorgesehen sein, dass das tiefe neuronale Netz die erste Ausgangsgröße abhängig von wenigstens einer das tiefe neuronale Netz charakterisierenden Größe ermittelt. Die das tiefe neuronale Netz charakterisierende Größe und die erste Ausgangsgröße des tiefen neuronalen Netzes werden mittels einer selben, insbesondere konjungierten, Exponentialfamilie charakterisiert.Furthermore, it can be provided that the deep neural network determines the first output variable as a function of at least one variable characterizing the deep neural network. The variable characterizing the deep neural network and the first output of the deep neural network are characterized by a same, in particular conjugated, exponential family.

Der Vorteil ist, dass durch die konjungierte Exponentialfamilie die maschinellen Lernsysteme besonders recheneffizient sind. Dadurch können diese auch auf Systemen mit beschränkter Rechenleistung trainiert werden. Es wird vorgeschlagen, dass zum Anlernen der maschinellen Lernsysteme natürliche Gradienten (engl. Natural Gradients) verwendet werden, wodurch das Anlernen zielgerichteter durchgeführt werden kann.The advantage is that the machine learning systems are particularly computationally efficient due to the conjugated exponential family. As a result, they can also be trained on systems with limited computing power. It is proposed that natural gradient (natural gradients) be used to teach the machine learning systems, whereby the learning can be carried out more targeted.

Weiterhin kann vorgesehen sein, dass wenigstens eine der Eingangsgrößen der jeweiligen maschinellen Lernsysteme abhängig von einem erfassten Sensorwert ermittelt und bereitgestellt wird. Ferner kann abhängig von der prädizierten, zukünftigen Bewegung des Objektes eine Steuergröße ermittelt werden. Ein Aktor eines technischen Systems kann abhängig von der Steuergröße angesteuert werden. Der Aktor ist eine Komponente, z.B. ein Motor, des technischen Systems. Unter einem technischen System kann beispielsweise ein Fahrerassistenzsystem, ein zumindest teilautonomes Fahrzeug, Roboter oder ein autonomes Flugobjekt, wie ein Drohne verstanden werden. Die Steuergröße kann dazu verwendet werden, um ein Manöver vollständig oder teilweise auszuführen, sodass zum Beispiel ein Unfall mit dem Objekt vermieden wird.Furthermore, it can be provided that at least one of the input variables of the respective machine learning systems is determined and provided as a function of a detected sensor value. Furthermore, depending on the predicted, future movement of the object, a control variable can be determined. An actuator of a technical system can be controlled depending on the control variable. The actuator is a component, e.g. an engine, the technical system. A technical system can be understood, for example, as a driver assistance system, an at least partially autonomous vehicle, a robot or an autonomous flying object, such as a drone. The control quantity can be used to execute a maneuver completely or partially so that, for example, an accident with the object is avoided.

Weiterhin kann vorgesehen sein, dass der Sensorwert mittels eines weiteren maschinellen Lernsystems vorprozessiert wird. Dies weist den Vorteil auf, dass Sensorwerte, insbesondere Bilddaten zu einer kompakten Repräsentation zusammengefasst werden können, wodurch Rechenkapazität für die nachfolgenden maschinellen Lernsysteme eingespart werden kann.Furthermore, it can be provided that the sensor value is preprocessed by means of a further machine learning system. This has the advantage that sensor values, in particular image data, can be combined to form a compact representation, as a result of which computing capacity for the subsequent machine learning systems can be saved.

In einem weiteren Aspekt wird ein Verfahren offenbart, das die beiden maschinellen Lernsysteme jeweils unabhängig voneinander anlernt und/oder die maschinellen Lernsysteme abhängig voneinander anlernt. Die maschinellen Lernsysteme werden derart angelernt, dass die Ausgangsgröße eines der maschinellen Lernsysteme das Objekt charakterisiert und die Ausgangsgröße des anderen maschinellen Lernsystems den Zustand des Objektes charakterisiert.In a further aspect, a method is disclosed which teaches the two machine learning systems independently of each other and / or learns the machine learning systems independently of one another. The machine learning systems are taught in such a way that the output variable of one of the machine learning systems characterizes the object and the output variable of the other machine learning system characterizes the state of the object.

Unter einem voneinander unabhängigen Anlernen kann verstanden werden, dass die maschinellen Lernsysteme getrennt voneinander angelernt werden, sodass Parameter der jeweiligen maschinellen Lernsysteme unabhängig voneinander angepasst werden. Während eines der maschinellen Lernsysteme angelernt und dessen Parameter angepasst werden, bleiben die Parameter des anderen maschinellen Lernsystems unverändert. Unter einem voneinander abhängigen Anlernen kann verstanden werden, dass Parameter der maschinellen Lernsysteme abhängig voneinander angepasst oder in Abhängigkeit von einer Kostenfunktion, die abhängig von den Parametern der maschinellen Lernsystemen ist, angepasst werden. Beim abhängigen Anlernen beider maschineller Lernsysteme können die Parameter beider maschineller Lernsysteme zeitgleich angepasst werden.Independent learning can be understood to teach the machine learning systems separately so that parameters of the respective machine learning systems are independently adjusted. During one of the machine Learning systems are taught and their parameters are adjusted, the parameters of the other machine learning system remain unchanged. Interdependent training may be understood to adapt machine learning system parameters as a function of one another or to adapt them to a cost function that depends on the parameters of the machine learning systems. In the case of dependent learning of both machine learning systems, the parameters of both machine learning systems can be adapted at the same time.

In einem weiteren Aspekt wird ein Computerprogramm, welches eingerichtet ist, eines der vorherigen genannten Verfahren auszuführen, also Anweisungen umfasst, die einen Computer veranlassen, eines dieser genannten Verfahren mit all seinen Schritten auszuführen, wenn das Computerprogramm auf dem Computer abläuft, ein maschinenlesbares Speichermodul, auf welchem das Computerprogramm gespeichert ist und eine Vorrichtung, insbesondere den Computer, die eingerichtet ist, eines der genannten Verfahren auszuführen, vorgesch lagen.In another aspect, a computer program configured to execute one of the aforementioned methods, that is, instructions that cause a computer to execute one of said methods in all its steps when the computer program runs on the computer, is a machine-readable memory module. on which the computer program is stored and a device, in particular the computer, which is adapted to carry out one of said methods, have been proposed.

Ausführungsbeispiele sind in den beiliegenden Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Dabei zeigen:Embodiments are illustrated in the accompanying drawings and explained in more detail in the following description. Showing:

Figurenlistelist of figures

1 a schematic representation of a traffic situation with two vehicles;
2A, B . C schematic representations of interconnections of two machine learning systems and a subsequently interconnected maneuver prediction module;
3A, B schematic representations of interconnections with forward connections of the two machine learning systems and the subsequently interconnected maneuver prediction module;
4A, B . C schematic diagrams of interconnections with a feedback of the two machine learning systems and the subsequently interconnected maneuver prediction module;
5 a schematic representation of the machine learning systems with an actuator;
6 a schematic representation of an embodiment of a method for predicting a movement of an object;
7 a schematic representation of a training system for teaching the machine learning systems.

1 zeigt eine schematische Darstellung einer Verkehrssituation mit zwei Fahrzeugen (100,110). Ein erstes Fahrzeug (100) befindet sich auf der linken Fahrbahn, während ein zweites Fahrzeug (110) auf der rechten Fahrtbahn fährt. Das erste Fahrzeug (110) weist einen zukünftigen Bewegungsverlauf (102) auf, der eine zukünftige Bewegung dieses Fahrzeuges (100) beschreibt. Das erste Fahrzeug (100) umfasst ein Fahrerassistenzsystem (101), das abhängig von zumindest einer erfassten Umgebungsaufnahme des ersten Fahrzeuges (100) eine zukünftige Bewegung (112) des zweiten Fahrzeugs prädiziert und basierend auf dieser Prädiktion eine Steuergröße ermitteln kann. Die Umgebungsaufnahme kann mit einer Kamera oder einem anderweitigen optischen Sensor oder mit einem Radar erfasst und dem Fahrerassistenzsystem (101) bereitgestellt worden sein. Die Steuergröße kann dazu verwendet werden, einen Aktor des ersten Fahrzeuges (100) zu steuern. Der Aktor kann beispielhaft ein Motor oder ein Bremssystem des ersten Fahrzeuges (100) sein. Zusätzlich oder alternativ kann das Fahrerassistenzsystem (101) die prädizierte, zukünftige Bewegung (112) des zweiten Fahrzeugs (110) einem Fahrer des ersten Fahrzeugs (100) anzeigen. 1 shows a schematic representation of a traffic situation with two vehicles ( 100 , 110). A first vehicle ( 100 ) is on the left lane, while a second vehicle ( 110 ) on the right hand drive. The first vehicle ( 110 ) indicates a future course of movement ( 102 ) on a future movement of this vehicle ( 100 ) describes. The first vehicle ( 100 ) includes a driver assistance system ( 101 ), which depends on at least one detected environmental image of the first vehicle ( 100 ) a future movement ( 112 ) of the second vehicle and based on this prediction can determine a control variable. The environmental image can be captured with a camera or other optical sensor or with a radar and the driver assistance system ( 101 ). The control variable can be used to control an actuator of the first vehicle ( 100 ) to control. The actuator can be an example of an engine or a brake system of the first vehicle ( 100 ) his. Additionally or alternatively, the driver assistance system ( 101 ) the predicted, future movement ( 112 ) of the second vehicle ( 110 ) a driver of the first vehicle ( 100 ) Show.

Das Fahrerassistenzsystem (101) umfasst in dieser Ausführungsform zwei maschinelle Lernsysteme und ein Manöverprädiktionsmodul, deren Verschaltungen und Zusammenwirken in den nachfolgenden 2 bis 5 näher erläutert werden. Das Manöverprädiktionsmodul ermittelt abhängig von den Ausgangsgrößen der maschinellen Lernsysteme die zukünftige Bewegung (112) des zweiten Fahrzeugs (110). Abhängig von der prädizierten, zukünftigen Bewegung (112) des zweiten Fahrzeuges (110) des Manöverprädiktionsmoduls kann das Fahrerassistenzsystem (101) die Steuergröße ermitteln.The driver assistance system ( 101 ) comprises in this embodiment two machine learning systems and a maneuver prediction module, their interconnections and interaction in the subsequent ones 2 to 5 be explained in more detail. The maneuver prediction module determines the future movement depending on the outputs of the machine learning systems ( 112 ) of the second vehicle ( 110 ). Depending on the predicted, future movement ( 112 ) of the second vehicle ( 110 ) of the maneuver prediction module, the driver assistance system ( 101 ) determine the tax quantity.

Ein erstes der zwei maschinellen Lernsysteme ermittelt abhängig von der erfassten Umgebungsaufnahme wenigstens eine Trajektorie des zweiten Fahrzeugs (110), die beschreibt, wie sich das zweite Fahrzeug (110) fortbewegen wird. In einer weiteren Ausführungsform kann dieses maschinelle Lernsystem anstatt der Trajektorie einen Vektor ermitteln, der die Geschwindigkeit, Richtung und vorzugsweise eine Beschleunigung des zweiten Fahrzeugs (110) charakterisiert.A first of the two machine learning systems determines at least one trajectory of the second vehicle as a function of the detected environmental image ( 110 ), which describes how the second vehicle ( 110 ) will move. In a further embodiment, instead of the trajectory, this machine learning system can determine a vector which determines the speed, direction and preferably an acceleration of the second vehicle (FIG. 110 Characterized.

Das zweite maschinelle Lernsystem ermittelt einen Bewegungszustand des zweiten Fahrzeuges (110). Wird beispielsweise ein Blinker (111) des zweiten Fahrzeuges (110) gesetzt, kann mittels des zweiten maschinellen Lernsystem ermittelt werden, dass das zweite Fahrzeug (110) aus dem Zustand „gerade ausfahren“ in den Zustand „abbiegen“ übergeht.The second machine learning system determines a movement state of the second vehicle ( 110 ). For example, if a turn signal ( 111 ) of the second vehicle ( 110 ), it can be determined by means of the second machine learning system that the second vehicle ( 110 ) changes from the state "straight out" to the state "turn".

In einem weiteren Ausführungsbeispiel kann erste Fahrzeug (100) ein zumindest teilautonomer Roboter, ein Service-, Montage- oder stationärer Produktionsroboter sein, dessen Aktor abhängig von der Steuergröße gesteuert wird. In diesem Ausführungsbeispiel ist das Fahrerassistenzsystem (101) eine Aktorsteuerungseinheit, die die zukünftige Bewegung (112) und die Steuergröße ermittelt.In a further embodiment, first vehicle ( 100 ) at least partially autonomous Robot, a service, assembly or stationary production robot whose actuator is controlled depending on the control variable. In this embodiment, the driver assistance system ( 101 ) an actuator control unit that controls the future movement ( 112 ) and the tax quantity determined.

Auf dem Speicherelement (103) kann ein Computerprogramm gespeichert sein, welches Befehle umfasst, die beim Ausführen der Befehle auf der Recheneinheit (104) dazu führen, dass die Recheneinheit (104) ein Verfahren zum Prädizieren der zukünftigen Bewegung (112) ausführen kann. Denkbar ist auch, dass ein Downloadprodukt oder ein künstlich generiertes Signal, die jeweils das Computerprogramm umfassen können, nach Empfangen an einem Empfänger des Fahrzeugs (100), die Recheneinheit (104) veranlassen können, das Verfahren auszuführen.On the storage element ( 103 ), a computer program may be stored, which contains instructions that are used when executing the commands on the arithmetic unit ( 104 ) cause the arithmetic unit ( 104 ) a method for predicting the future movement ( 112 ). It is also conceivable that a download product or an artificially generated signal, which may each comprise the computer program, after being received at a receiver of the vehicle ( 100 ), the arithmetic unit ( 104 ) can cause the procedure to be carried out.

Die 2A, 2B, 2C zeigen jeweils eine schematische Darstellung der Verschaltungen der zwei maschinellen Lernsysteme (211,212) und eines Manöverprädiktionsmoduls (214) des Fahrerassistenzsystems (101).The 2A . 2 B . 2C each show a schematic representation of the interconnections of the two machine learning systems ( 211 . 212 ) and a maneuver prediction module ( 214 ) of the driver assistance system ( 101 ).

Das erste maschinelle Lernsystem (211) kann ein tiefes neuronales Netz umfassen. Die Ausgangsgröße des tiefen neuronalen Netzes (NN) charakterisiert bevorzugt eine oder eine Mehrzahl von Trajektorie des zweiten Fahrzeuges (110). Hierbei können die Trajektorien mittels Wahrscheinlichkeitsverteilungen dargestellt werden. Das zweite maschinelle Lernsystem (212) kann ein Probabilistisches Graphisches Modell (PGM) umfassen. Das PGM ermittelt bevorzugt abhängig von einem vorherigen Zustand des zweiten Fahrzeuges (110) und einer erfassten Aufnahme des zweiten Fahrzeuges (110) den aktuellen Zustand des zweiten Fahrzeuges (110). Wie in 1 beispielhaft dargestellt, kann der vorherige Zustand des zweiten Fahrzeuges (110) „geradeaus fahren“ sein. Nachdem eine Aufnahme des zweiten Fahrzeuges (110) erfasst wurde, auf welcher abgebildet ist, dass der Blinker (111) gesetzt wurde, ermittelt das PGM, dass nun der aktuelle Zustand des zweiten Fahrzeugs (110) beispielsweise „abbiegen“ ist. Das Manöverprädiktionsmodul (214) prädiziert anschließend, nachdem die maschinellen Lernsysteme (211 ,212) ihre Ausgangsgrößen ermittelt haben, eine zukünftige Bewegung (112) des zweiten Fahrzeuges (110) abhängig von diesen ermittelten Ausgangsgrößen.The first machine learning system ( 211 ) may include a deep neural network. The output of the deep neural network ( NN ) preferably characterizes one or a plurality of trajectories of the second vehicle ( 110 ). Here, the trajectories can be represented by means of probability distributions. The second machine learning system ( 212 ), a Probabilistic Graphical Model ( PGM ). The PGM determines preferably dependent on a previous state of the second vehicle ( 110 ) and a recorded recording of the second vehicle ( 110 ) the current state of the second vehicle ( 110 ). As in 1 exemplified, the previous state of the second vehicle ( 110 ) "Drive straight". After a shot of the second vehicle ( 110 ), on which it is shown that the turn signal ( 111 ), that determines PGM in that now the current state of the second vehicle ( 110 ), for example, "turn off". The maneuver prediction module ( 214 ) then predicts after the machine learning systems ( 211 212 ) have determined their output variables, a future movement ( 112 ) of the second vehicle ( 110 ) depending on these determined outputs.

2A zeigt eine erste Ausführungsform der Verschaltung der maschinellen Lernsysteme (211,212) des Fahrerassistenzsystems (101). Das erste maschinelle Lernsystem (211) und das zweite maschinelle Lernsystem (212) sind in dieser Ausführungsform parallel verschaltet. In dieser Ausführungsform erhalten die beiden maschinellen Lernsysteme (211,212) die gleiche Eingangsgröße (213). Die Eingangsgröße (213) kann beispielsweise ein Bild, ein Video oder ein anderweitig erfasster Sensorwert sein. Die erste Ausgangsgröße des ersten maschinellen Lernsystems (211) und die zweite Ausgangsgröße des zweiten maschinellen Lernsystems (212) werden als eine Eingangsgröße des Manöverprädiktionsmoduls (214) verwendet. Das Manöverprädiktionsmodul (214) ermittelt abhängig von der ersten und der zweiten Ausgangsgröße die zukünftige Bewegung (112) des zweiten Fahrzeuges (110). Beispielsweise kann das Manöverprädiktionsmodul (214) die Wahrscheinlichkeitsverteilung der Trajektorien abhängig vom aktuellen Zustand des zweiten Fahrzeugs (110) anpassen. Alternativ kann die Trajektorie ein Vektor sein, der abhängig von dem aktuellen Zustand mittels des Manöverprädiktionsmodul (214) angepasst wird. Zusätzlich oder alternativ kann auch die Trajektorie abhängig von dem aktuellen Zustand mittels hinterlegten, bekannten Trajektorien für die ermittelte Trajektorie und aktuellen Zustand ausgetauscht werden. 2A shows a first embodiment of the interconnection of the machine learning systems ( 211 . 212 ) of the driver assistance system ( 101 ). The first machine learning system ( 211 ) and the second machine learning system ( 212 ) are connected in parallel in this embodiment. In this embodiment, the two machine learning systems ( 211 . 212 ) the same input quantity ( 213 ). The input size ( 213 ) may be, for example, an image, a video, or some other sensed sensor value. The first output of the first machine learning system ( 211 ) and the second output of the second machine learning system ( 212 ) are used as an input to the maneuver prediction module ( 214 ) used. The maneuver prediction module ( 214 ) determines the future movement depending on the first and the second output variable ( 112 ) of the second vehicle ( 110 ). For example, the maneuver prediction module ( 214 ) the probability distribution of the trajectories depending on the current state of the second vehicle ( 110 ) to adjust. Alternatively, the trajectory may be a vector that is dependent on the current state by means of the maneuver prediction module (FIG. 214 ) is adjusted. Additionally or alternatively, the trajectory can be exchanged depending on the current state by means of stored, known trajectories for the determined trajectory and current state.

2B zeigt eine alternative Ausführungsform der Verschaltung der maschinellen Lernsysteme (211,212) des Fahrerassistenzsystems (101). In dieser Ausführungsform ist das erste maschinelle Lernsystem (211) in Reihe mit dem zweiten maschinellen Lernsystem (212) verschaltet. Das erste maschinelle Lernsystem (211) erhält die Eingangsgröße, insbesondere eine Aufnahme, und ermittelt abhängig von dieser Eingangsgröße zumindest eine Trajektorie des zweiten Fahrzeuges (110). Vorzugsweise überlagert das erste maschinelle Lernsystem (211) die Trajektorie über die Aufnahme und stellt diese Aufnahme mit überlagerter Trajektorie dem zweiten maschinellen Lernsystem (212) als Eingangsgröße bereit. Das zweite maschinelle Lernsystem (212) kann in dieser Ausführungsform aus der Eingangsgröße beispielsweise Merkmale extrahieren, die von dem zweiten maschinellen Lernsystem (212) genutzt werden, um den aktuellen Zustand des zweiten Fahrzeuges (110) zu ermitteln. Der aktuelle Zustand und die Trajektorie, insbesondere Aufnahme mit überlagerter Trajektorie, wird anschließend dem Manöverprädiktionsmodul (214) als Eingangsgröße bereitgestellt, welches daraufhin abhängig von dieser Eingangsgröße die zukünftige Bewegung (112) des zweiten Fahrzeuges (110) prädiziert. 2 B shows an alternative embodiment of the interconnection of the machine learning systems ( 211 . 212 ) of the driver assistance system ( 101 ). In this embodiment, the first machine learning system ( 211 ) in series with the second machine learning system ( 212 ) interconnected. The first machine learning system ( 211 ) receives the input variable, in particular a recording, and determines, depending on this input variable, at least one trajectory of the second vehicle ( 110 ). Preferably, the first machine learning system ( 211 ) the trajectory on the recording and provides this recording with superimposed trajectory the second machine learning system ( 212 ) as input. The second machine learning system ( 212 In this embodiment, for example, from the input variable, it is possible to extract features that are used by the second machine learning system (FIG. 212 ) are used to determine the current state of the second vehicle ( 110 ) to investigate. The current state and the trajectory, in particular recording with superimposed trajectory, is then the maneuver prediction module ( 214 ) is provided as an input variable, which then depends on this input variable, the future movement ( 112 ) of the second vehicle ( 110 ) predicts.

2C zeigt eine weitere alternative Ausführungsform der Verschaltung der maschinellen Lernsysteme (211,212) des Fahrerassistenzsystems (101). In dieser Ausführungsform sind die beiden maschinellen Lernsysteme (211,212) ebenfalls in Reihe verschaltet. Im Unterschied zum vorherigen Ausführungsbeispiel der 2B, ist nun das zweite maschinelle Lernsystem (212) vor dem ersten maschinellen Lernsystem (211) geschaltet. Das zweite maschinelle Lernsystem (212) erhält die Eingangsgröße, insbesondere Aufnahme, und ermittelt abhängig von dieser Eingangsgröße den aktuellen Zustand des zweiten Fahrzeuges. Das zweite maschinelle Lernsystem (212) gibt als Ausgangsgröße den aktuellen Zustand und optional die Aufnahme an das erste maschinelle Lernsystem (212) weiter. Das erste maschinelle Lernsystem (212) ermittelt anschließend die Trajektorie des zweiten Fahrzeuges abhängig von dem aktuellen Zustand des zweiten Fahrzeuges und optional abhängig von der Aufnahme. Das Manöverprädiktionsmodul (214) ermittelt anschließend abhängig von der Ausgangsgröße des ersten maschinellen Lernsystems (212) die zukünftige Bewegung (112) des zweiten Fahrzeuges (110). 2C shows a further alternative embodiment of the interconnection of the machine learning systems ( 211 . 212 ) of the driver assistance system ( 101 ). In this embodiment, the two machine learning systems ( 211 . 212 ) also connected in series. In contrast to the previous embodiment of the 2 B , is now the second machine learning system ( 212 ) before the first machine learning system ( 211 ). The second machine learning system ( 212 ) receives the input variable, in particular recording, and determined depending on this input the current state of the second vehicle. The second machine learning system ( 212 ) gives as output the current state and optionally the acquisition to the first machine learning system ( 212 ) continue. The first machine learning system ( 212 ) then determines the trajectory of the second vehicle depending on the current state of the second vehicle and optionally depending on the recording. The maneuver prediction module ( 214 ) then determines, depending on the output of the first machine learning system ( 212 ) the future movement ( 112 ) of the second vehicle ( 110 ).

Vorzugsweise wird der aktuelle Zustand mittels mehreren Unterzuständen beschrieben, wodurch das erste maschinelle Lernsystem (211) umfangreichere Informationen erhält, um in Abhängigkeit des aktuellen Zustands die Trajektorie zu ermitteln. In dieser Ausführungsform nach 2C ist das tiefe neuronale Netz bevorzugt ein rekurrentes neuronales Netz.Preferably, the current state is described by means of several substates, whereby the first machine learning system ( 211 ) receives more extensive information in order to determine the trajectory depending on the current state. In this embodiment according to 2C the deep neural network is preferably a recurrent neural network.

3A und 3B zeigen jeweils weitere alternative Ausführungsformen der Verschaltungen der maschinellen Lernsysteme (211,212) des Fahrerassistenzsystems (101). Diese Ausführungsformen unterscheiden sich von den Ausführungsformen der 2B und 2C darin, dass das Forward-Verbindungen (300A,300B) vorhanden sind. Die Forward- Verbindungen (300A,300B) leiten entweder die Eingangsgrößen oder die Ausgangsgrößen der maschinellen Lernsysteme (211,212) weiter, wodurch den jeweiligen nachfolgenden maschinellen Lernsystemen oder dem nachfolgenden Manöverprädiktionsmodul (214) zusätzliche Informationen zur Verfügung stehen, sodass die zukünftige Bewegung (112) des zweiten Fahrzeuges (110) präziser vorhergesagt werden kann. 3A and 3B each show further alternative embodiments of the interconnections of the machine learning systems ( 211 . 212 ) of the driver assistance system ( 101 ). These embodiments are different from the embodiments of FIG 2 B and 2C in that the forward connections ( 300A . 300B ) available. The forward connections ( 300A . 300B ) derive either the input variables or the output variables of the machine learning systems ( 211 . 212 ), whereby the respective subsequent machine learning systems or the subsequent maneuver prediction module ( 214 ) additional information is available so that the future movement ( 112 ) of the second vehicle ( 110 ) can be predicted more precisely.

4A, 4B und 4C zeigen eine weitere alternative Ausführungsform der Verschaltung der maschinellen Lernsysteme (211,212) des Fahrerassistenzsystems (101). Diese Ausführungsformen unterscheiden sich von den Ausführungsformen der 2A, 3A und 3B darin, dass eine Rückkopplung (400a) vorhanden ist. Mittels der Rückkopplung (400a) können bereits zeitlich vorhergehend ermittelte Ausgangsgrößen wiederverwendet werden. Beispielsweise kann in den 4A,B,C die Ausgangsgröße des zweiten maschinellen Lernsystems (212) durch die Rückkopplung (400a) wiederverwendet werden. Es sei angemerkt, dass auch die Ausgangsgröße des ersten maschinellen Lernsystems (211) mittels einer Rückkopplung wiederverwendet werden kann. 4A . 4B and 4C show a further alternative embodiment of the interconnection of the machine learning systems ( 211 . 212 ) of the driver assistance system ( 101 ). These embodiments are different from the embodiments of FIG 2A . 3A and 3B in that a feedback ( 400a) is available. By means of the feedback ( 400a) previously calculated output quantities can be reused. For example, in the 4A, B . C the output of the second machine learning system ( 212 ) by the feedback ( 400a) be reused. It should be noted that the output of the first machine learning system ( 211 ) can be reused by means of feedback.

5 zeigt eine schematische Darstellung einer weiteren Ausführungsform des Fahrerassistenzsystems (101). Im Unterschied zu den vorherigen Ausführungsbeispielen des Fahrerassistenzsystems (101) wird die Eingangsgröße (213) mittels eines weiteren maschinellen Lernsystems (511), insbesondere eines tiefen neuronalen Netzes, derart verarbeitet, dass die Ausgangsgröße dieses weiteren maschinellen Lernsystems (511) eine kompaktere Repräsentation der Eingangsgröße (213) darstellt, die anschließend von den beiden maschinellen Lernsystem (211,212) verwendet werden. Die Verschaltung der beiden maschinellen Lernsystem (211, 212) kann nach einem der vorherigen Ausführungsformen der 2 bis 4 entnommen werden. 5 shows a schematic representation of another embodiment of the driver assistance system ( 101 ). In contrast to the previous exemplary embodiments of the driver assistance system ( 101 ), the input size ( 213 ) by means of another machine learning system ( 511 ), in particular a deep neural network, processed such that the output of this further machine learning system ( 511 ) a more compact representation of the input quantity ( 213 ) followed by the two machine learning systems ( 211 . 212 ) be used. The interconnection of the two machine learning system ( 211 . 212 ) can according to one of the previous embodiments of the 2 to 4 be removed.

Die Erzeugung einer kompakteren Repräsentation kann beispielsweise dadurch erzeugt werden, dass eine Dimension der Ausgangsgröße kleiner als die der Eingangsgröße ist. Denkbar ist, dass dieses weitere maschinelle Lernsystem (511) als ein „Encoder“-Teil eines Autoencoders verwendet wird und beim Anlernen entsprechend gehandhabt werden kann, zusätzlich oder alternativ kann im Falle des unmittelbar danach in Reihe verschalteten ersten maschinellen Lernsystems (211), dieses als ein „Decoder“-Teil des Autoencoders angesehen und dementsprechend beim Anlernen gehandhabt werden.The generation of a more compact representation can be generated, for example, by a dimension of the output variable being smaller than that of the input variable. It is conceivable that this further machine learning system ( 511 ) can be used as an "encoder" part of an auto-encoder and can be handled accordingly during teaching; additionally or alternatively, in the case of the first machine learning system connected directly afterwards ( 211 ), this is regarded as a "decoder" part of the Autoencoders and handled accordingly in learning.

Die Ausgangsgrößen der beiden maschinellen Lernsystem (211,212) können anschließend mittelbar oder unmittelbar von dem Manöverprädiktionsmodul (214) verwendet werden, um die zukünftige Bewegung (112) des zweiten Fahrzeuges (110) zu prädizieren. Es sei wieder angemerkt, dass die mittelbare oder unmittelbare Verwendung der Ausgangsgrößen der beiden maschinellen Lernsystem (211,212) abhängig von deren gewählten Verschaltung nach einer der 2 bis 4 ist.The output variables of the two machine learning system ( 211 . 212 ) can then be directly or indirectly derived from the maneuver prediction module ( 214 ) used to determine the future movement ( 112 ) of the second vehicle ( 110 ) to predict. It should again be noted that the indirect or immediate use of the outputs of both machine learning systems ( 211 . 212 ) depends on their selected interconnection according to one of 2 to 4 is.

In dieser Ausführungsform nach 5 kann das Manöverprädiktionsmodul (214) abhängig von der zukünftigen prädizierten Bewegung (212) eine Steuergröße ermitteln, die daraufhin zum Ansteuern eines Aktors (512) verwendet wird.In this embodiment according to 5 can the maneuver prediction module ( 214 ) depending on the future predicted movement ( 212 ) determine a control variable which is then used to control an actuator ( 512 ) is used.

6 zeigt eine schematische Darstellung eines Verfahrens zum Prädizieren einer zukünftigen Bewegung eines Objektes. 6 shows a schematic representation of a method for predicting a future movement of an object.

Das Verfahren beginnt mit Schritt 61. In Schritt 61 werden die maschinellen Lernsysteme (211,212) mittels bereitgestellt Trainingsdaten angelernt. Die Trainingsdaten können zum Beispiel eine Mehrzahl von Aufnahmen und den dazugehörigen Labeln, die beispielsweise jeweils eine Trajektorie charakterisieren, umfassen. Das Anlernen der maschinellen Lernsysteme wird bevorzugt mit einem „Natural Gradient“-Verfahren, alternativ mit einem anderen gradientenbasierten Optimierungsverfahren durchgeführt. Die maschinellen Lernsysteme (211,212) können abhängig oder unabhängig voneinander angelernt werden.The procedure begins with step 61 , In step 61 the machine learning systems ( 211 . 212 ) taught by means provided training data. The training data may comprise, for example, a plurality of recordings and the associated labels, which for example each characterize a trajectory. The learning of the machine learning systems is preferably carried out with a "natural gradient" method, alternatively with another gradient-based optimization method. The machine learning systems ( 211 . 212 ) can be taught depending on or independently of each other.

Nachdem Schritt 61 abgeschlossen wurde, folgt Schritt 62. Hierin wird eine Eingangsgröße (213) den maschinellen Lernsystem (211,212) bereitgestellt. Eine Kamera erfasst eine Aufnahme und stellt diese als Eingangsgröße (213) bereit.After step 61 completed, follow step 62 , Here is an input ( 213 ) the machine learning system ( 211 . 212 ) provided. A camera captures a picture and displays it as an input ( 213 ) ready.

Im nachfolgenden Schritt 63 wird die bereitgestellte Eingangsgröße (213) von den beiden maschinellen Lernsystem (211,212) verarbeitet. Die beiden maschinellen Lernsysteme (211,212) können nach einer der Verschaltungen nach 2 bis 5 miteinander verbunden sein, wobei abhängig von den jeweiligen Schaltungen der maschinellen Lernsysteme (211,212) die Eingangsgröße (213) entsprechend verarbeitet wird.In the following step 63 the provided input size ( 213 ) of the two machine learning system ( 211 . 212 ) processed. The two machine learning systems ( 211 . 212 ) can after one of the interconnections after 2 to 5 depending on the respective circuits of the machine learning systems ( 211 . 212 ) the input quantity ( 213 ) is processed accordingly.

Optional kann eine Vorprozessierung der Eingangsgröße (213) mittels des weiteren maschinellen Lernsystem (511) durchgeführt werden.Optionally, pre-processing of the input variable ( 213 ) by means of the further machine learning system ( 511 ) be performed.

Nachdem die Ausgangsgrößen der maschinellen Lernsysteme (211, 212) ermittelt wurden, wird daraufhin abhängig von diesen Ausgangsgrößen mittelbar oder unmittelbar die zukünftige Bewegung des Objekts (112) ermittelt.After the output variables of the machine learning systems ( 211 . 212 ), then, depending on these output variables, the future movement of the object is indirectly or directly determined ( 112 ).

Nachdem Schritt 63 beendet wurde, kann optional Schritt 64 folgen. In Schritt 64 wird eine Steuergröße abhängig von der prädizierten, zukünftigen Bewegung des Objekts ermittelt. Die Steuergröße kann zum Steuern des Aktors (512) verwendet werden.After step 63 has ended, can optional step 64 consequences. In step 64 a control variable is determined as a function of the predicted future movement of the object. The control variable can be used to control the actuator ( 512 ) be used.

Damit endet das Verfahren (60).This ends the procedure ( 60 ).

7 zeigt eine schematische Darstellung einer Vorrichtung (70) zum Anlernen der maschinellen Lernsysteme (211,212), insbesondere zum Ausführen des Schrittes 61 des Verfahrens (60). Die Vorrichtung (70) umfasst ein Trainingsmodul (71) und ein zu trainierendes Modul (72). Dieses zu trainierende Modul (72) beinhaltet die verschalteten maschinellen Lernsysteme (211,212) nach einer Ausführungsform der 2 bis 5. Die Vorrichtung (70) zum Anlernen der maschinellen Lernsysteme (211,212), lernt abhängig von Ausgangsgrößen der maschinellen Lernsysteme (211,212) und bevorzugt mit vorgebbaren Trainingsdaten die maschinellen Lernsysteme (211,212) an. Während des Anlernens werden Parameter der zwei maschineller Lernsysteme (211,212), die in einem Speicher (73) hinterlegt sind, angepasst. 7 shows a schematic representation of a device ( 70 ) for teaching the machine learning systems ( 211 . 212 ), in particular for carrying out the step 61 of the procedure ( 60 ). The device ( 70 ) comprises a training module ( 71 ) and a module to be trained ( 72 ). This module to be trained ( 72 ) contains the interconnected machine learning systems ( 211 . 212 ) According to one embodiment of the 2 to 5 , The device ( 70 ) for teaching the machine learning systems ( 211 . 212 ) learns, depending on the output variables of the machine learning systems ( 211 . 212 ) and prefers the machine learning systems with predefinable training data ( 211 . 212 ) on. During learning, parameters of the two machine learning systems ( 211 . 212 ) stored in a memory ( 73 ), adjusted.

Claims

Method (60) for predicting a future movement (112), in particular a driving maneuver, of an object (110) by means of at least two machine learning systems (211, 212), wherein a first machine learning system (211) determines a first output quantity as a function of a first input variable and the first output variable characterizes the object (110), wherein a second machine learning system (212) determines a second output variable as a function of a second input variable and the second output variable characterizes at least one state of the object, wherein the future motion (112) of the object (110) is predicted in dependence on the first output and the second output, the first machine learning system comprising a deep neural network, and wherein the second machine learning system comprises a probabilistic graphic model.

Method according to Claim 1 in which the first output variable is used as the second input variable and the future motion (112) is predicted directly as a function of the second output variable and at least indirectly from the first output variable.

Method according to Claim 1 , wherein the second output variable is used as the first input variable, and the future motion (112) is predicted directly as a function of the first output variable and at least indirectly from the second output variable.

Method according to one of the preceding claims, wherein the first output quantity characterizes at least one trajectory of the object (110).

Method according to Claim 4 The first output variable further characterizing each at least one trajectory of a plurality of further objects, and the second output variable further characterizing the state of the plurality of further objects.

Method according to one of the preceding claims, wherein at least the second machine learning system (212) further determines the second output variable as a function of at least one previously determined output quantity, wherein the previously determined output quantity is assigned to a presettable previous time.

The method of claim 1, wherein the deep neural network determines the first output in dependence on at least one variable characterizing the deep neural network, wherein the variable characterizing the deep neural network and the first output of the deep neural network are characterized by a same exponential family.

Method according to one of the preceding claims, wherein at least one of the input variables of respective machine learning systems (211, 212) are determined and provided as a function of at least one detected sensor value (213), a control variable being determined as a function of the predicted, future movement of the object.

Method according to Claim 8 wherein the sensor value is preprocessed by means of another machine learning system (511).

Method according to one of the preceding claims, wherein the machine learning systems are taught independently of each other or the machine learning systems are taught depending on each other, wherein the machine learning systems are taught such that the output of one of the machine learning systems characterizes the object (110) and the output of the further machine learning system characterizes the state of the object (110).

Computer program comprising instructions that, when executed on a computer, cause the method to be executed according to one of the Claims 1 to 10 is performed.

Machine readable memory element (103) on which the computer program Claim 11 is deposited.

Apparatus (104) arranged to perform the method of any one of Claims 1 to 10 perform.