DE102021101718A1 - Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle - Google Patents

Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle Download PDF

Info

Publication number
DE102021101718A1
DE102021101718A1 DE102021101718.1A DE102021101718A DE102021101718A1 DE 102021101718 A1 DE102021101718 A1 DE 102021101718A1 DE 102021101718 A DE102021101718 A DE 102021101718A DE 102021101718 A1 DE102021101718 A1 DE 102021101718A1
Authority
DE
Germany
Prior art keywords
trajectories
motor vehicle
vehicle
failure
planned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021101718.1A
Other languages
German (de)
Inventor
Christopher Kuhn
Goran Petrovic
Markus Hofbauer
Eckehard Steinbach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Technische Universitaet Muenchen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG, Technische Universitaet Muenchen filed Critical Bayerische Motoren Werke AG
Priority to DE102021101718.1A priority Critical patent/DE102021101718A1/en
Publication of DE102021101718A1 publication Critical patent/DE102021101718A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

Die Erfindung betrifft ein Verfahren zum Vorhersagen eines Versagens einer automatisierten Fahrzeugführung eines Kraftfahrzeugs (12), ein entsprechendes Assistenzsystem (18) sowie ein damit ausgestattetes Kraftfahrzeug (12). In dem Verfahren werden in einem bedingt autonomen Fahrbetrieb durch einen Fahrzeugführungssystem (24) fortlaufend geplante Trajektorien (32, 34, 36, 38) für das Kraftfahrzeug (12) bestimmt. Während des Fahrbetriebs werden mittels eines Fehlervorhersagemodells (26) fortlaufend entsprechend aktualisierte Sequenzen von bis zum jeweils aktuellen Zeitpunkt (t, t+1, t+2, t+3) bestimmten geplanten Trajektorien (32, 34, 36, 38) hinsichtlich eines Varianzmusters der Trajektorien (32, 34, 36, 38) analysiert. Darauf basierend wird dann automatisch vorhergesagt, ob ein Versagen der automatisierten Fahrzeugführung des Kraftfahrzeugs (12) durch das Fahrzeugführungssystem (24) bevorsteht.The invention relates to a method for predicting a failure of an automated vehicle guidance of a motor vehicle (12), a corresponding assistance system (18) and a motor vehicle (12) equipped therewith. In the method, continuously planned trajectories (32, 34, 36, 38) for the motor vehicle (12) are determined in a conditionally autonomous driving mode by a vehicle guidance system (24). During driving operation, an error prediction model (26) is used to continuously update sequences of planned trajectories (32, 34, 36, 38) determined up to the current time (t, t+1, t+2, t+3) with regard to a variance pattern of the trajectories (32, 34, 36, 38) analyzed. Based on this, it is then automatically predicted whether a failure of the automated vehicle guidance of the motor vehicle (12) by the vehicle guidance system (24) is imminent.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Vorhersagen eines Versagens einer automatisierten Fahrzeugführung eines Kraftfahrzeugs. Die Erfindung betrifft weiter ein dafür eingerichtetes Assistenzsystem sowie ein damit ausgestattetes Kraftfahrzeug.The present invention relates to a method for predicting a failure of an automated vehicle guidance of a motor vehicle. The invention further relates to an assistance system set up for this purpose and a motor vehicle equipped therewith.

In einem autonomen Betrieb eines Kraftfahrzeugs müssen eine oder mehrere Trajektorien bestimmt werden, die eine Bewegung des Kraftfahrzeugs ausgehend von seiner jeweils aktuellen Position beschreiben. Dabei müssen derartige Trajektorien jeweilige lokale Gegebenheiten berücksichtigen, um eine verkehrsregelkonforme Bewegung des Kraftfahrzeugs sicherzustellen und Hindernisse oder gar Unfälle zu vermeiden. Mit heutzutage verfügbaren Systemen ist dies jedoch nicht immer in allen Situationen vollständig zuverlässig möglich, obwohl es bereits eine Vielzahl von Ansätzen und Verbesserungsvorschlägen gibt.In an autonomous operation of a motor vehicle, one or more trajectories must be determined, which describe a movement of the motor vehicle starting from its current position. Such trajectories must take into account the respective local conditions in order to ensure that the motor vehicle moves in accordance with traffic regulations and to avoid obstacles or even accidents. With the systems available today, however, this is not always completely reliable in all situations, although there are already a large number of approaches and suggestions for improvement.

So ist beispielsweise in der US 10,133,275 B1 eine Generierung von Trajektorien für ein autonomes Fahrzeug unter Verwendung temporale Logik und einer Baumsuche beschrieben. Darin kann ein Suchalgorithmus wie etwa MCTS (Monte Carlo Tree Search) verwendet werden, um nach möglichen Trajektorien zu suchen, während Formeln der temporalen Logik wie etwa LTL (Linear Temporal Logic) verwendet werden können, um die möglichen Trajektorien zu validieren oder zu verwerfen. Die Trajektorien können basierend auf verschiedenen leistungsoptimierten Kosten und Randbedingungen optimiert werden. Das Bestimmen einer Trajektorie kann ein Bestimmen eines aktuellen Zustands des Fahrzeugs einschließlich statischer und dynamischer Symbole in einer Umgebung umfassen. Ein Kontext der Umgebung kann dann mit entsprechenden Symbolen, Merkmalen, Vorhersagen und LTL-Formeln bevölkert werden. Zum Evaluieren der Trajektorienkandidaten können beispielsweise auf einer LTL-Formel basierende Rabin-Automaten verwendet werden. Das Generieren von Knoten der MCTS und das Explorieren möglicher Aktionen kann basierend auf maschinellem Lernen erfolgen, beispielsweise unter Verwendung eines neuronalen Netzwerks.For example, in the US 10,133,275 B1 described a generation of trajectories for an autonomous vehicle using temporal logic and a tree search. Therein, a search algorithm such as MCTS (Monte Carlo Tree Search) can be used to search for possible trajectories, while temporal logic formulas such as LTL (Linear Temporal Logic) can be used to validate or reject the possible trajectories. The trajectories can be optimized based on various performance-optimized costs and constraints. Determining a trajectory may include determining a current state of the vehicle including static and dynamic symbols in an environment. A context of the environment can then be populated with appropriate symbols, features, predictions, and LTL formulas. For example, Rabin automata based on an LTL formula can be used to evaluate the trajectory candidates. Generating nodes of the MCTS and exploring possible actions can be done based on machine learning, for example using a neural network.

Als weiterer Ansatz ist in der US 8,706,394 B2 ein Steuersystem für ein Fahrzeug beschrieben. Dieses umfasst einen Objektsensor und einen Prozessor, der zum Empfangen und Verarbeiten von Objektsignalen des Objektsensors eingerichtet ist. Mittels des Prozessors soll ein Objekt in der Nähe des Fahrzeugs identifiziert und dessen relative Position unter Berücksichtigung einer Bewegung des Objekts, einem geplanten Bewegungspfad und einer Geschwindigkeit des Fahrzeugs vorhergesagt werden. Darauf basierend soll dann ein Ausgleichpfad berechnet werden, um eine Kollision mit dem identifizierten Objekt zu vermeiden. Mittels des Prozessors soll dann die Steuerung des Fahrzeugs übernommen werden, um dem berechneten Ausgleichpfad zu folgen, wenn die vorhergesagte Position des Objekts auf dem geplanten Bewegungspfad liegt. Falls dann das Objekt durch nachfolgende Veränderungen der Geschwindigkeit des Fahrzeugs nicht vermieden werden kann, soll ein Abweichen des Fahrzeugs von dem Ausweichpfad berechnet und das Fahrzeug entsprechend abweichend geführt werden.Another approach is in the U.S. 8,706,394 B2 describes a control system for a vehicle. This includes an object sensor and a processor that is set up to receive and process object signals from the object sensor. An object in the vicinity of the vehicle is to be identified by means of the processor and its relative position is to be predicted taking into account a movement of the object, a planned movement path and a speed of the vehicle. Based on this, a compensation path should then be calculated in order to avoid a collision with the identified object. The processor should then take over control of the vehicle in order to follow the calculated compensation path if the predicted position of the object lies on the planned path of movement. If the object cannot be avoided by subsequent changes in the speed of the vehicle, a deviation of the vehicle from the avoidance path should be calculated and the vehicle should be guided accordingly.

Weiter ist in der US 9,690,293 B2 ein System zum autonomen Navigieren eines autonomen Fahrzeugs entlang eines Straßensegments beschrieben. Damit sollen eine Umgebung des Fahrzeugs repräsentierende Bilder analysiert werden, um eine von dem Fahrzeug entlang des Straßensegments befahrene Trajektorie zu bestimmen. Ebenfalls basierend auf den Bildern soll eine aktuelle Position des Fahrzeugs entlang einer vorbestimmten Straßenmodelltrajektorie bestimmt werden. Basierend auf der bestimmten befahrenen Trajektorie soll eine Fahrtrichtung für das autonome Fahrzeug bestimmt werden. Relativ zu dieser Fahrtrichtung wird dann eine Lenkeinrichtung für das Fahrzeug bestimmt, indem die befahrene Trajektorie mit der vorbestimmten Straßenmodelltrajektorie an der aktuellen Position des Fahrzeugs verglichen wird.Next is in the US 9,690,293 B2 describes a system for autonomously navigating an autonomous vehicle along a road segment. With this, images representing an environment of the vehicle are to be analyzed in order to determine a trajectory traveled by the vehicle along the road segment. A current position of the vehicle along a predetermined road model trajectory is also to be determined based on the images. A direction of travel for the autonomous vehicle is to be determined based on the specific traveled trajectory. A steering device for the vehicle is then determined relative to this direction of travel by comparing the traveled trajectory with the predetermined road model trajectory at the current position of the vehicle.

Aufgabe der vorliegenden Erfindung ist es, einen sicheren Betrieb eines im autonomen Betrieb nicht allen Fahrsituationen gewachsenen Fahrzeugs zu ermöglichen.The object of the present invention is to enable safe operation of a vehicle that cannot cope with all driving situations in autonomous operation.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Zeichnung offenbart.According to the invention, this object is achieved by the subject matter of the independent patent claims. Possible refinements and developments of the present invention are disclosed in the dependent patent claims, in the description and in the drawing.

Das erfindungsgemäße Verfahren dient zum Vorhersagen eines Versagens, also eines Fehlerfalls oder eines sogenannten Disengagements, einer automatisierten Fahrzeugführung eines Kraftfahrzeugs. Dies kann insbesondere eine Quer- und/oder Längsführung in einem bedingt automatisierten oder hochautomatisierten Fahrbetrieb des Kraftfahrzeugs, also etwa in einem Fahrbetrieb gemäß SAE J3016 Level 3 oder 4, betreffen. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden während eines durch ein Fahrzeugführungssystem zur Quer- und/oder Längsführung gesteuerten Fahrbetriebs des Kraftfahrzeugs fortlaufend geplante Trajektorien bzw. Trajektorienabschnitte für das Kraftfahrzeug bestimmt bzw. erfasst. Bei dem Fahrzeugführungssystem kann es sich insbesondere um ein onboard-System des Kraftfahrzeugs selbst handeln, um eine möglichst geringe Latenz zu ermöglichen. Das Fahrzeugführungssystem kann dabei eine oder mehrere Einrichtungen, wie beispielsweise einen oder mehrere Sensoren, eine Datenverarbeitungseinrichtung, ein Steuergerät und/oder dergleichen mehr umfassen.The method according to the invention is used to predict a failure, that is to say an error or a so-called disengagement, of automated vehicle guidance of a motor vehicle. In particular, this can relate to a lateral and/or longitudinal guidance in a conditionally automated or highly automated driving mode of the motor vehicle, ie for example in a driving mode according to SAE J3016 Level 3 or 4. In a method step of the method according to the invention, continuously planned trajectories or trajectory sections for the motor vehicle are determined or recorded during driving operation of the motor vehicle controlled by a vehicle guidance system for lateral and/or longitudinal guidance. The vehicle guidance system can be, in particular an onboard system of the motor vehicle itself, in order to enable the lowest possible latency. The vehicle guidance system can include one or more devices, such as one or more sensors, a data processing device, a control unit and/or the like.

Die geplanten Trajektorien können sich von einer jeweils aktuellen Position des Kraftfahrzeugs in dessen jeweils aktueller Fahrtrichtung erstrecken bzw. eine geplante Bewegung des Kraftfahrzeugs während der jeweils nächsten Sekunden beschreiben. Mit einer Bewegung des Kraftfahrzeugs und/oder einer Veränderung einer Umgebungssituation des Kraftfahrzeugs kann jeweils eine aktualisierte oder neue aktuelle Trajektorie geplant werden. Dies kann in einer vorgegebenen Frequenz oder Taktgeschwindigkeit je nach Implementierung oder verfügbarer Rechenkapazität erfolgen. Im Gegensatz zu einer herkömmlichen Navigationsroute, die sich über viele Kilometer bzw. Stunden erstrecken kann und beispielsweise lediglich zu befahrende Straßen, nicht jedoch eine feiner aufgelöste konkrete Bewegung auf der jeweiligen Straße beschreibt, können sich die hier bestimmten Trajektorien beispielsweise über einige Meter bis zu einigen hundert Metern erstrecken bzw. etwa bis zu 30 Sekunden in die Zukunft erreichen. Die geplanten Traktoren beschreiben also im Vergleich zu einer herkömmlichen Navigationsroute eines satelliten- oder kartendatengestützten Navigationssystems eine relativ kurzfristige, detaillierte Bewegungsplanung, insbesondere eine geplante Bewegung des Kraftfahrzeugs innerhalb der jeweils von einer Umgebungssensorik des Kraftfahrzeugs erfassbaren Umgebung des Kraftfahrzeugs.The planned trajectories can extend from a current position of the motor vehicle in its current direction of travel or describe a planned movement of the motor vehicle during the next few seconds. An updated or new current trajectory can be planned in each case with a movement of the motor vehicle and/or a change in the situation surrounding the motor vehicle. This can be done at a predetermined frequency or clock speed depending on the implementation or available computing capacity. In contrast to a conventional navigation route, which can extend over many kilometers or hours and, for example, only describes roads to be traveled on, but not a more detailed specific movement on the respective road, the trajectories determined here can, for example, be several meters up to some hundred meters or about up to 30 seconds into the future. Compared to a conventional navigation route of a satellite or map data-based navigation system, the planned tractors describe a relatively short-term, detailed movement plan, in particular a planned movement of the motor vehicle within the surroundings of the motor vehicle that can be detected by an ambient sensor system of the motor vehicle.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden während des jeweiligen Fahrbetriebs fortlaufend entsprechend aktualisierte Sequenzen von derartigen geplanten Trajektorien erfasst bzw. bereitgestellt. Diese Sequenzen können dabei eine vorgegebene Länge aufweisen, also eine vorgegebene Anzahl geplanter Trajektorien umfassen oder beispielsweise sämtliche geplant Trajektorien umfassen, die innerhalb eines gleitenden Zeitfensters vorgegebener Länge bestimmt wurden. Die jeweils aktuelle Sequenz von Trajektorien umfasst dabei bis zum jeweils aktuellen Zeitpunkt während des aktuellen Fahrbetriebs bestimmte geplante Trajektorien, also beispielsweise die letzten N Trajektorien, wobei N ein vorgegebener bzw. anpassbare Parameter sein kann. Für eine praktische Anwendung kann beispielsweise N = 10 vorgegeben sein.In a further method step of the method according to the invention, correspondingly updated sequences of such planned trajectories are continuously recorded or provided during the respective driving operation. In this case, these sequences can have a predetermined length, that is to say comprise a predetermined number of planned trajectories or, for example, comprise all planned trajectories that were determined within a sliding time window of predetermined length. The current sequence of trajectories in each case includes certain planned trajectories up to the current point in time during the current driving operation, ie for example the last N trajectories, where N can be a predefined or adjustable parameter. For example, N=10 can be specified for a practical application.

Während des jeweils aktuellen Fahrbetriebs wird fortlaufend die jeweils aktuelle dieser Sequenzen von Trajektorien hinsichtlich eines Varianzmusters der Trajektorien der jeweiligen aktuellen Sequenz analysiert. Die Sequenzen bzw. deren Trajektorien werden also etwa hinsichtlich im Laufe der jeweiligen Sequenz zwischen den jeweiligen Trajektorien aufgetretenen bzw. sich entwickelnden Veränderungen oder Unterschieden, also Abweichungen voneinander, hinsichtlich eines Wechsels oder Umschlagens einer vorgesehenen Fahrtrichtung über mehrere nacheinander bestimmte Trajektorien hinweg, hinsichtlich Mustern von mehrfach geplanten, aber nicht ausgeführten gleichen Fahrmanövern und/oder dergleichen mehr analysiert oder ausgewertet.During the respective current driving operation, the respective current one of these sequences of trajectories is continuously analyzed with regard to a variance pattern of the trajectories of the respective current sequence. The sequences or their trajectories are thus evaluated, for example, with regard to changes or differences that have occurred or are developing between the respective trajectories in the course of the respective sequence, i.e. deviations from one another, with regard to a change or reversal of an intended direction of travel over several trajectories determined one after the other, with regard to patterns of analyzed or evaluated the same driving maneuvers and/or the like that were planned several times but not executed.

Basierend darauf wird dann auch in einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens vorhergesagt, ob ein Versagen der automatisierten Fahrzeugführung des Kraftfahrzeugs durch das Fahrzeugführungssystem bevorsteht oder nicht. Dies kann beispielsweise durch eine binäre Ausgabe oder einen jeweiligen Wahrscheinlichkeitswert für das Bevorstehen des Versagens erfolgen.Based on this, in a further method step of the method according to the invention, it is then also predicted whether or not the automated vehicle guidance of the motor vehicle is about to fail by the vehicle guidance system. This can be done, for example, by a binary output or a respective probability value for the impending failure.

Bisherige Ansätze beruhen beispielsweise auf aufgezeichneten Zustandsdaten, die angeben, wie sich das jeweilige Fahrzeug in den jeweils zurückliegenden Sekunden tatsächlich bewegt hat. Dies ist zwar ein legitimer Ansatz, da einem Versagen der automatisierten Fahrzeugführung oftmals bestimmte Bewegungsmuster des Kraftfahrzeugs vorausgehen. Dies ist zum einen jedoch nicht immer der Fall und ermöglicht zum anderen oftmals nur eine relativ kurze Zeitspanne zwischen dem Vorhersagen eines Versagens und dessen tatsächlichem Eintreten. Es ist jedoch bekannt, dass eine menschliche Bedienperson die sichere Kontrolle über ein bis dahin autonom fahrendes Kraftfahrzeug nicht instantan übernehmen kann, sondern dafür eine gewisse Zeit benötigt. Um in solchen Fällen eine verbesserte Sicherheit zu erreichen, ist es also wünschenswert, einer jeweiligen Bedienperson so viel Zeit wie möglich zur Übernahme der Kontrolle über das Kraftfahrzeug einzuräumen. Dazu muss ein bevorstehendes Versagen der automatisierten Fahrzeugführung idealerweise so früh wie möglich vorhergesagt werden. Gerade dies wird durch die vorliegende Erfindung ermöglicht, da die Muster oder Veränderungen der für die Zukunft geplanten Trajektorien gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis ebenfalls vor einem tatsächlichen Versagen typische Muster oder ein bestimmtes Varianzverhalten aufweisen können. Basierend auf den geplanten Trajektorien ist somit das Vorhersagen des Versagens möglich, bevor das jeweilige Kraftfahrzeug eine entsprechende Wegstrecke tatsächlich befahren hat, also bevor es entsprechende Fahrmanöver gemäß den geplanten Trajektorien tatsächlich ausgeführt hat. Mit anderen Worten ermöglicht es die vorliegende Erfindung, ein bevorstehendes Versagen der automatisierten Fahrzeugführung basierend auf einem antizipierten zukünftigen Verhalten des Kraftfahrzeugs vorherzusagen, bevor dieses Verhalten tatsächlich realisiert wurde.Previous approaches are based, for example, on recorded status data that indicate how the respective vehicle has actually moved in the past few seconds. This is a legitimate approach, since a failure of the automated vehicle guidance is often preceded by certain movement patterns of the motor vehicle. On the one hand, however, this is not always the case and, on the other hand, there is often only a relatively short period of time between the prediction of a failure and its actual occurrence. However, it is known that a human operator cannot instantaneously assume safe control of a motor vehicle that has previously been driving autonomously, but instead needs a certain amount of time to do so. In order to achieve improved safety in such cases, it is therefore desirable to give a respective operator as much time as possible to take control of the motor vehicle. For this purpose, an imminent failure of the automated vehicle guidance must ideally be predicted as early as possible. Precisely this is made possible by the present invention, since the patterns or changes in the trajectories planned for the future, according to a finding on which the present invention is based, can also have typical patterns or a specific variance behavior before an actual failure. Based on the planned trajectories, it is thus possible to predict the failure before the respective motor vehicle has actually traveled a corresponding route, that is to say before it has actually carried out corresponding driving maneuvers according to the planned trajectories. In other words, the present invention allows a predict impending failure of the automated vehicle guidance based on an anticipated future behavior of the motor vehicle before this behavior was actually realized.

In der vorliegenden Erfindung können dabei insbesondere jeweils mehrere in den Sequenzen von Trajektorien zusammengefasste Trajektorien betrachtet werden, die durch ein und dasselbe Modell oder Fahrzeugführungssystem nacheinander, also zu unterschiedlichen Zeitpunkten geplant wurden. Dies ermöglicht eine verbesserte Sicherheit und Robustheit bei reduziertem Aufwand, da beispielsweise nicht wie in bekannten Ansätzen die Ausgaben zweier unterschiedlicher Modelle miteinander verglichen werden müssen, sodass auch entsprechend keine impliziten Annahmen bezüglich des jeweils verwendeten Modells oder Systems getroffen werden müssen.In the present invention, in particular, a plurality of trajectories combined in the sequences of trajectories can be considered, which were planned one after the other, ie at different points in time, by one and the same model or vehicle guidance system. This enables improved security and robustness with reduced effort, since, for example, the outputs of two different models do not have to be compared with one another, as in known approaches, so that no implicit assumptions regarding the model or system used in each case have to be made.

Die vorliegende Erfindung basiert auf der Idee, dass die geplanten Trajektorien ein jeweiliges Verständnis der aktuellen Verkehrssituation oder Verkehrsszene bzw. von deren Komplexität aus Sicht des Kraftfahrzeugs bzw. dessen Fahrzeugführungssystems widerspiegeln. Wenn eine bestimmte Situation korrekt von dem Fahrzeugführungssystem wahrgenommen bzw. verstanden wird und eine entsprechende Lösung für die automatisierte Fahrzeugführung in dieser Situation gefunden wird, wird die jeweils neueste, also aktuelle geplante Trajektorie signifikant, insbesondere größtenteils, mit einer oder mehreren vorangegangenen geplanten Trajektorien überlappen. In diesem Fall gibt es also keine oder nur relativ geringe Abweichungen zwischen diesen zu aufeinanderfolgenden Zeitpunkten geplanten Trajektorien. Ist die Situation hingegen komplex bzw. für das Fahrzeugführungssystem anspruchsvoll, kann eine zuvor geplante Trajektorie gegebenenfalls nicht mehr als sicher gelten, sodass die nächste bzw. aktuelle Trajektorie mit einer signifikanten Abweichung oder Veränderung geplant wird. Wenn das Fahrzeugführungssystem derart wechselnde, also signifikant von voneinander abweichende Trajektorien nacheinander plant, ist dies ein Indiz dafür, dass die jeweilige Verkehrs- oder Fahrsituation dynamisch oder allgemein anspruchsvoll, insbesondere zu anspruchsvoll, für das Fahrzeugführungssystem ist, sodass mit einem Versagen der automatisierten Fahrzeugführung bei weiterer Annäherung an die jeweilige Situation, ein jeweiliges Hindernis, andere Verkehrsteilnehmer, ein bestimmtes Streckenmerkmal und/oder dergleichen mehr zu rechnen ist.The present invention is based on the idea that the planned trajectories reflect a respective understanding of the current traffic situation or traffic scene or its complexity from the perspective of the motor vehicle or its vehicle guidance system. If a specific situation is correctly perceived or understood by the vehicle guidance system and a corresponding solution for automated vehicle guidance is found in this situation, the latest, i.e. current, planned trajectory will significantly, in particular largely, overlap with one or more previous planned trajectories. In this case, there are no or only relatively small deviations between these trajectories planned at successive times. On the other hand, if the situation is complex or demanding for the vehicle guidance system, a previously planned trajectory may no longer be considered safe, so that the next or current trajectory is planned with a significant deviation or change. If the vehicle guidance system plans such changing trajectories, i.e. trajectories that differ significantly from one another, this is an indication that the respective traffic or driving situation is dynamic or generally demanding, in particular too demanding, for the vehicle guidance system, so that a failure of the automated vehicle guidance contributes further approach to the respective situation, a respective obstacle, other road users, a specific route feature and/or the like is to be expected.

In einer möglichen Ausgestaltung der vorliegenden Erfindung wird die jeweils aktuelle Sequenz aus zwischen 10 und 50 Trajektorien, insbesondere aus zumindest ungefähr 30 Trajektorien, zusammengesetzt. Dies kann bei einer Berechnung/oder Aktualisierungsfrequenz der geplanten Trajektorien beispielsweise in der Größenordnung von 10 Hz eine Berücksichtigung oder Abdeckung eines Zeitraums von mehreren Sekunden, beispielsweise der zurückliegenden 3 s, ermöglichen. Dies kann mit praktikabel handhabbarem Datenverarbeitungsaufwand eine robuste und zuverlässige Vorhersage des Versagens der automatisierten Fahrzeugführung ermöglichen.In one possible embodiment of the present invention, the respective current sequence is composed of between 10 and 50 trajectories, in particular of at least approximately 30 trajectories. With a calculation/or update frequency of the planned trajectories, for example of the order of 10 Hz, this can allow a period of several seconds, for example the previous 3 s, to be taken into account or covered. This can enable a robust and reliable prediction of the failure of the automated vehicle guidance with a data processing effort that can be managed in a practicable manner.

Ebenso kann die vorgegebene Länge der jeweils analysierten Sequenz von Trajektorien dynamisch vorgegeben sein, beispielsweise in Abhängigkeit von einer aktuellen Geschwindigkeit des Kraftfahrzeugs. So können beispielsweise bei größerer Geschwindigkeit des Kraftfahrzeugs weniger geplante Trajektorien je Sequenz analysiert werden als bei geringerer Geschwindigkeit. Dadurch kann berücksichtigt werden, dass das Kraftfahrzeug bei unterschiedlichen Geschwindigkeiten je Zeiteinheit unterschiedliche Wegstrecken zurücklegt und somit bei unveränderter Sensorreichweite unterschiedlich viel Zeit bis zu einem möglichen Versagen an einer gerade in die Sensorreichweite gelangenden Stelle vergehen kann.Likewise, the predefined length of the respectively analyzed sequence of trajectories can be predefined dynamically, for example as a function of a current speed of the motor vehicle. For example, at a higher speed of the motor vehicle, fewer planned trajectories per sequence can be analyzed than at a lower speed. It can thereby be taken into account that the motor vehicle travels different distances at different speeds per unit of time and thus, with an unchanged sensor range, a different amount of time can elapse before a possible failure occurs at a point just entering the sensor range.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird bei dem Analysieren der Trajektorien für die Vorhersage nur oder überwiegend deren Varianzmuster in einem sich von der jeweils aktuellen Position des Kraftfahrzeugs in dessen Fahrtrichtung erstreckenden Überlappungsbereich, der von mehreren der Trajektorien der jeweils aktuellen Sequenz durchgegriffen wird, berücksichtigt. Mit anderen Worten kann also ein jeweils bei der aktuellen Trajektorie im Vergleich zur vorherigen Trajektorie dazukommendes Teilstück in maximaler Entfernung von dem Kraftfahrzeug unberücksichtigt bleiben oder untergewichtet werden. Dadurch kann berücksichtigt werden, dass in dem jeweils neu dazugekommenen Teilstück mit höherer Wahrscheinlichkeit auch in fehler- oder versagensfreien Fahrsituationen signifikante Richtungsänderungen auftreten können als in dem Überlappungsbereich. Der Überlappungsbereich bildet also einen sich vor dem Kraftfahrzeug erstreckenden Raumbereich, für den bereits mehrere Trajektorien geplant wurden. Die innerhalb dieses Überlappungsbereich liegenden Teile oder Abschnitte dieser geplanten Trajektorien können dann ausschließlich oder übergewichtet als Grundlage für das Vorhersagen des Versagens verwendet werden. Dies ermöglicht eine besonders robuste und zuverlässige Vorhersage des Versagens basierend auf der Erkenntnis, dass bei einem korrekten Verständnis der jeweiligen Situation innerhalb des Überlappungsbereich durch das Fahrzeugführungssystem dieses konsistent zum gleichen Ergebnis bzw. zur gleichen Lösung der Fahraufgabe kommen, also zumindest im Wesentlichen dieselbe Trajektorie bzw. denselben Trajektorienverlauf planen wird.In a further possible embodiment of the present invention, when analyzing the trajectories for the prediction, only or predominantly their variance pattern in an overlapping area extending from the current position of the motor vehicle in its direction of travel, which is penetrated by several of the trajectories of the current sequence, taken into account. In other words, a section that is added to the current trajectory compared to the previous trajectory at the maximum distance from the motor vehicle can remain unconsidered or be underweighted. As a result, it can be taken into account that significant changes in direction can occur in the respectively newly added section with a higher probability than in the overlapping area, even in driving situations that are free of errors or failures. The overlapping area thus forms a spatial area extending in front of the motor vehicle, for which several trajectories have already been planned. The parts or sections of these planned trajectories lying within this overlap area can then be used exclusively or overweighted as a basis for predicting the failure. This enables a particularly robust and reliable prediction of the failure based on the knowledge that if the vehicle guidance system correctly understands the respective situation within the overlapping area, it will consistently come to the same result or the same solution to the driving task, i.e. at least essentially the same Trajectory or plan the same trajectory course.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist das Fehlervorhersagemodell als Einrichtung des maschinellen Lernens ausgebildet und auf das Analysieren von Sequenzen von Trajektorien und das Vorhersagen, ob ein Versagen der automatisierten Fahrzeugführung bevorsteht, trainiert. Mit anderen Worten kann das Fehlervorhersagemodell ein, insbesondere tiefes, also mehrschichtiges, künstliches neuronales Netz sein oder umfassen, das im Rahmen seines Trainings Muster von Veränderungen oder Abweichungen in den Sequenzen von Trajektorien lernt bzw. gelernt hat, die voraussichtlich zu einem Versagen der automatisierten Fahrzeugführung führen, also einem solchen Versagen vorausgehen. Das Fehlervorhersagemodell kann dabei insbesondere introspektiv bezüglich des jeweiligen Fahrzeugführungssystems trainiert sein. Mit anderen Worten kann das Fehlervorhersagemodell anhand von tatsächlichen von dem jeweiligen Fahrzeugführungssystem erzeugten Sequenzen von geplanten Trajektorien trainiert sein, die jeweils als einem Versagen vorausgehend oder als einem fehlerfreien Durchfahren der jeweiligen Verkehrssituation, also einem erfolgreichen Fahrmanöver vorausgehend gekennzeichnet, also gelabelt oder annotiert, sein können. Dies ermöglicht eine besonders robuste und zuverlässige Vorhersage bevorstehender Disengagements des jeweiligen Fahrzeugführungssystems. Die Verwendung des maschinellen Lernens erlaubt dabei auf relativ einfache Weise ein in einer Vielzahl unterschiedlicher Situationen zuverlässiges Vorhersagen eines bevorstehenden Versagens. Dies ist der Fall, da das Fehlervorhersagemodell selbstständig Verallgemeinerungen konkreter Trainingsszenarien lernen kann und somit nicht manuell explizit auf jedwede potenziell mögliche Situation hin programmiert werden muss, was wenig praktikabel erscheint.In a further possible embodiment of the present invention, the error prediction model is designed as a machine learning device and is trained to analyze sequences of trajectories and to predict whether the automated vehicle guidance system is about to fail. In other words, the error prediction model can be or include an in particular deep, i.e. multi-layered, artificial neural network that learns or has learned patterns of changes or deviations in the sequences of trajectories as part of its training, which are likely to lead to a failure of the automated vehicle guidance lead, i.e. precede such a failure. The error prediction model can be trained in particular introspectively with regard to the respective vehicle guidance system. In other words, the error prediction model can be trained on the basis of actual sequences of planned trajectories generated by the respective vehicle guidance system, which can be marked, i.e. labeled or annotated, as preceding a failure or as driving through the respective traffic situation without errors, i.e. preceding a successful driving maneuver . This enables a particularly robust and reliable prediction of imminent disengagements of the respective vehicle guidance system. The use of machine learning allows an imminent failure to be predicted reliably in a large number of different situations in a relatively simple manner. This is the case because the error prediction model can independently learn generalizations of concrete training scenarios and thus does not have to be manually programmed explicitly for any potentially possible situation, which seems impractical.

In einer möglichen Weiterbildung der vorliegenden Erfindung ist das Fehlervorhersagemodell sowohl mit entsprechend annotierten Sequenzen von geplanten Trajektorien, die in ein Versagen des Fahrzeugführungssystems gemündet haben, als auch mit entsprechend annotierten Sequenzen von Trajektorien, die in ein fehlerfreies Fahrmanöver gemündet haben, trainiert. Durch dieses Training mit Negativbeispielen und Positivbeispielen wird ein besonders effektives Training bzw. Lernen ermöglicht. Dies kann wiederum zu besonders zuverlässigen und robusten Vorhersagen des Fehlervorhersagemodells führen. Das Trainieren des Fehlervorhersagemodells kann vor dem erfindungsgemäßen Verfahren, also separat von diesem durchgeführt werden bzw. durchgeführt worden sein oder als Teil des erfindungsgemäßen Verfahrens durchgeführt werden. So kann es beispielsweise möglich sein, das Fehlervorhersagemodell auch nach oder während seines Einsatzes in dem Kraftfahrzeug weiter zu trainieren, beispielsweise anhand von im Betrieb des jeweiligen Kraftfahrzeugs aufgenommenen Sequenzen von geplanten Trajektorien. Dies kann eine Individualisierung oder individuelle Anpassung des Fehlervorhersagemodells an das jeweilige Kraftfahrzeug bzw. dessen Fahrverhalten oder typische Umgebung ermöglichen.In one possible development of the present invention, the error prediction model is trained both with appropriately annotated sequences of planned trajectories that have resulted in a failure of the vehicle guidance system and with appropriately annotated sequences of trajectories that have resulted in an error-free driving maneuver. This training with negative examples and positive examples enables particularly effective training and learning. This in turn can lead to particularly reliable and robust predictions of the error prediction model. The error prediction model can be trained before the method according to the invention, that is to say separately from it, or it can be carried out as part of the method according to the invention. For example, it may be possible to further train the error prediction model after or during its use in the motor vehicle, for example using sequences of planned trajectories recorded during operation of the respective motor vehicle. This can allow individualization or individual adaptation of the error prediction model to the respective motor vehicle or its driving behavior or typical environment.

In einer möglichen Weiterbildung des erfindungsgemäßen Verfahrens wird als das Fehlervorhersagemodell oder als Teil davon ein rekurrentes künstliches neuronales Netz (RNN) verwendet. Dieses rekurrente neuronale Netz kann dabei insbesondere wenigstens ein LSTM-Modul (englisch: Long Short-Term Memory) umfassen. Dies ermöglicht es besonders einfach und effektiv, die jeweilige Vorhersage basierend auf zeitlichen Mustern oder dynamischen Entwicklungen in den Sequenzen von Trajektorien zu treffen. Dies kann eine zuverlässigere Vorhersage ermöglichen, als dies beispielsweise basierend auf einer einzelnen geplanten Trajektorie möglich wäre.In a possible development of the method according to the invention, a recurrent artificial neural network (RNN) is used as the error prediction model or as part thereof. This recurrent neural network can in particular include at least one LSTM module (Long Short-Term Memory). This makes it particularly easy and effective to make the respective prediction based on time patterns or dynamic developments in the sequences of trajectories. This may allow for a more reliable prediction than would be possible based on a single planned trajectory, for example.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird in dem Fall, dass ein Versagen des Fahrzeugführungssystems vorhergesagt wird bzw. vorhergesagt wurde, automatisch eine Aufforderung dazu, eine manuelle Kontrolle über das Kraftfahrzeug zu übernehmen, ausgegeben. Mit anderen Worten kann also in einem solchen Fall veranlasst werden, dass eine menschliche Bedienperson die Kontrolle oder Steuerung über das Kraftfahrzeug übernimmt, insbesondere bevor das Versagen des Fahrzeugführungssystems tatsächlich eingetreten ist. Dadurch kann ein sicherer kontinuierlicher Betrieb des Kraftfahrzeugs ermöglicht werden. Die Aufforderung zur manuellen Kontrollübernahme kann dabei an einen Fahrzeuginsassen bzw. Fahrer des Kraftfahrzeugs und/oder an eine fahrzeugexterne Bedienperson, also einen Teleoperator, ausgegeben werden. Auf diese Weise kann das Fahrzeugführungssystem trotz einer nicht in sämtlichen möglichen Verkehrssituationen gegebenen absoluten Zuverlässigkeit bereits in der Praxis eingesetzt werden, wodurch beispielsweise ein Komfortgewinn oder sogar ein Sicherheitsgewinn gegenüber einer dauerhaft vollständig manuellen Führung des Kraftfahrzeugs erreicht werden kann.In a further possible embodiment of the present invention, in the event that a failure of the vehicle guidance system is or was predicted, a request to take over manual control of the motor vehicle is automatically issued. In other words, in such a case, a human operator can take control of the motor vehicle, in particular before the failure of the vehicle guidance system has actually occurred. As a result, safe, continuous operation of the motor vehicle can be made possible. The request for manual control takeover can be issued to a vehicle occupant or driver of the motor vehicle and/or to an operator external to the vehicle, ie a teleoperator. In this way, the vehicle guidance system can already be used in practice despite not being absolutely reliable in all possible traffic situations, whereby, for example, a gain in comfort or even a gain in safety can be achieved compared to permanently completely manual guidance of the motor vehicle.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird in dem Fall, dass ein Versagen des Fahrzeugführungssystems vorhergesagt wird bzw. vorhergesagt wurde, automatisch ein Steuersignal zum Einleiten eines Sicherheitsmanövers, durch welches das Kraftfahrzeug in einen sicheren Zustand, insbesondere zum Stillstand, gebracht wird, ausgegeben. Da dies basierend auf der Vorhersage, also basierend auf den geplanten, noch nicht notwendigerweise vollständig abgefahrenen Trajektorien beruht, kann das Sicherheitsmanöver auch dann bzw. bereits dann eingeleitet werden, wenn das Fahrzeugführungssystem zum Zeitpunkt der Vorhersage des Versagens noch aus seiner Sicht zulässige Trajektorien, also vorgegebenen Anforderungen entsprechende Lösungen der Trajektorienplanung liefert oder findet. Dadurch kann ein Zeitgewinn für eine Reaktion des Kraftfahrzeugs erzielt werden, sodass das Sicherheitsmanöver beispielsweise weniger abrupt oder heftig ausfallen kann. Dies kann zu einer weiter verbesserten Sicherheit beitragen, da nicht nur das Kraftfahrzeug selbst möglichst frühzeitig in einen sicheren Zustand versetzt wird, sondern auch andere Verkehrsteilnehmer einfacher und sicherer auf das Sicherheitsmanöver des Kraftfahrzeugs reagieren können. Das Sicherheitsmanöver kann beispielsweise eine Reduktion der Geschwindigkeit des Kraftfahrzeugs, ein Brems- oder Anhaltemanöver, ein Ausweichen auf einen Seitenstreifen und/oder dergleichen mehr umfassen. Durch ein derartiges Sicherheitsmanöver kann berücksichtigt werden, dass beispielsweise eine manuelle Kontrollübernahme über das Kraftfahrzeug durch eine Bedienperson eine signifikante Zeit, nach Studien beispielsweise bis zu 30 s, in Anspruch nehmen kann, das bevorstehende Versagen der automatisierten Fahrzeugführung gemäß der Vorhersage jedoch bereits in einer kürzeren zeitlichen Entfernung eintreten kann. Damit kann also sichergestellt werden, dass das Kraftfahrzeug nicht in eine Situation gerät, in der das Fahrzeugführungssystem versagt und gleichzeitig noch keine Bedienperson die manuelle Kontrolle über das Kraftfahrzeug übernommen hat.In a further possible embodiment of the present invention, if a failure of the vehicle guidance system is or was predicted, a control signal for initiating a safety maneuver that brings the motor vehicle into a safe state, in particular to a standstill, is automatically output . Since this is based on the forecast, i.e. based on the planned, trajectories that have not yet been completely traversed, the safety maneuver can also be initiated if the vehicle guidance system at the time the failure is predicted still delivers or finds trajectories that it believes are permissible, i.e. solutions for trajectory planning that correspond to given requirements. This saves time for the motor vehicle to react, so that the safety maneuver can be less abrupt or violent, for example. This can contribute to further improved safety, since not only is the motor vehicle itself put into a safe state as early as possible, but other road users can also react more easily and safely to the safety maneuver of the motor vehicle. The safety maneuver can include, for example, a reduction in the speed of the motor vehicle, a braking or stopping maneuver, evading onto a hard shoulder and/or the like. Such a safety maneuver can take into account that, for example, a manual takeover of control of the motor vehicle by an operator can take a significant amount of time, for example up to 30 s according to studies, but the impending failure of the automated vehicle guidance according to the forecast will already be shorter distance in time can occur. It can thus be ensured that the motor vehicle does not get into a situation in which the vehicle guidance system fails and at the same time no operator has yet taken over manual control of the motor vehicle.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Assistenzsystem für ein Kraftfahrzeug. Das erfindungsgemäße Assistenzsystem weist eine Eingangsschnittstelle zum Erfassen von durch ein automatisiertes Fahrzeugführungssystem geplanten Trajektorien des Kraftfahrzeugs, einen computerlesbaren Datenspeicher, eine damit verbundene Prozessoreinrichtung und eine Ausgangsschnittstelle auf. In dem Datenspeicher ist dabei einen Fehlervorhersagemodell zum auf Sequenzen von erfassten geplanten Trajektorien basierenden Vorhersagen, ob ein Versagen des Fahrzeugführungssystems bevorsteht, abgelegt. Die Prozessoreinrichtung kann beispielsweise ein Mikrochip, ein Mikroprozessor, ein Mikrocontroller oder dergleichen sein oder einen solchen umfassen. Über die Ausgangsschnittstelle kann beispielsweise ein die jeweilige Vorhersage oder ein darauf basierend erzeugtes Steuer- oder Hinweissignals ausgegeben werden. Das erfindungsgemäße Assistenzsystem ist dabei zum, insbesondere automatischen, Ausführen zumindest einer Variante des erfindungsgemäßen Verfahrens eingerichtet. Dementsprechend kann das erfindungsgemäße Assistenzsystem insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Assistenzsystem sein. Entsprechendes gilt auch für die übrigen genannten Komponenten des erfindungsgemäße Assistenzsystems, wie beispielsweise das genannte Fehlervorhersagemodell und das genannte Fahrzeugführungssystem. Beispielsweise kann in dem Datenspeicher ein entsprechendes Betriebs- oder Computerprogramm gespeichert sein, dass die Verfahrensschritte oder Abläufe des erfindungsgemäßen Verfahrens repräsentiert, also codiert oder implementiert, und durch die Prozessoreinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen bzw. dessen Ausführung zu veranlassen.Another aspect of the present invention is an assistance system for a motor vehicle. The assistance system according to the invention has an input interface for detecting trajectories of the motor vehicle planned by an automated vehicle guidance system, a computer-readable data memory, a processor device connected thereto and an output interface. An error prediction model for predicting, based on sequences of recorded planned trajectories, whether a failure of the vehicle guidance system is imminent is stored in the data memory. The processor device can, for example, be or comprise a microchip, a microprocessor, a microcontroller or the like. For example, the respective prediction or a control or notification signal generated based thereon can be output via the output interface. The assistance system according to the invention is set up to carry out, in particular automatically, at least one variant of the method according to the invention. Accordingly, the assistance system according to the invention can in particular be the assistance system mentioned in connection with the method according to the invention. The same also applies to the other named components of the assistance system according to the invention, such as the named error prediction model and the named vehicle guidance system. For example, a corresponding operating or computer program can be stored in the data memory that represents, i.e. encodes or implements, the method steps or sequences of the method according to the invention and can be executed by the processor device in order to execute the corresponding method or cause it to be executed.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Sensorik zum Aufnehmen von Umgebungsdaten, die eine jeweilige Umgebung des Kraftfahrzeugs abbilden oder charakterisieren, ein damit verbundenes Fahrzeugführungssystem zur automatisierten Quer- und/oder Längsführung des Kraftfahrzeugs und das erfindungsgemäße Assistenzsystem aufweist. Dementsprechend ist das erfindungsgemäße Kraftfahrzeug zur Ausführung oder Anwendung des erfindungsgemäßen Verfahrens eingerichtet Das erfindungsgemäße Kraftfahrzeug kann also insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit dem erfindungsgemäßen Assistenzsystem genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der in diesen Zusammenhängen genannten Eigenschaften und/oder Merkmale aufweisen.Another aspect of the present invention is a motor vehicle that has a sensor system for recording environmental data that depicts or characterizes a particular area surrounding the motor vehicle, a vehicle guidance system connected thereto for automated lateral and/or longitudinal guidance of the motor vehicle, and the assistance system according to the invention. Accordingly, the motor vehicle according to the invention is set up for executing or using the method according to the invention. The motor vehicle according to the invention can therefore in particular be the motor vehicle mentioned in connection with the method according to the invention and/or in connection with the assistance system according to the invention. Accordingly, the motor vehicle according to the invention can have some or all of the properties and/or features mentioned in these contexts.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.

Die Zeichnung zeigt in 1 eine schematische Darstellung einer Verkehrssituation, in der sich ein Kraftfahrzeug autonom auf ein Hindernis zubewegt.The drawing shows in 1 a schematic representation of a traffic situation in which a motor vehicle is moving autonomously towards an obstacle.

In 1 ist in einer schematischen Draufsicht eine Verkehrssituation dargestellt, in der auf einer Straße 10 ein Kraftfahrzeug 12 in einem autonomen bzw. bedingt automatisierten Fahrbetrieb auf eine Gefahrenstelle 14 zu fährt. Die Gefahrenstelle 14 kann beispielsweise durch eine unklare Verkehrssituation, einen Unfall, eine Baustelle, einen sich nicht regelkonform verhaltenden anderen Verkehrsteilnehmer und/oder dergleichen mehr gebildet sein.In 1 a traffic situation is shown in a schematic plan view in which a motor vehicle 12 is driving towards a hazard spot 14 on a road 10 in autonomous or conditionally automated driving mode. The danger point 14 can be caused, for example, by an unclear traffic situation, an accident, a construction site, a other road users who do not behave in accordance with the rules and/or the like.

Das Kraftfahrzeug 12 umfasst eine Umgebungssensorik 16, die einen Umgebungsbereich des Kraftfahrzeugs 12, vorliegend einschließlich der Gefahrenstelle 14, erfasst. Das Kraftfahrzeug 12 weist weiter ein Assistenzsystem 18 auf, welches mittels der Umgebungssensorik 16 aufgenommene Umgebungsdaten empfängt und verarbeitet. Diese Umgebungsdaten können je nach Ausgestaltung der Umgebungssensorik 16 beispielsweise Kamerabilder, Radarechos, Lidarechos und/oder dergleichen mehr sein oder umfassen. Das Assistenzsystem 18 kann beispielsweise dazu eingerichtet sein, basierend auf den Umgebungsdaten bzw. einem daraus erzeugten Verarbeitungsergebnis eine Fahrzeugkomponente 20 oder das Kraftfahrzeug 12 insgesamt zumindest zeitweise autonom zu steuern.The motor vehicle 12 includes an environment sensor 16, which detects an area surrounding the motor vehicle 12, including the danger point 14 in the present case. The motor vehicle 12 also has an assistance system 18 which receives and processes environmental data recorded by means of the environmental sensors 16 . Depending on the configuration of the environmental sensor system 16, this environmental data can be or include, for example, camera images, radar echoes, lidar echoes and/or the like. The assistance system 18 can be set up, for example, to control a vehicle component 20 or the motor vehicle 12 as a whole autonomously, at least at times, based on the environmental data or a processing result generated therefrom.

Dazu weist das Assistenzsystem 18 hier einen Datenspeicher 22 auf, in dem ein vorgegebenes Fahrzeugführungsmodell 24 und ein vorgegebenes Fehlervorhersagemodell 26 hinterlegt sind. Das Fehlervorhersagemodell 26 umfasst dabei ein hier schematisch angedeutetes künstliches neuronales Netz 28, das darauf trainiert ist, vorherzusagen, ob ein Versagen des Fahrzeugführungsmodells 24, also der automatisierten Fahrzeugführung oder Fahrzeugsteuerung des Kraftfahrzeugs 12, bevorsteht. Weiter umfasst das Assistenzsystem 18 einen Prozessor 30 zum Ausführen der in dem Datenspeicher 22 hinterlegten Inhalte.For this purpose, the assistance system 18 has a data memory 22 in which a predefined vehicle guidance model 24 and a predefined error prediction model 26 are stored. The error prediction model 26 includes an artificial neural network 28, indicated here schematically, which is trained to predict whether a failure of the vehicle guidance model 24, ie the automated vehicle guidance or vehicle control of the motor vehicle 12, is imminent. Assistance system 18 also includes a processor 30 for executing the content stored in data memory 22 .

Das Assistenzsystem 18 bzw. das Fahrzeugführungsmodell 24 ist dazu eingerichtet, während des Fahrbetriebs fortlaufend Trajektorien für das Kraftfahrzeug 12 zu planen. Diese Trajektorien erstrecken sich dabei jeweils von einer aktuellen Position x des Kraftfahrzeugs 12 in dessen Fahrtrichtung. Beispielsweise wird hier zu einem aktuellen Zeitpunkt t ausgehend von der aktuellen Position x eine erste Trajektorie 32 geplant. Diese erste Trajektorie 32 erstreckt sich dabei von der aktuellen Position x bis zu einer zu voraussichtlichen oder geplanten zukünftigen Position y des Kraftfahrzeugs 12 geradlinig und biegt dann in Fahrtrichtung nach rechts ab, um die Gefahrenstelle 14 zu umgehen. Bewegt sich das Kraftfahrzeug 12 nun entlang der ersten Trajektorie 32, so wird zu einem späteren Zeitpunkt t+1 eine zweite Trajektorie 34 geplant. Diese zweite Trajektorie führt bis zu der zukünftigen Position y ebenfalls geradeaus, biegt dann jedoch in Fahrtrichtung nach links ab, um die Gefahrenstelle 14 zu umgehen. Entsprechend werden während der Fahrt des Kraftfahrzeugs 12 fortlaufend weitere Trajektorien, beispielsweise zum nochmals späteren Zeitpunkt t+2 eine dritte Trajektorie 36 und zum nochmals späteren Zeitpunkt t+3 eine vierte Trajektorie 38 geplant. Die dritte Trajektorie 36 biegt hier wie die davor geplante zweite Trajektorie 34 ebenfalls nach links ab, weist jedoch eine deutlich stärkere Krümmung auf, während die danach geplante vierte Trajektorie 38 zum Umgehen der Gefahrenstelle 14 wieder wie die erste Trajektorie 32 nach rechts ablegt. The assistance system 18 or the vehicle guidance model 24 is set up to continuously plan trajectories for the motor vehicle 12 during driving operation. These trajectories each extend from a current position x of motor vehicle 12 in its direction of travel. For example, a first trajectory 32 is planned here at a current point in time t, starting from the current position x. This first trajectory 32 extends in a straight line from the current position x to a probable or planned future position y of the motor vehicle 12 and then turns to the right in the direction of travel in order to avoid the hazardous area 14 . If motor vehicle 12 is now moving along first trajectory 32, a second trajectory 34 is planned at a later point in time t+1. This second trajectory also leads straight ahead to the future position y, but then turns left in the direction of travel in order to avoid the danger point 14 . Accordingly, further trajectories are continuously planned while the motor vehicle 12 is driving, for example a third trajectory 36 at the even later point in time t+2 and a fourth trajectory 38 at the even later point in time t+3. The third trajectory 36 also turns to the left here like the second trajectory 34 planned beforehand, but has a significantly greater curvature, while the fourth trajectory 38 planned afterward to avoid the danger point 14 again turns to the right like the first trajectory 32 .

Die hier beispielhaft angedeuteten Trajektorien 32 bis 36 sind dabei nur der Übersichtlichkeit halber quer zur Fahrtrichtung des Kraftfahrzeugs 12 versetzt dargestellt, können also in ihren zwischen der aktuellen Position x und der zukünftigen Position y liegenden Abschnitten, also in einem entsprechenden Überlappungsbereich, zumindest im Wesentlichen identisch sein, also tatsächlich aufeinander liegen.The trajectories 32 to 36 indicated here as examples are only shown offset transversely to the direction of travel of motor vehicle 12 for the sake of clarity, i.e. they can be at least essentially identical in their sections lying between the current position x and the future position y, i.e. in a corresponding overlapping area be, i.e. actually lie on top of each other.

Entsprechende Trajektorien können beispielsweise mehrfach pro Sekunde neu bestimmt bzw. geplant oder aktualisiert werden. Bei typischen Fahrgeschwindigkeit des Kraftfahrzeugs 12 können sich mehrere geplante Trajektorien dementsprechend zumindest bereichsweise drastisch voneinander unterscheiden, obwohl das Kraftfahrzeug 12 sich während eines Zeitraums, in dem diese Trajektorien geplant wurden, zumindest anscheinend stringent oder konstant, also konsistent mit einer einzigen dauerhaft gleichbleibenden Trajektorie bewegt. Trotz der hier sich nach der zukünftigen Position y signifikant voneinander unterscheidenden Trajektorien 32 bis 36 kann das Kraftfahrzeug 12 also bis zu der zukünftigen Position y konstant Geradeausfahren, sodass nach außen hin oder anhand der bis dahin zurückgelegten Wegstrecke keinerlei Hinweis auf ein bevorstehendes Versagen der automatisierten Fahrzeugführung, also des Fahrzeugführungsmodells 24, erkennbar ist.Corresponding trajectories can, for example, be newly determined or planned or updated several times per second. At a typical driving speed of the motor vehicle 12, several planned trajectories can therefore differ drastically from one another, at least in some areas, although the motor vehicle 12 moves at least apparently stringently or constantly, i.e. consistently with a single, permanently constant trajectory, during a period in which these trajectories were planned. Despite the trajectories 32 to 36 that differ significantly from each other here according to the future position y, the motor vehicle 12 can drive straight ahead up to the future position y, so that there is no indication of an impending failure of the automated vehicle guidance outwards or based on the distance traveled up to that point , ie the vehicle guidance model 24, is recognizable.

Anhand der Unterschiede und wechselnden geplanten Fahrtrichtungen gemäß den Trajektorien 32 bis 36 nach der zukünftigen Position y ist jedoch erkennbar, dass das Fahrzeugführungsmodell 24 offenbar unsicher ist, wie das Kraftfahrzeug 12 angesichts der vorausliegenden Gefahrenstelle 14 sicher oder optimal zu führen ist oder geführt werden kann. Dies wird vorliegend ausgenutzt, indem eine jeweils aktuelle Sequenz geplanter Trajektorien, vorliegend also beispielsweise die Trajektorien 32 bis 36, als Input dem Fehlervorhersagemodell 26 zugeführt werden. Dieses sagt anhand der Variation der Trajektorien 32 bis 36 vorher, ob ein Versagen des Fahrzeugführungsmodells 24 bevorsteht oder nicht oder mit welcher Wahrscheinlichkeit mit einem solchen Versagen zu rechnen ist.Based on the differences and changing planned directions of travel according to the trajectories 32 to 36 after the future position y, however, it can be seen that the vehicle guidance model 24 is obviously uncertain as to how the motor vehicle 12 is or can be guided safely or optimally in view of the danger zone 14 ahead. In the present case, this is exploited in that a current sequence of planned trajectories, in this case for example the trajectories 32 to 36, are supplied to the error prediction model 26 as input. Based on the variation of the trajectories 32 to 36, this predicts whether or not a failure of the vehicle guidance model 24 is imminent or the probability of such a failure.

Vorliegend kann aufgrund der Unterschiede bzw. des Umschlagens der Richtungen der geplanten Trajektorien 32 bis 36 abgeleitet werden, dass eine bevorstehende Verkehrssituation um Bereich der Gefahrenstelle 14 komplex und anspruchsvoll ist und daher gegebenenfalls mit einer gewissen Wahrscheinlichkeit mit einem Versagen des Fahrzeugführungsmodells 24 zu rechnen ist. Die geplanten Trajektorien 32 bis 36 erstrecken sich dabei jeweils mehrere Sekunden in die Zukunft, sodass sie also eine Möglichkeit darstellen, das zukünftige Verhalten des Kraftfahrzeugs 12 zu antizipieren, bevor die geplanten Trajektorien 32 bis 36 tatsächlich befahren wurden.In the present case, based on the differences or the reversal of the directions of the planned trajectories 32 to 36, it can be deduced that an upcoming traffic situation around the area of the danger point 14 is complex and demanding and therefore a failure of the vehicle guidance model 24 is to be expected with a certain probability. The planned trajectories 32 to 36 each extend several seconds into the future, so that they therefore represent a possibility of anticipating the future behavior of the motor vehicle 12 before the planned trajectories 32 to 36 have actually been driven on.

Es sei darauf hingewiesen, dass es vorliegend nicht darum geht, vorherzusagen, wie sich die tatsächliche Bewegungstrajektorie des Kraftfahrzeugs 12 oder die geplanten Trajektorien 32 bis 36 zukünftig entwickeln werden. Vielmehr wird hier durch das Fehlervorhersagemodell 26 analysiert, wie sich die in der unmittelbaren Vergangenheit bis zum jeweils aktuellen Zeitpunkt geplanten Trajektorien entwickelt haben. Es wird also dem Fehlervorhersagemodell 26 jeweils eine aktuelle Sequenz von bis dahin geplanten Trajektorien als Input bereitgestellt. Diese aktuelle Sequenz kann zum Zeitpunkt t+2 beispielsweise die erste Trajektorie 32, die zweite Trajektorie 34 und die dritte Trajektorie 36 umfassen. Zum Zeitpunkt t+3 kann die dann aktuelle Sequenz hingegen beispielsweise die zweite Trajektorie 34, die dritte Trajektorie 36 und die vierte Trajektorie 38 umfassen. Dies ist hier jedoch rein schematisch und beispielhaft zu verstehen, da in einer praktischen Anwendung ebenso andere Anzahlen von Trajektorien, beispielsweise die jeweils 10 zuletzt geplanten Trajektorien, für die jeweils aktuelle Sequenz von Trajektorien verwendet oder berücksichtigt werden können.It should be pointed out that the present case is not about predicting how the actual movement trajectory of the motor vehicle 12 or the planned trajectories 32 to 36 will develop in the future. Rather, the error prediction model 26 analyzes here how the trajectories planned in the immediate past up to the current point in time have developed. A current sequence of trajectories planned up to that point is thus provided as input to the error prediction model 26 in each case. This current sequence can include, for example, the first trajectory 32, the second trajectory 34 and the third trajectory 36 at time t+2. At time t+3, however, the then current sequence can include, for example, the second trajectory 34, the third trajectory 36 and the fourth trajectory 38. However, this is to be understood purely schematically and as an example here, since in a practical application other numbers of trajectories, for example the 10 most recently planned trajectories, can also be used or taken into account for the current sequence of trajectories.

Das entsprechend trainierten Fehlervorhersagemodell 26 kann jedem Input, also jeder Sequenz von Trajektorien eine Wahrscheinlichkeit dafür zuweisen, dass diese Sequenz zu einem Versagen, also einem sogenannten Disengagement, des Fahrzeugführungsmodells 24 führt. Diese Wahrscheinlichkeit kann dann mit einem vorgegebenen Wahrscheinlichkeitsschwellenwert verglichen werden. Erreicht oder überschreitet die vorhergesagte Wahrscheinlichkeit diesen Wahrscheinlichkeitsschwellenwert, so kann das Assistenzsystem 18 darauf in vorgegebener Weise reagieren. Beispielsweise kann ein Anforderungssignal 40 ausgegeben werden, durch welches eine manuelle Kontrolle oder Steuerung des Kraftfahrzeugs 12 durch eine Bedienperson, beispielsweise einen Fahrer 42 des Kraftfahrzeugs 12 oder einen fahrzeugexternen Teleoperator 44, angefordert wird. Der Teleoperator 44 kann daraufhin beispielsweise ein Steuersignal 46 an das Kraftfahrzeug 12 übermitteln, um dieses in manuelle Fernsteuerung um die Gefahrenstelle 14 herum zu nehmen. Anschließend kann der Teleoperator 44 bzw. der Fahrer 42 die Kontrolle über das Kraftfahrzeug 12 wieder an das Assistenzsystem 18 bzw. an das Fahrzeugführungsmodell 24 übergeben.The correspondingly trained error prediction model 26 can assign each input, ie each sequence of trajectories, a probability that this sequence will lead to a failure, ie a so-called disengagement, of the vehicle guidance model 24 . This probability can then be compared to a predetermined probability threshold. If the predicted probability reaches or exceeds this probability threshold value, then the assistance system 18 can react to this in a predetermined manner. For example, a request signal 40 can be output, which requests manual monitoring or control of motor vehicle 12 by an operator, for example a driver 42 of motor vehicle 12 or a vehicle-external teleoperator 44 . The teleoperator 44 can then, for example, transmit a control signal 46 to the motor vehicle 12 in order to take manual remote control of the latter around the danger point 14 . The teleoperator 44 or the driver 42 can then transfer control of the motor vehicle 12 back to the assistance system 18 or to the vehicle guidance model 24 .

Dadurch, dass das Anforderungssignal 40 hier basierend auf einer Vorhersage und nicht einem tatsächlich bereits eingetretenen Versagen des Fahrzeugführungsmodells 24 erfolgt, kann die jeweilige Bedienperson ausreichend Zeit haben, um die manuelle Steuerung des Kraftfahrzeugs 12 zu übernehmen. Ebenso kann das Assistenzsystem 18 bei einem vorhergesagten Versagen des Fahrzeugführungsmodells 24 automatisch ein Sicherheitsmanöver des Kraftfahrzeugs 12 einleiten, um der jeweiligen Bedienperson die manuelle Kontrollübernahme noch sicherer zu ermöglichen. Die Vorhersage des Versagens ist hier typischerweise mehrere Sekunden im Voraus möglich, da die jeweils aktuelle Sequenz der geplanten Trajektorien typischerweise bereits mehrere Sekunden vor einem tatsächlichen Versagen des Fahrzeugführungsmodells 24 dies anzeigende Varianzmuster, also Veränderungen der geplanten Trajektorien zeigt.Due to the fact that the request signal 40 is based on a prediction and not on a failure of the vehicle guidance model 24 that has actually already occurred, the respective operator can have sufficient time to take over the manual control of the motor vehicle 12 . Likewise, the assistance system 18 can automatically initiate a safety maneuver of the motor vehicle 12 in the event of a predicted failure of the vehicle guidance model 24 in order to enable the respective operator to take over control manually even more safely. The failure can typically be predicted several seconds in advance, since the respective current sequence of the planned trajectories typically shows variance patterns indicating this, ie changes in the planned trajectories, several seconds before an actual failure of the vehicle guidance model 24 .

Insgesamt zeigen die beschriebenen Beispiele wie basierend auf einer Analyse geplanter Trajektorien eine des Disengagementvorhersage realisiert werden kann, um einen besonders sicheren Betrieb eines Fahrzeugs in einem bedingt autonomen Fahrbetrieb zu ermöglichen.Overall, the examples described show how a disengagement prediction can be realized based on an analysis of planned trajectories in order to enable a particularly safe operation of a vehicle in a conditionally autonomous driving mode.

BezugszeichenlisteReference List

1010
StraßeStreet
1212
Kraftfahrzeugmotor vehicle
1414
Gefahrenstelledanger point
1616
Umgebungssensorikenvironmental sensors
1818
Assistenzsystemassistance system
2020
Fahrzeugkomponentevehicle component
2222
Datenspeicherdata storage
2424
Fahrzeugführungsmodellvehicle guidance model
2626
Fehlervorhersagemodellfailure prediction model
2828
neuronales Netzneural network
3030
Prozessorprocessor
3232
erste Trajektoriefirst trajectory
3434
zweite Trajektoriesecond trajectory
3636
dritte Trajektoriethird trajectory
3838
vierte Trajektoriefourth trajectory
4040
Anforderungssignalrequest signal
4242
Fahrerdriver
4444
Teleoperatorteleoperator
4646
Steuersignalcontrol signal
xx
aktuelle Positionactual position
yy
zukünftige Positionfuture position
t, t+1, t+2, t+3t, t+1, t+2, t+3
Zeitpunktetimes

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 10133275 B1 [0003]US10133275B1 [0003]
  • US 8706394 B2 [0004]US 8706394 B2 [0004]
  • US 9690293 B2 [0005]US 9690293 B2 [0005]

Claims (10)

Verfahren zum Vorhersagen eines Versagens einer automatisierten Fahrzeugführung eines Kraftfahrzeugs (12), in dem - während eines durch ein Fahrzeugführungssystem (24) zur Quer- und/oder Längsführung gesteuerten Fahrbetriebs des Kraftfahrzeugs (12) fortlaufend geplante Trajektorien (32, 34, 36, 38) für das Kraftfahrzeug (12) bestimmt werden, - während des Fahrbetriebs mittels eines vorgegebenen Fehlervorhersagemodells (26) fortlaufend eine entsprechend aktualisierte jeweils aktuelle Sequenz vorgegebener Länge von bis zum jeweils aktuellen Zeitpunkt während des aktuellen Fahrbetriebs bestimmten geplanten Trajektorien (32, 34, 36, 38) hinsichtlich eines Varianzmusters der Trajektorien (32, 34, 36, 38) der jeweiligen aktuellen Sequenz analysiert wird, und - basierend darauf automatisch vorhergesagt wird, ob ein Versagen der automatisierten Fahrzeugführung des Kraftfahrzeugs (12) durch das Fahrzeugführungssystem (24) bevorsteht.Method for predicting a failure of an automated vehicle guidance of a motor vehicle (12), in which - continuously planned trajectories (32, 34, 36, 38) for the motor vehicle (12) are determined during driving operation of the motor vehicle (12) controlled by a vehicle guidance system (24) for lateral and/or longitudinal guidance, - during the driving operation by means of a predetermined error prediction model (26) continuously a correspondingly updated current sequence of predetermined length of planned trajectories (32, 34, 36, 38) determined up to the current time during the current driving operation with regard to a variance pattern of the trajectories (32, 34, 36, 38) of the respective current sequence is analyzed, and - Based on this, it is automatically predicted whether a failure of the automated vehicle guidance of the motor vehicle (12) by the vehicle guidance system (24) is imminent. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die jeweils aktuelle Sequenz aus zwischen 10 und 50 Trajektorien (32, 34, 36, 38), insbesondere aus 30 Trajektorien (32, 34, 36, 38), zusammengesetzt wird.procedure after claim 1 , characterized in that the respective current sequence is composed of between 10 and 50 trajectories (32, 34, 36, 38), in particular of 30 trajectories (32, 34, 36, 38). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Analysieren der Trajektorien (32, 34, 36, 38) für die Vorhersage nur oder überwiegend deren Varianzmuster in einem sich von der jeweils aktuellen Position (x) des Kraftfahrzeugs (12) in dessen Fahrtrichtung erstreckenden Überlappungsbereich, der von mehreren der Trajektorien (32, 34, 36, 38) der jeweils aktuellen Sequenz durchgriffen wird, berücksichtigt wird.Method according to one of the preceding claims, characterized in that when the trajectories (32, 34, 36, 38) are analyzed for the prediction, only or predominantly their variance pattern in a range from the current position (x) of the motor vehicle (12) in whose overlapping area extending in the direction of travel, through which several of the trajectories (32, 34, 36, 38) of the current sequence pass, is taken into account. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fehlervorhersagemodell (26) als Einrichtung (28) des maschinellen Lernens ausgebildet und auf das Analysieren von Sequenzen von Trajektorien (32, 34, 36, 38) und das Vorhersagen, ob ein Versagen der automatisierten Fahrzeugführung bevorsteht, trainiert ist.Method according to one of the preceding claims, characterized in that the error prediction model (26) is designed as a machine learning device (28) and is based on analyzing sequences of trajectories (32, 34, 36, 38) and predicting whether a failure of the automated vehicle guidance is imminent. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Fehlervorhersagemodell (26) sowohl mit entsprechend annotierten Sequenzen von geplanten Trajektorien (32, 34, 36, 38), die in ein Versagen des Fahrzeugführungssystem (24) gemündet haben, als auch mit entsprechend annotierten Sequenzen von Trajektorien (32, 34, 36, 38), die in ein fehlerfreies Fahrmanöver gemündet haben, trainiert ist.procedure after claim 4 , characterized in that the error prediction model (26) both with appropriately annotated sequences of planned trajectories (32, 34, 36, 38), which have resulted in a failure of the vehicle guidance system (24), and with appropriately annotated sequences of trajectories (32 , 34, 36, 38) that resulted in a flawless driving manoeuvre. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das Fehlervorhersagemodell (26) ein rekurrentes neuronales Netz (28), insbesondere mit wenigstens einem LSTM-Modul, umfasst.procedure after claim 4 or 5 , characterized in that the error prediction model (26) comprises a recurrent neural network (28), in particular with at least one LSTM module. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Fall, dass ein Versagen des Fahrzeugführungssystems (24) vorhergesagt wird, automatisch eine Aufforderung (40), eine manuelle Kontrolle über das Kraftfahrzeug (12) zu übernehmen, ausgegeben wird.Method according to one of the preceding claims, characterized in that if a failure of the vehicle guidance system (24) is predicted, a request (40) to take over manual control of the motor vehicle (12) is automatically issued. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Fall, dass ein Versagen des Fahrzeugführungssystems (24) vorhergesagt wird, automatisch ein Steuersignal zum Einleiten eines Sicherheitsmanövers, durch welches das Kraftfahrzeug (12) in einen sicheren Zustand, insbesondere zum Stillstand, gebracht wird, ausgegeben wird.Method according to one of the preceding claims, characterized in that in the event that a failure of the vehicle guidance system (24) is predicted, a control signal for initiating a safety maneuver by which the motor vehicle (12) is brought into a safe state, in particular to a standstill, is automatically is brought, is spent. Assistenzsystem (18) für ein Kraftfahrzeug (12), aufweisend eine Eingangsschnittstelle zum Erfassen von durch ein Fahrzeugführungssystem (24) geplanten Trajektorien (32, 34, 36, 38) des Kraftfahrzeugs (12), einen Datenspeicher (22), in dem ein Fehlervorhersagemodell (26) zum Vorhersagen, ob ein Versagen des Fahrzeugführungssystems (24) bevorsteht, basierend auf Sequenzen von erfassten geplanten Trajektorien (32, 34, 36, 38), abgelegt ist, eine damit verbundene Prozessoreinrichtung (30) und eine Ausgangsschnittstelle, wobei das Assistenzsystem (18) zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.Assistance system (18) for a motor vehicle (12), having an input interface for detecting trajectories (32, 34, 36, 38) of the motor vehicle (12) planned by a vehicle guidance system (24), a data memory (22) in which an error prediction model (26) for predicting whether a failure of the vehicle guidance system (24) is imminent, based on sequences of recorded planned trajectories (32, 34, 36, 38), is stored, a processor device (30) connected thereto and an output interface, the assistance system (18) is set up to carry out a method according to any one of the preceding claims. Kraftfahrzeug (12), aufweisend eine Sensorik (16) zum Aufnehmen von Umgebungsdaten, ein damit verbundenes Fahrzeugführungssystem (24) zur automatisierten Quer- und/oder Längsführung des Kraftfahrzeugs (12) und ein Assistenzsystem (18) nach Anspruch 9.Motor vehicle (12), having a sensor system (16) for recording environmental data, a vehicle guidance system (24) connected thereto for automated lateral and/or longitudinal guidance of the motor vehicle (12) and an assistance system (18). claim 9 .
DE102021101718.1A 2021-01-27 2021-01-27 Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle Pending DE102021101718A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021101718.1A DE102021101718A1 (en) 2021-01-27 2021-01-27 Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021101718.1A DE102021101718A1 (en) 2021-01-27 2021-01-27 Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle

Publications (1)

Publication Number Publication Date
DE102021101718A1 true DE102021101718A1 (en) 2022-07-28

Family

ID=82320753

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021101718.1A Pending DE102021101718A1 (en) 2021-01-27 2021-01-27 Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle

Country Status (1)

Country Link
DE (1) DE102021101718A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8706394B2 (en) 2008-10-24 2014-04-22 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9690293B2 (en) 2015-02-10 2017-06-27 Mobileye Vision Technologies Ltd. Autonomous vehicle tail alignment navigation
DE102018103409A1 (en) 2017-02-17 2018-08-23 GM Global Technology Operations LLC SYSTEM AND METHOD FOR PREDICTING THE POSSIBLE LEAVING OF THE ROAD TRACK BY THE AUTONOMOUS OR PARTIAL AUTOMATIC DRIVING A VEHICLE AND TO IMPLEMENT A REMEDY TO PREVENT THE LEAVING OF THE ROAD TRACK
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
DE112019004554T5 (en) 2018-09-12 2021-07-15 Bendix Commercial Vehicle Systems Llc SYSTEM AND PROCEDURE FOR WARNING OF PREDICTED VEHICLE INCIDENTS AND AVOIDING EVIDENCE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8706394B2 (en) 2008-10-24 2014-04-22 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9690293B2 (en) 2015-02-10 2017-06-27 Mobileye Vision Technologies Ltd. Autonomous vehicle tail alignment navigation
DE102018103409A1 (en) 2017-02-17 2018-08-23 GM Global Technology Operations LLC SYSTEM AND METHOD FOR PREDICTING THE POSSIBLE LEAVING OF THE ROAD TRACK BY THE AUTONOMOUS OR PARTIAL AUTOMATIC DRIVING A VEHICLE AND TO IMPLEMENT A REMEDY TO PREVENT THE LEAVING OF THE ROAD TRACK
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
DE112019004554T5 (en) 2018-09-12 2021-07-15 Bendix Commercial Vehicle Systems Llc SYSTEM AND PROCEDURE FOR WARNING OF PREDICTED VEHICLE INCIDENTS AND AVOIDING EVIDENCE

Similar Documents

Publication Publication Date Title
EP3181422B1 (en) Method and system for automatically guiding a follow vehicle with a scout vehicle
EP3181421B1 (en) Method and system for automatically guiding a follow vehicle with a front vehicle
EP3224100B1 (en) Method and device for operating a plurality of vehicles
DE102019104974A1 (en) Method and system for determining a driving maneuver
DE102015114464A9 (en) Uniform motion planner for an autonomous vehicle while avoiding a moving obstacle
EP3948466B1 (en) Method and device for teleoperatively driving a vehicle
DE102014205953A1 (en) Method for analyzing a traffic environment situation of a vehicle
DE102019002790B4 (en) Method for predicting a traffic situation for a vehicle
DE102013013865B3 (en) Method for operating a motor vehicle with a safety system and a fully automatic driver assistance system and motor vehicle
DE102014003343A1 (en) Method for determining a lane change requirement of a system vehicle
EP3776515A1 (en) Method and device for coordinating driving manoeuvres between one vehicle and at least one other vehicle
DE102016007563A1 (en) Method for trajectory planning
DE102016007899A1 (en) Method for operating a device for traffic situation analysis, motor vehicle and data processing device
WO2020069812A1 (en) Method for guiding a motor vehicle on a roadway in an at least partly automated manner
DE102019105739A1 (en) Method for at least partially automated driving of a motor vehicle
DE102018219482A1 (en) Method and device for controlling a vehicle
DE102021004426A1 (en) Method for training an autonomous driving function
DE102021101718A1 (en) Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle
WO2022096236A1 (en) Method for determining a probability of existence of a possible element in the surroundings of a motor vehicle, driver assistance system and motor vehicle
DE102020110269A1 (en) Method for determining an information gap in a lane marking model for a motor vehicle and a system for carrying out such a method
DE102020118640A1 (en) Method and vehicle system for determining a driving corridor for a vehicle
EP4029763B1 (en) Motor vehicle and method for operating a motor vehicle
DE102022205331B4 (en) Method and system for providing an at least assisted parking function for a motor vehicle
DE102022200934A1 (en) Method and assistance device for supporting the lateral guidance of a motor vehicle and motor vehicle
DE102020205725A1 (en) Modeling a traffic scenario

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNER: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, 80809 MUENCHEN, DE

R081 Change of applicant/patentee

Owner name: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNERS: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, 80809 MUENCHEN, DE; TECHNISCHE UNIVERSITAET MUENCHEN, KOERPERSCHAFT DES OEFFENTLICHEN RECHTS, 80333 MUENCHEN, DE