DE102021101718A1 - Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle - Google Patents
Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle Download PDFInfo
- Publication number
- DE102021101718A1 DE102021101718A1 DE102021101718.1A DE102021101718A DE102021101718A1 DE 102021101718 A1 DE102021101718 A1 DE 102021101718A1 DE 102021101718 A DE102021101718 A DE 102021101718A DE 102021101718 A1 DE102021101718 A1 DE 102021101718A1
- Authority
- DE
- Germany
- Prior art keywords
- trajectories
- motor vehicle
- vehicle
- failure
- planned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000007613 environmental effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
Die Erfindung betrifft ein Verfahren zum Vorhersagen eines Versagens einer automatisierten Fahrzeugführung eines Kraftfahrzeugs (12), ein entsprechendes Assistenzsystem (18) sowie ein damit ausgestattetes Kraftfahrzeug (12). In dem Verfahren werden in einem bedingt autonomen Fahrbetrieb durch einen Fahrzeugführungssystem (24) fortlaufend geplante Trajektorien (32, 34, 36, 38) für das Kraftfahrzeug (12) bestimmt. Während des Fahrbetriebs werden mittels eines Fehlervorhersagemodells (26) fortlaufend entsprechend aktualisierte Sequenzen von bis zum jeweils aktuellen Zeitpunkt (t, t+1, t+2, t+3) bestimmten geplanten Trajektorien (32, 34, 36, 38) hinsichtlich eines Varianzmusters der Trajektorien (32, 34, 36, 38) analysiert. Darauf basierend wird dann automatisch vorhergesagt, ob ein Versagen der automatisierten Fahrzeugführung des Kraftfahrzeugs (12) durch das Fahrzeugführungssystem (24) bevorsteht.The invention relates to a method for predicting a failure of an automated vehicle guidance of a motor vehicle (12), a corresponding assistance system (18) and a motor vehicle (12) equipped therewith. In the method, continuously planned trajectories (32, 34, 36, 38) for the motor vehicle (12) are determined in a conditionally autonomous driving mode by a vehicle guidance system (24). During driving operation, an error prediction model (26) is used to continuously update sequences of planned trajectories (32, 34, 36, 38) determined up to the current time (t, t+1, t+2, t+3) with regard to a variance pattern of the trajectories (32, 34, 36, 38) analyzed. Based on this, it is then automatically predicted whether a failure of the automated vehicle guidance of the motor vehicle (12) by the vehicle guidance system (24) is imminent.
Description
Die vorliegende Erfindung betrifft ein Verfahren zum Vorhersagen eines Versagens einer automatisierten Fahrzeugführung eines Kraftfahrzeugs. Die Erfindung betrifft weiter ein dafür eingerichtetes Assistenzsystem sowie ein damit ausgestattetes Kraftfahrzeug.The present invention relates to a method for predicting a failure of an automated vehicle guidance of a motor vehicle. The invention further relates to an assistance system set up for this purpose and a motor vehicle equipped therewith.
In einem autonomen Betrieb eines Kraftfahrzeugs müssen eine oder mehrere Trajektorien bestimmt werden, die eine Bewegung des Kraftfahrzeugs ausgehend von seiner jeweils aktuellen Position beschreiben. Dabei müssen derartige Trajektorien jeweilige lokale Gegebenheiten berücksichtigen, um eine verkehrsregelkonforme Bewegung des Kraftfahrzeugs sicherzustellen und Hindernisse oder gar Unfälle zu vermeiden. Mit heutzutage verfügbaren Systemen ist dies jedoch nicht immer in allen Situationen vollständig zuverlässig möglich, obwohl es bereits eine Vielzahl von Ansätzen und Verbesserungsvorschlägen gibt.In an autonomous operation of a motor vehicle, one or more trajectories must be determined, which describe a movement of the motor vehicle starting from its current position. Such trajectories must take into account the respective local conditions in order to ensure that the motor vehicle moves in accordance with traffic regulations and to avoid obstacles or even accidents. With the systems available today, however, this is not always completely reliable in all situations, although there are already a large number of approaches and suggestions for improvement.
So ist beispielsweise in der
Als weiterer Ansatz ist in der
Weiter ist in der
Aufgabe der vorliegenden Erfindung ist es, einen sicheren Betrieb eines im autonomen Betrieb nicht allen Fahrsituationen gewachsenen Fahrzeugs zu ermöglichen.The object of the present invention is to enable safe operation of a vehicle that cannot cope with all driving situations in autonomous operation.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Zeichnung offenbart.According to the invention, this object is achieved by the subject matter of the independent patent claims. Possible refinements and developments of the present invention are disclosed in the dependent patent claims, in the description and in the drawing.
Das erfindungsgemäße Verfahren dient zum Vorhersagen eines Versagens, also eines Fehlerfalls oder eines sogenannten Disengagements, einer automatisierten Fahrzeugführung eines Kraftfahrzeugs. Dies kann insbesondere eine Quer- und/oder Längsführung in einem bedingt automatisierten oder hochautomatisierten Fahrbetrieb des Kraftfahrzeugs, also etwa in einem Fahrbetrieb gemäß SAE J3016 Level 3 oder 4, betreffen. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden während eines durch ein Fahrzeugführungssystem zur Quer- und/oder Längsführung gesteuerten Fahrbetriebs des Kraftfahrzeugs fortlaufend geplante Trajektorien bzw. Trajektorienabschnitte für das Kraftfahrzeug bestimmt bzw. erfasst. Bei dem Fahrzeugführungssystem kann es sich insbesondere um ein onboard-System des Kraftfahrzeugs selbst handeln, um eine möglichst geringe Latenz zu ermöglichen. Das Fahrzeugführungssystem kann dabei eine oder mehrere Einrichtungen, wie beispielsweise einen oder mehrere Sensoren, eine Datenverarbeitungseinrichtung, ein Steuergerät und/oder dergleichen mehr umfassen.The method according to the invention is used to predict a failure, that is to say an error or a so-called disengagement, of automated vehicle guidance of a motor vehicle. In particular, this can relate to a lateral and/or longitudinal guidance in a conditionally automated or highly automated driving mode of the motor vehicle, ie for example in a driving mode according to SAE J3016
Die geplanten Trajektorien können sich von einer jeweils aktuellen Position des Kraftfahrzeugs in dessen jeweils aktueller Fahrtrichtung erstrecken bzw. eine geplante Bewegung des Kraftfahrzeugs während der jeweils nächsten Sekunden beschreiben. Mit einer Bewegung des Kraftfahrzeugs und/oder einer Veränderung einer Umgebungssituation des Kraftfahrzeugs kann jeweils eine aktualisierte oder neue aktuelle Trajektorie geplant werden. Dies kann in einer vorgegebenen Frequenz oder Taktgeschwindigkeit je nach Implementierung oder verfügbarer Rechenkapazität erfolgen. Im Gegensatz zu einer herkömmlichen Navigationsroute, die sich über viele Kilometer bzw. Stunden erstrecken kann und beispielsweise lediglich zu befahrende Straßen, nicht jedoch eine feiner aufgelöste konkrete Bewegung auf der jeweiligen Straße beschreibt, können sich die hier bestimmten Trajektorien beispielsweise über einige Meter bis zu einigen hundert Metern erstrecken bzw. etwa bis zu 30 Sekunden in die Zukunft erreichen. Die geplanten Traktoren beschreiben also im Vergleich zu einer herkömmlichen Navigationsroute eines satelliten- oder kartendatengestützten Navigationssystems eine relativ kurzfristige, detaillierte Bewegungsplanung, insbesondere eine geplante Bewegung des Kraftfahrzeugs innerhalb der jeweils von einer Umgebungssensorik des Kraftfahrzeugs erfassbaren Umgebung des Kraftfahrzeugs.The planned trajectories can extend from a current position of the motor vehicle in its current direction of travel or describe a planned movement of the motor vehicle during the next few seconds. An updated or new current trajectory can be planned in each case with a movement of the motor vehicle and/or a change in the situation surrounding the motor vehicle. This can be done at a predetermined frequency or clock speed depending on the implementation or available computing capacity. In contrast to a conventional navigation route, which can extend over many kilometers or hours and, for example, only describes roads to be traveled on, but not a more detailed specific movement on the respective road, the trajectories determined here can, for example, be several meters up to some hundred meters or about up to 30 seconds into the future. Compared to a conventional navigation route of a satellite or map data-based navigation system, the planned tractors describe a relatively short-term, detailed movement plan, in particular a planned movement of the motor vehicle within the surroundings of the motor vehicle that can be detected by an ambient sensor system of the motor vehicle.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden während des jeweiligen Fahrbetriebs fortlaufend entsprechend aktualisierte Sequenzen von derartigen geplanten Trajektorien erfasst bzw. bereitgestellt. Diese Sequenzen können dabei eine vorgegebene Länge aufweisen, also eine vorgegebene Anzahl geplanter Trajektorien umfassen oder beispielsweise sämtliche geplant Trajektorien umfassen, die innerhalb eines gleitenden Zeitfensters vorgegebener Länge bestimmt wurden. Die jeweils aktuelle Sequenz von Trajektorien umfasst dabei bis zum jeweils aktuellen Zeitpunkt während des aktuellen Fahrbetriebs bestimmte geplante Trajektorien, also beispielsweise die letzten N Trajektorien, wobei N ein vorgegebener bzw. anpassbare Parameter sein kann. Für eine praktische Anwendung kann beispielsweise N = 10 vorgegeben sein.In a further method step of the method according to the invention, correspondingly updated sequences of such planned trajectories are continuously recorded or provided during the respective driving operation. In this case, these sequences can have a predetermined length, that is to say comprise a predetermined number of planned trajectories or, for example, comprise all planned trajectories that were determined within a sliding time window of predetermined length. The current sequence of trajectories in each case includes certain planned trajectories up to the current point in time during the current driving operation, ie for example the last N trajectories, where N can be a predefined or adjustable parameter. For example, N=10 can be specified for a practical application.
Während des jeweils aktuellen Fahrbetriebs wird fortlaufend die jeweils aktuelle dieser Sequenzen von Trajektorien hinsichtlich eines Varianzmusters der Trajektorien der jeweiligen aktuellen Sequenz analysiert. Die Sequenzen bzw. deren Trajektorien werden also etwa hinsichtlich im Laufe der jeweiligen Sequenz zwischen den jeweiligen Trajektorien aufgetretenen bzw. sich entwickelnden Veränderungen oder Unterschieden, also Abweichungen voneinander, hinsichtlich eines Wechsels oder Umschlagens einer vorgesehenen Fahrtrichtung über mehrere nacheinander bestimmte Trajektorien hinweg, hinsichtlich Mustern von mehrfach geplanten, aber nicht ausgeführten gleichen Fahrmanövern und/oder dergleichen mehr analysiert oder ausgewertet.During the respective current driving operation, the respective current one of these sequences of trajectories is continuously analyzed with regard to a variance pattern of the trajectories of the respective current sequence. The sequences or their trajectories are thus evaluated, for example, with regard to changes or differences that have occurred or are developing between the respective trajectories in the course of the respective sequence, i.e. deviations from one another, with regard to a change or reversal of an intended direction of travel over several trajectories determined one after the other, with regard to patterns of analyzed or evaluated the same driving maneuvers and/or the like that were planned several times but not executed.
Basierend darauf wird dann auch in einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens vorhergesagt, ob ein Versagen der automatisierten Fahrzeugführung des Kraftfahrzeugs durch das Fahrzeugführungssystem bevorsteht oder nicht. Dies kann beispielsweise durch eine binäre Ausgabe oder einen jeweiligen Wahrscheinlichkeitswert für das Bevorstehen des Versagens erfolgen.Based on this, in a further method step of the method according to the invention, it is then also predicted whether or not the automated vehicle guidance of the motor vehicle is about to fail by the vehicle guidance system. This can be done, for example, by a binary output or a respective probability value for the impending failure.
Bisherige Ansätze beruhen beispielsweise auf aufgezeichneten Zustandsdaten, die angeben, wie sich das jeweilige Fahrzeug in den jeweils zurückliegenden Sekunden tatsächlich bewegt hat. Dies ist zwar ein legitimer Ansatz, da einem Versagen der automatisierten Fahrzeugführung oftmals bestimmte Bewegungsmuster des Kraftfahrzeugs vorausgehen. Dies ist zum einen jedoch nicht immer der Fall und ermöglicht zum anderen oftmals nur eine relativ kurze Zeitspanne zwischen dem Vorhersagen eines Versagens und dessen tatsächlichem Eintreten. Es ist jedoch bekannt, dass eine menschliche Bedienperson die sichere Kontrolle über ein bis dahin autonom fahrendes Kraftfahrzeug nicht instantan übernehmen kann, sondern dafür eine gewisse Zeit benötigt. Um in solchen Fällen eine verbesserte Sicherheit zu erreichen, ist es also wünschenswert, einer jeweiligen Bedienperson so viel Zeit wie möglich zur Übernahme der Kontrolle über das Kraftfahrzeug einzuräumen. Dazu muss ein bevorstehendes Versagen der automatisierten Fahrzeugführung idealerweise so früh wie möglich vorhergesagt werden. Gerade dies wird durch die vorliegende Erfindung ermöglicht, da die Muster oder Veränderungen der für die Zukunft geplanten Trajektorien gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis ebenfalls vor einem tatsächlichen Versagen typische Muster oder ein bestimmtes Varianzverhalten aufweisen können. Basierend auf den geplanten Trajektorien ist somit das Vorhersagen des Versagens möglich, bevor das jeweilige Kraftfahrzeug eine entsprechende Wegstrecke tatsächlich befahren hat, also bevor es entsprechende Fahrmanöver gemäß den geplanten Trajektorien tatsächlich ausgeführt hat. Mit anderen Worten ermöglicht es die vorliegende Erfindung, ein bevorstehendes Versagen der automatisierten Fahrzeugführung basierend auf einem antizipierten zukünftigen Verhalten des Kraftfahrzeugs vorherzusagen, bevor dieses Verhalten tatsächlich realisiert wurde.Previous approaches are based, for example, on recorded status data that indicate how the respective vehicle has actually moved in the past few seconds. This is a legitimate approach, since a failure of the automated vehicle guidance is often preceded by certain movement patterns of the motor vehicle. On the one hand, however, this is not always the case and, on the other hand, there is often only a relatively short period of time between the prediction of a failure and its actual occurrence. However, it is known that a human operator cannot instantaneously assume safe control of a motor vehicle that has previously been driving autonomously, but instead needs a certain amount of time to do so. In order to achieve improved safety in such cases, it is therefore desirable to give a respective operator as much time as possible to take control of the motor vehicle. For this purpose, an imminent failure of the automated vehicle guidance must ideally be predicted as early as possible. Precisely this is made possible by the present invention, since the patterns or changes in the trajectories planned for the future, according to a finding on which the present invention is based, can also have typical patterns or a specific variance behavior before an actual failure. Based on the planned trajectories, it is thus possible to predict the failure before the respective motor vehicle has actually traveled a corresponding route, that is to say before it has actually carried out corresponding driving maneuvers according to the planned trajectories. In other words, the present invention allows a predict impending failure of the automated vehicle guidance based on an anticipated future behavior of the motor vehicle before this behavior was actually realized.
In der vorliegenden Erfindung können dabei insbesondere jeweils mehrere in den Sequenzen von Trajektorien zusammengefasste Trajektorien betrachtet werden, die durch ein und dasselbe Modell oder Fahrzeugführungssystem nacheinander, also zu unterschiedlichen Zeitpunkten geplant wurden. Dies ermöglicht eine verbesserte Sicherheit und Robustheit bei reduziertem Aufwand, da beispielsweise nicht wie in bekannten Ansätzen die Ausgaben zweier unterschiedlicher Modelle miteinander verglichen werden müssen, sodass auch entsprechend keine impliziten Annahmen bezüglich des jeweils verwendeten Modells oder Systems getroffen werden müssen.In the present invention, in particular, a plurality of trajectories combined in the sequences of trajectories can be considered, which were planned one after the other, ie at different points in time, by one and the same model or vehicle guidance system. This enables improved security and robustness with reduced effort, since, for example, the outputs of two different models do not have to be compared with one another, as in known approaches, so that no implicit assumptions regarding the model or system used in each case have to be made.
Die vorliegende Erfindung basiert auf der Idee, dass die geplanten Trajektorien ein jeweiliges Verständnis der aktuellen Verkehrssituation oder Verkehrsszene bzw. von deren Komplexität aus Sicht des Kraftfahrzeugs bzw. dessen Fahrzeugführungssystems widerspiegeln. Wenn eine bestimmte Situation korrekt von dem Fahrzeugführungssystem wahrgenommen bzw. verstanden wird und eine entsprechende Lösung für die automatisierte Fahrzeugführung in dieser Situation gefunden wird, wird die jeweils neueste, also aktuelle geplante Trajektorie signifikant, insbesondere größtenteils, mit einer oder mehreren vorangegangenen geplanten Trajektorien überlappen. In diesem Fall gibt es also keine oder nur relativ geringe Abweichungen zwischen diesen zu aufeinanderfolgenden Zeitpunkten geplanten Trajektorien. Ist die Situation hingegen komplex bzw. für das Fahrzeugführungssystem anspruchsvoll, kann eine zuvor geplante Trajektorie gegebenenfalls nicht mehr als sicher gelten, sodass die nächste bzw. aktuelle Trajektorie mit einer signifikanten Abweichung oder Veränderung geplant wird. Wenn das Fahrzeugführungssystem derart wechselnde, also signifikant von voneinander abweichende Trajektorien nacheinander plant, ist dies ein Indiz dafür, dass die jeweilige Verkehrs- oder Fahrsituation dynamisch oder allgemein anspruchsvoll, insbesondere zu anspruchsvoll, für das Fahrzeugführungssystem ist, sodass mit einem Versagen der automatisierten Fahrzeugführung bei weiterer Annäherung an die jeweilige Situation, ein jeweiliges Hindernis, andere Verkehrsteilnehmer, ein bestimmtes Streckenmerkmal und/oder dergleichen mehr zu rechnen ist.The present invention is based on the idea that the planned trajectories reflect a respective understanding of the current traffic situation or traffic scene or its complexity from the perspective of the motor vehicle or its vehicle guidance system. If a specific situation is correctly perceived or understood by the vehicle guidance system and a corresponding solution for automated vehicle guidance is found in this situation, the latest, i.e. current, planned trajectory will significantly, in particular largely, overlap with one or more previous planned trajectories. In this case, there are no or only relatively small deviations between these trajectories planned at successive times. On the other hand, if the situation is complex or demanding for the vehicle guidance system, a previously planned trajectory may no longer be considered safe, so that the next or current trajectory is planned with a significant deviation or change. If the vehicle guidance system plans such changing trajectories, i.e. trajectories that differ significantly from one another, this is an indication that the respective traffic or driving situation is dynamic or generally demanding, in particular too demanding, for the vehicle guidance system, so that a failure of the automated vehicle guidance contributes further approach to the respective situation, a respective obstacle, other road users, a specific route feature and/or the like is to be expected.
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird die jeweils aktuelle Sequenz aus zwischen 10 und 50 Trajektorien, insbesondere aus zumindest ungefähr 30 Trajektorien, zusammengesetzt. Dies kann bei einer Berechnung/oder Aktualisierungsfrequenz der geplanten Trajektorien beispielsweise in der Größenordnung von 10 Hz eine Berücksichtigung oder Abdeckung eines Zeitraums von mehreren Sekunden, beispielsweise der zurückliegenden 3 s, ermöglichen. Dies kann mit praktikabel handhabbarem Datenverarbeitungsaufwand eine robuste und zuverlässige Vorhersage des Versagens der automatisierten Fahrzeugführung ermöglichen.In one possible embodiment of the present invention, the respective current sequence is composed of between 10 and 50 trajectories, in particular of at least approximately 30 trajectories. With a calculation/or update frequency of the planned trajectories, for example of the order of 10 Hz, this can allow a period of several seconds, for example the previous 3 s, to be taken into account or covered. This can enable a robust and reliable prediction of the failure of the automated vehicle guidance with a data processing effort that can be managed in a practicable manner.
Ebenso kann die vorgegebene Länge der jeweils analysierten Sequenz von Trajektorien dynamisch vorgegeben sein, beispielsweise in Abhängigkeit von einer aktuellen Geschwindigkeit des Kraftfahrzeugs. So können beispielsweise bei größerer Geschwindigkeit des Kraftfahrzeugs weniger geplante Trajektorien je Sequenz analysiert werden als bei geringerer Geschwindigkeit. Dadurch kann berücksichtigt werden, dass das Kraftfahrzeug bei unterschiedlichen Geschwindigkeiten je Zeiteinheit unterschiedliche Wegstrecken zurücklegt und somit bei unveränderter Sensorreichweite unterschiedlich viel Zeit bis zu einem möglichen Versagen an einer gerade in die Sensorreichweite gelangenden Stelle vergehen kann.Likewise, the predefined length of the respectively analyzed sequence of trajectories can be predefined dynamically, for example as a function of a current speed of the motor vehicle. For example, at a higher speed of the motor vehicle, fewer planned trajectories per sequence can be analyzed than at a lower speed. It can thereby be taken into account that the motor vehicle travels different distances at different speeds per unit of time and thus, with an unchanged sensor range, a different amount of time can elapse before a possible failure occurs at a point just entering the sensor range.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird bei dem Analysieren der Trajektorien für die Vorhersage nur oder überwiegend deren Varianzmuster in einem sich von der jeweils aktuellen Position des Kraftfahrzeugs in dessen Fahrtrichtung erstreckenden Überlappungsbereich, der von mehreren der Trajektorien der jeweils aktuellen Sequenz durchgegriffen wird, berücksichtigt. Mit anderen Worten kann also ein jeweils bei der aktuellen Trajektorie im Vergleich zur vorherigen Trajektorie dazukommendes Teilstück in maximaler Entfernung von dem Kraftfahrzeug unberücksichtigt bleiben oder untergewichtet werden. Dadurch kann berücksichtigt werden, dass in dem jeweils neu dazugekommenen Teilstück mit höherer Wahrscheinlichkeit auch in fehler- oder versagensfreien Fahrsituationen signifikante Richtungsänderungen auftreten können als in dem Überlappungsbereich. Der Überlappungsbereich bildet also einen sich vor dem Kraftfahrzeug erstreckenden Raumbereich, für den bereits mehrere Trajektorien geplant wurden. Die innerhalb dieses Überlappungsbereich liegenden Teile oder Abschnitte dieser geplanten Trajektorien können dann ausschließlich oder übergewichtet als Grundlage für das Vorhersagen des Versagens verwendet werden. Dies ermöglicht eine besonders robuste und zuverlässige Vorhersage des Versagens basierend auf der Erkenntnis, dass bei einem korrekten Verständnis der jeweiligen Situation innerhalb des Überlappungsbereich durch das Fahrzeugführungssystem dieses konsistent zum gleichen Ergebnis bzw. zur gleichen Lösung der Fahraufgabe kommen, also zumindest im Wesentlichen dieselbe Trajektorie bzw. denselben Trajektorienverlauf planen wird.In a further possible embodiment of the present invention, when analyzing the trajectories for the prediction, only or predominantly their variance pattern in an overlapping area extending from the current position of the motor vehicle in its direction of travel, which is penetrated by several of the trajectories of the current sequence, taken into account. In other words, a section that is added to the current trajectory compared to the previous trajectory at the maximum distance from the motor vehicle can remain unconsidered or be underweighted. As a result, it can be taken into account that significant changes in direction can occur in the respectively newly added section with a higher probability than in the overlapping area, even in driving situations that are free of errors or failures. The overlapping area thus forms a spatial area extending in front of the motor vehicle, for which several trajectories have already been planned. The parts or sections of these planned trajectories lying within this overlap area can then be used exclusively or overweighted as a basis for predicting the failure. This enables a particularly robust and reliable prediction of the failure based on the knowledge that if the vehicle guidance system correctly understands the respective situation within the overlapping area, it will consistently come to the same result or the same solution to the driving task, i.e. at least essentially the same Trajectory or plan the same trajectory course.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist das Fehlervorhersagemodell als Einrichtung des maschinellen Lernens ausgebildet und auf das Analysieren von Sequenzen von Trajektorien und das Vorhersagen, ob ein Versagen der automatisierten Fahrzeugführung bevorsteht, trainiert. Mit anderen Worten kann das Fehlervorhersagemodell ein, insbesondere tiefes, also mehrschichtiges, künstliches neuronales Netz sein oder umfassen, das im Rahmen seines Trainings Muster von Veränderungen oder Abweichungen in den Sequenzen von Trajektorien lernt bzw. gelernt hat, die voraussichtlich zu einem Versagen der automatisierten Fahrzeugführung führen, also einem solchen Versagen vorausgehen. Das Fehlervorhersagemodell kann dabei insbesondere introspektiv bezüglich des jeweiligen Fahrzeugführungssystems trainiert sein. Mit anderen Worten kann das Fehlervorhersagemodell anhand von tatsächlichen von dem jeweiligen Fahrzeugführungssystem erzeugten Sequenzen von geplanten Trajektorien trainiert sein, die jeweils als einem Versagen vorausgehend oder als einem fehlerfreien Durchfahren der jeweiligen Verkehrssituation, also einem erfolgreichen Fahrmanöver vorausgehend gekennzeichnet, also gelabelt oder annotiert, sein können. Dies ermöglicht eine besonders robuste und zuverlässige Vorhersage bevorstehender Disengagements des jeweiligen Fahrzeugführungssystems. Die Verwendung des maschinellen Lernens erlaubt dabei auf relativ einfache Weise ein in einer Vielzahl unterschiedlicher Situationen zuverlässiges Vorhersagen eines bevorstehenden Versagens. Dies ist der Fall, da das Fehlervorhersagemodell selbstständig Verallgemeinerungen konkreter Trainingsszenarien lernen kann und somit nicht manuell explizit auf jedwede potenziell mögliche Situation hin programmiert werden muss, was wenig praktikabel erscheint.In a further possible embodiment of the present invention, the error prediction model is designed as a machine learning device and is trained to analyze sequences of trajectories and to predict whether the automated vehicle guidance system is about to fail. In other words, the error prediction model can be or include an in particular deep, i.e. multi-layered, artificial neural network that learns or has learned patterns of changes or deviations in the sequences of trajectories as part of its training, which are likely to lead to a failure of the automated vehicle guidance lead, i.e. precede such a failure. The error prediction model can be trained in particular introspectively with regard to the respective vehicle guidance system. In other words, the error prediction model can be trained on the basis of actual sequences of planned trajectories generated by the respective vehicle guidance system, which can be marked, i.e. labeled or annotated, as preceding a failure or as driving through the respective traffic situation without errors, i.e. preceding a successful driving maneuver . This enables a particularly robust and reliable prediction of imminent disengagements of the respective vehicle guidance system. The use of machine learning allows an imminent failure to be predicted reliably in a large number of different situations in a relatively simple manner. This is the case because the error prediction model can independently learn generalizations of concrete training scenarios and thus does not have to be manually programmed explicitly for any potentially possible situation, which seems impractical.
In einer möglichen Weiterbildung der vorliegenden Erfindung ist das Fehlervorhersagemodell sowohl mit entsprechend annotierten Sequenzen von geplanten Trajektorien, die in ein Versagen des Fahrzeugführungssystems gemündet haben, als auch mit entsprechend annotierten Sequenzen von Trajektorien, die in ein fehlerfreies Fahrmanöver gemündet haben, trainiert. Durch dieses Training mit Negativbeispielen und Positivbeispielen wird ein besonders effektives Training bzw. Lernen ermöglicht. Dies kann wiederum zu besonders zuverlässigen und robusten Vorhersagen des Fehlervorhersagemodells führen. Das Trainieren des Fehlervorhersagemodells kann vor dem erfindungsgemäßen Verfahren, also separat von diesem durchgeführt werden bzw. durchgeführt worden sein oder als Teil des erfindungsgemäßen Verfahrens durchgeführt werden. So kann es beispielsweise möglich sein, das Fehlervorhersagemodell auch nach oder während seines Einsatzes in dem Kraftfahrzeug weiter zu trainieren, beispielsweise anhand von im Betrieb des jeweiligen Kraftfahrzeugs aufgenommenen Sequenzen von geplanten Trajektorien. Dies kann eine Individualisierung oder individuelle Anpassung des Fehlervorhersagemodells an das jeweilige Kraftfahrzeug bzw. dessen Fahrverhalten oder typische Umgebung ermöglichen.In one possible development of the present invention, the error prediction model is trained both with appropriately annotated sequences of planned trajectories that have resulted in a failure of the vehicle guidance system and with appropriately annotated sequences of trajectories that have resulted in an error-free driving maneuver. This training with negative examples and positive examples enables particularly effective training and learning. This in turn can lead to particularly reliable and robust predictions of the error prediction model. The error prediction model can be trained before the method according to the invention, that is to say separately from it, or it can be carried out as part of the method according to the invention. For example, it may be possible to further train the error prediction model after or during its use in the motor vehicle, for example using sequences of planned trajectories recorded during operation of the respective motor vehicle. This can allow individualization or individual adaptation of the error prediction model to the respective motor vehicle or its driving behavior or typical environment.
In einer möglichen Weiterbildung des erfindungsgemäßen Verfahrens wird als das Fehlervorhersagemodell oder als Teil davon ein rekurrentes künstliches neuronales Netz (RNN) verwendet. Dieses rekurrente neuronale Netz kann dabei insbesondere wenigstens ein LSTM-Modul (englisch: Long Short-Term Memory) umfassen. Dies ermöglicht es besonders einfach und effektiv, die jeweilige Vorhersage basierend auf zeitlichen Mustern oder dynamischen Entwicklungen in den Sequenzen von Trajektorien zu treffen. Dies kann eine zuverlässigere Vorhersage ermöglichen, als dies beispielsweise basierend auf einer einzelnen geplanten Trajektorie möglich wäre.In a possible development of the method according to the invention, a recurrent artificial neural network (RNN) is used as the error prediction model or as part thereof. This recurrent neural network can in particular include at least one LSTM module (Long Short-Term Memory). This makes it particularly easy and effective to make the respective prediction based on time patterns or dynamic developments in the sequences of trajectories. This may allow for a more reliable prediction than would be possible based on a single planned trajectory, for example.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird in dem Fall, dass ein Versagen des Fahrzeugführungssystems vorhergesagt wird bzw. vorhergesagt wurde, automatisch eine Aufforderung dazu, eine manuelle Kontrolle über das Kraftfahrzeug zu übernehmen, ausgegeben. Mit anderen Worten kann also in einem solchen Fall veranlasst werden, dass eine menschliche Bedienperson die Kontrolle oder Steuerung über das Kraftfahrzeug übernimmt, insbesondere bevor das Versagen des Fahrzeugführungssystems tatsächlich eingetreten ist. Dadurch kann ein sicherer kontinuierlicher Betrieb des Kraftfahrzeugs ermöglicht werden. Die Aufforderung zur manuellen Kontrollübernahme kann dabei an einen Fahrzeuginsassen bzw. Fahrer des Kraftfahrzeugs und/oder an eine fahrzeugexterne Bedienperson, also einen Teleoperator, ausgegeben werden. Auf diese Weise kann das Fahrzeugführungssystem trotz einer nicht in sämtlichen möglichen Verkehrssituationen gegebenen absoluten Zuverlässigkeit bereits in der Praxis eingesetzt werden, wodurch beispielsweise ein Komfortgewinn oder sogar ein Sicherheitsgewinn gegenüber einer dauerhaft vollständig manuellen Führung des Kraftfahrzeugs erreicht werden kann.In a further possible embodiment of the present invention, in the event that a failure of the vehicle guidance system is or was predicted, a request to take over manual control of the motor vehicle is automatically issued. In other words, in such a case, a human operator can take control of the motor vehicle, in particular before the failure of the vehicle guidance system has actually occurred. As a result, safe, continuous operation of the motor vehicle can be made possible. The request for manual control takeover can be issued to a vehicle occupant or driver of the motor vehicle and/or to an operator external to the vehicle, ie a teleoperator. In this way, the vehicle guidance system can already be used in practice despite not being absolutely reliable in all possible traffic situations, whereby, for example, a gain in comfort or even a gain in safety can be achieved compared to permanently completely manual guidance of the motor vehicle.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird in dem Fall, dass ein Versagen des Fahrzeugführungssystems vorhergesagt wird bzw. vorhergesagt wurde, automatisch ein Steuersignal zum Einleiten eines Sicherheitsmanövers, durch welches das Kraftfahrzeug in einen sicheren Zustand, insbesondere zum Stillstand, gebracht wird, ausgegeben. Da dies basierend auf der Vorhersage, also basierend auf den geplanten, noch nicht notwendigerweise vollständig abgefahrenen Trajektorien beruht, kann das Sicherheitsmanöver auch dann bzw. bereits dann eingeleitet werden, wenn das Fahrzeugführungssystem zum Zeitpunkt der Vorhersage des Versagens noch aus seiner Sicht zulässige Trajektorien, also vorgegebenen Anforderungen entsprechende Lösungen der Trajektorienplanung liefert oder findet. Dadurch kann ein Zeitgewinn für eine Reaktion des Kraftfahrzeugs erzielt werden, sodass das Sicherheitsmanöver beispielsweise weniger abrupt oder heftig ausfallen kann. Dies kann zu einer weiter verbesserten Sicherheit beitragen, da nicht nur das Kraftfahrzeug selbst möglichst frühzeitig in einen sicheren Zustand versetzt wird, sondern auch andere Verkehrsteilnehmer einfacher und sicherer auf das Sicherheitsmanöver des Kraftfahrzeugs reagieren können. Das Sicherheitsmanöver kann beispielsweise eine Reduktion der Geschwindigkeit des Kraftfahrzeugs, ein Brems- oder Anhaltemanöver, ein Ausweichen auf einen Seitenstreifen und/oder dergleichen mehr umfassen. Durch ein derartiges Sicherheitsmanöver kann berücksichtigt werden, dass beispielsweise eine manuelle Kontrollübernahme über das Kraftfahrzeug durch eine Bedienperson eine signifikante Zeit, nach Studien beispielsweise bis zu 30 s, in Anspruch nehmen kann, das bevorstehende Versagen der automatisierten Fahrzeugführung gemäß der Vorhersage jedoch bereits in einer kürzeren zeitlichen Entfernung eintreten kann. Damit kann also sichergestellt werden, dass das Kraftfahrzeug nicht in eine Situation gerät, in der das Fahrzeugführungssystem versagt und gleichzeitig noch keine Bedienperson die manuelle Kontrolle über das Kraftfahrzeug übernommen hat.In a further possible embodiment of the present invention, if a failure of the vehicle guidance system is or was predicted, a control signal for initiating a safety maneuver that brings the motor vehicle into a safe state, in particular to a standstill, is automatically output . Since this is based on the forecast, i.e. based on the planned, trajectories that have not yet been completely traversed, the safety maneuver can also be initiated if the vehicle guidance system at the time the failure is predicted still delivers or finds trajectories that it believes are permissible, i.e. solutions for trajectory planning that correspond to given requirements. This saves time for the motor vehicle to react, so that the safety maneuver can be less abrupt or violent, for example. This can contribute to further improved safety, since not only is the motor vehicle itself put into a safe state as early as possible, but other road users can also react more easily and safely to the safety maneuver of the motor vehicle. The safety maneuver can include, for example, a reduction in the speed of the motor vehicle, a braking or stopping maneuver, evading onto a hard shoulder and/or the like. Such a safety maneuver can take into account that, for example, a manual takeover of control of the motor vehicle by an operator can take a significant amount of time, for example up to 30 s according to studies, but the impending failure of the automated vehicle guidance according to the forecast will already be shorter distance in time can occur. It can thus be ensured that the motor vehicle does not get into a situation in which the vehicle guidance system fails and at the same time no operator has yet taken over manual control of the motor vehicle.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Assistenzsystem für ein Kraftfahrzeug. Das erfindungsgemäße Assistenzsystem weist eine Eingangsschnittstelle zum Erfassen von durch ein automatisiertes Fahrzeugführungssystem geplanten Trajektorien des Kraftfahrzeugs, einen computerlesbaren Datenspeicher, eine damit verbundene Prozessoreinrichtung und eine Ausgangsschnittstelle auf. In dem Datenspeicher ist dabei einen Fehlervorhersagemodell zum auf Sequenzen von erfassten geplanten Trajektorien basierenden Vorhersagen, ob ein Versagen des Fahrzeugführungssystems bevorsteht, abgelegt. Die Prozessoreinrichtung kann beispielsweise ein Mikrochip, ein Mikroprozessor, ein Mikrocontroller oder dergleichen sein oder einen solchen umfassen. Über die Ausgangsschnittstelle kann beispielsweise ein die jeweilige Vorhersage oder ein darauf basierend erzeugtes Steuer- oder Hinweissignals ausgegeben werden. Das erfindungsgemäße Assistenzsystem ist dabei zum, insbesondere automatischen, Ausführen zumindest einer Variante des erfindungsgemäßen Verfahrens eingerichtet. Dementsprechend kann das erfindungsgemäße Assistenzsystem insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Assistenzsystem sein. Entsprechendes gilt auch für die übrigen genannten Komponenten des erfindungsgemäße Assistenzsystems, wie beispielsweise das genannte Fehlervorhersagemodell und das genannte Fahrzeugführungssystem. Beispielsweise kann in dem Datenspeicher ein entsprechendes Betriebs- oder Computerprogramm gespeichert sein, dass die Verfahrensschritte oder Abläufe des erfindungsgemäßen Verfahrens repräsentiert, also codiert oder implementiert, und durch die Prozessoreinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen bzw. dessen Ausführung zu veranlassen.Another aspect of the present invention is an assistance system for a motor vehicle. The assistance system according to the invention has an input interface for detecting trajectories of the motor vehicle planned by an automated vehicle guidance system, a computer-readable data memory, a processor device connected thereto and an output interface. An error prediction model for predicting, based on sequences of recorded planned trajectories, whether a failure of the vehicle guidance system is imminent is stored in the data memory. The processor device can, for example, be or comprise a microchip, a microprocessor, a microcontroller or the like. For example, the respective prediction or a control or notification signal generated based thereon can be output via the output interface. The assistance system according to the invention is set up to carry out, in particular automatically, at least one variant of the method according to the invention. Accordingly, the assistance system according to the invention can in particular be the assistance system mentioned in connection with the method according to the invention. The same also applies to the other named components of the assistance system according to the invention, such as the named error prediction model and the named vehicle guidance system. For example, a corresponding operating or computer program can be stored in the data memory that represents, i.e. encodes or implements, the method steps or sequences of the method according to the invention and can be executed by the processor device in order to execute the corresponding method or cause it to be executed.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Sensorik zum Aufnehmen von Umgebungsdaten, die eine jeweilige Umgebung des Kraftfahrzeugs abbilden oder charakterisieren, ein damit verbundenes Fahrzeugführungssystem zur automatisierten Quer- und/oder Längsführung des Kraftfahrzeugs und das erfindungsgemäße Assistenzsystem aufweist. Dementsprechend ist das erfindungsgemäße Kraftfahrzeug zur Ausführung oder Anwendung des erfindungsgemäßen Verfahrens eingerichtet Das erfindungsgemäße Kraftfahrzeug kann also insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit dem erfindungsgemäßen Assistenzsystem genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der in diesen Zusammenhängen genannten Eigenschaften und/oder Merkmale aufweisen.Another aspect of the present invention is a motor vehicle that has a sensor system for recording environmental data that depicts or characterizes a particular area surrounding the motor vehicle, a vehicle guidance system connected thereto for automated lateral and/or longitudinal guidance of the motor vehicle, and the assistance system according to the invention. Accordingly, the motor vehicle according to the invention is set up for executing or using the method according to the invention. The motor vehicle according to the invention can therefore in particular be the motor vehicle mentioned in connection with the method according to the invention and/or in connection with the assistance system according to the invention. Accordingly, the motor vehicle according to the invention can have some or all of the properties and/or features mentioned in these contexts.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.
Die Zeichnung zeigt in
In
Das Kraftfahrzeug 12 umfasst eine Umgebungssensorik 16, die einen Umgebungsbereich des Kraftfahrzeugs 12, vorliegend einschließlich der Gefahrenstelle 14, erfasst. Das Kraftfahrzeug 12 weist weiter ein Assistenzsystem 18 auf, welches mittels der Umgebungssensorik 16 aufgenommene Umgebungsdaten empfängt und verarbeitet. Diese Umgebungsdaten können je nach Ausgestaltung der Umgebungssensorik 16 beispielsweise Kamerabilder, Radarechos, Lidarechos und/oder dergleichen mehr sein oder umfassen. Das Assistenzsystem 18 kann beispielsweise dazu eingerichtet sein, basierend auf den Umgebungsdaten bzw. einem daraus erzeugten Verarbeitungsergebnis eine Fahrzeugkomponente 20 oder das Kraftfahrzeug 12 insgesamt zumindest zeitweise autonom zu steuern.The
Dazu weist das Assistenzsystem 18 hier einen Datenspeicher 22 auf, in dem ein vorgegebenes Fahrzeugführungsmodell 24 und ein vorgegebenes Fehlervorhersagemodell 26 hinterlegt sind. Das Fehlervorhersagemodell 26 umfasst dabei ein hier schematisch angedeutetes künstliches neuronales Netz 28, das darauf trainiert ist, vorherzusagen, ob ein Versagen des Fahrzeugführungsmodells 24, also der automatisierten Fahrzeugführung oder Fahrzeugsteuerung des Kraftfahrzeugs 12, bevorsteht. Weiter umfasst das Assistenzsystem 18 einen Prozessor 30 zum Ausführen der in dem Datenspeicher 22 hinterlegten Inhalte.For this purpose, the
Das Assistenzsystem 18 bzw. das Fahrzeugführungsmodell 24 ist dazu eingerichtet, während des Fahrbetriebs fortlaufend Trajektorien für das Kraftfahrzeug 12 zu planen. Diese Trajektorien erstrecken sich dabei jeweils von einer aktuellen Position x des Kraftfahrzeugs 12 in dessen Fahrtrichtung. Beispielsweise wird hier zu einem aktuellen Zeitpunkt t ausgehend von der aktuellen Position x eine erste Trajektorie 32 geplant. Diese erste Trajektorie 32 erstreckt sich dabei von der aktuellen Position x bis zu einer zu voraussichtlichen oder geplanten zukünftigen Position y des Kraftfahrzeugs 12 geradlinig und biegt dann in Fahrtrichtung nach rechts ab, um die Gefahrenstelle 14 zu umgehen. Bewegt sich das Kraftfahrzeug 12 nun entlang der ersten Trajektorie 32, so wird zu einem späteren Zeitpunkt t+1 eine zweite Trajektorie 34 geplant. Diese zweite Trajektorie führt bis zu der zukünftigen Position y ebenfalls geradeaus, biegt dann jedoch in Fahrtrichtung nach links ab, um die Gefahrenstelle 14 zu umgehen. Entsprechend werden während der Fahrt des Kraftfahrzeugs 12 fortlaufend weitere Trajektorien, beispielsweise zum nochmals späteren Zeitpunkt t+2 eine dritte Trajektorie 36 und zum nochmals späteren Zeitpunkt t+3 eine vierte Trajektorie 38 geplant. Die dritte Trajektorie 36 biegt hier wie die davor geplante zweite Trajektorie 34 ebenfalls nach links ab, weist jedoch eine deutlich stärkere Krümmung auf, während die danach geplante vierte Trajektorie 38 zum Umgehen der Gefahrenstelle 14 wieder wie die erste Trajektorie 32 nach rechts ablegt. The
Die hier beispielhaft angedeuteten Trajektorien 32 bis 36 sind dabei nur der Übersichtlichkeit halber quer zur Fahrtrichtung des Kraftfahrzeugs 12 versetzt dargestellt, können also in ihren zwischen der aktuellen Position x und der zukünftigen Position y liegenden Abschnitten, also in einem entsprechenden Überlappungsbereich, zumindest im Wesentlichen identisch sein, also tatsächlich aufeinander liegen.The
Entsprechende Trajektorien können beispielsweise mehrfach pro Sekunde neu bestimmt bzw. geplant oder aktualisiert werden. Bei typischen Fahrgeschwindigkeit des Kraftfahrzeugs 12 können sich mehrere geplante Trajektorien dementsprechend zumindest bereichsweise drastisch voneinander unterscheiden, obwohl das Kraftfahrzeug 12 sich während eines Zeitraums, in dem diese Trajektorien geplant wurden, zumindest anscheinend stringent oder konstant, also konsistent mit einer einzigen dauerhaft gleichbleibenden Trajektorie bewegt. Trotz der hier sich nach der zukünftigen Position y signifikant voneinander unterscheidenden Trajektorien 32 bis 36 kann das Kraftfahrzeug 12 also bis zu der zukünftigen Position y konstant Geradeausfahren, sodass nach außen hin oder anhand der bis dahin zurückgelegten Wegstrecke keinerlei Hinweis auf ein bevorstehendes Versagen der automatisierten Fahrzeugführung, also des Fahrzeugführungsmodells 24, erkennbar ist.Corresponding trajectories can, for example, be newly determined or planned or updated several times per second. At a typical driving speed of the
Anhand der Unterschiede und wechselnden geplanten Fahrtrichtungen gemäß den Trajektorien 32 bis 36 nach der zukünftigen Position y ist jedoch erkennbar, dass das Fahrzeugführungsmodell 24 offenbar unsicher ist, wie das Kraftfahrzeug 12 angesichts der vorausliegenden Gefahrenstelle 14 sicher oder optimal zu führen ist oder geführt werden kann. Dies wird vorliegend ausgenutzt, indem eine jeweils aktuelle Sequenz geplanter Trajektorien, vorliegend also beispielsweise die Trajektorien 32 bis 36, als Input dem Fehlervorhersagemodell 26 zugeführt werden. Dieses sagt anhand der Variation der Trajektorien 32 bis 36 vorher, ob ein Versagen des Fahrzeugführungsmodells 24 bevorsteht oder nicht oder mit welcher Wahrscheinlichkeit mit einem solchen Versagen zu rechnen ist.Based on the differences and changing planned directions of travel according to the
Vorliegend kann aufgrund der Unterschiede bzw. des Umschlagens der Richtungen der geplanten Trajektorien 32 bis 36 abgeleitet werden, dass eine bevorstehende Verkehrssituation um Bereich der Gefahrenstelle 14 komplex und anspruchsvoll ist und daher gegebenenfalls mit einer gewissen Wahrscheinlichkeit mit einem Versagen des Fahrzeugführungsmodells 24 zu rechnen ist. Die geplanten Trajektorien 32 bis 36 erstrecken sich dabei jeweils mehrere Sekunden in die Zukunft, sodass sie also eine Möglichkeit darstellen, das zukünftige Verhalten des Kraftfahrzeugs 12 zu antizipieren, bevor die geplanten Trajektorien 32 bis 36 tatsächlich befahren wurden.In the present case, based on the differences or the reversal of the directions of the planned
Es sei darauf hingewiesen, dass es vorliegend nicht darum geht, vorherzusagen, wie sich die tatsächliche Bewegungstrajektorie des Kraftfahrzeugs 12 oder die geplanten Trajektorien 32 bis 36 zukünftig entwickeln werden. Vielmehr wird hier durch das Fehlervorhersagemodell 26 analysiert, wie sich die in der unmittelbaren Vergangenheit bis zum jeweils aktuellen Zeitpunkt geplanten Trajektorien entwickelt haben. Es wird also dem Fehlervorhersagemodell 26 jeweils eine aktuelle Sequenz von bis dahin geplanten Trajektorien als Input bereitgestellt. Diese aktuelle Sequenz kann zum Zeitpunkt t+2 beispielsweise die erste Trajektorie 32, die zweite Trajektorie 34 und die dritte Trajektorie 36 umfassen. Zum Zeitpunkt t+3 kann die dann aktuelle Sequenz hingegen beispielsweise die zweite Trajektorie 34, die dritte Trajektorie 36 und die vierte Trajektorie 38 umfassen. Dies ist hier jedoch rein schematisch und beispielhaft zu verstehen, da in einer praktischen Anwendung ebenso andere Anzahlen von Trajektorien, beispielsweise die jeweils 10 zuletzt geplanten Trajektorien, für die jeweils aktuelle Sequenz von Trajektorien verwendet oder berücksichtigt werden können.It should be pointed out that the present case is not about predicting how the actual movement trajectory of the
Das entsprechend trainierten Fehlervorhersagemodell 26 kann jedem Input, also jeder Sequenz von Trajektorien eine Wahrscheinlichkeit dafür zuweisen, dass diese Sequenz zu einem Versagen, also einem sogenannten Disengagement, des Fahrzeugführungsmodells 24 führt. Diese Wahrscheinlichkeit kann dann mit einem vorgegebenen Wahrscheinlichkeitsschwellenwert verglichen werden. Erreicht oder überschreitet die vorhergesagte Wahrscheinlichkeit diesen Wahrscheinlichkeitsschwellenwert, so kann das Assistenzsystem 18 darauf in vorgegebener Weise reagieren. Beispielsweise kann ein Anforderungssignal 40 ausgegeben werden, durch welches eine manuelle Kontrolle oder Steuerung des Kraftfahrzeugs 12 durch eine Bedienperson, beispielsweise einen Fahrer 42 des Kraftfahrzeugs 12 oder einen fahrzeugexternen Teleoperator 44, angefordert wird. Der Teleoperator 44 kann daraufhin beispielsweise ein Steuersignal 46 an das Kraftfahrzeug 12 übermitteln, um dieses in manuelle Fernsteuerung um die Gefahrenstelle 14 herum zu nehmen. Anschließend kann der Teleoperator 44 bzw. der Fahrer 42 die Kontrolle über das Kraftfahrzeug 12 wieder an das Assistenzsystem 18 bzw. an das Fahrzeugführungsmodell 24 übergeben.The correspondingly trained
Dadurch, dass das Anforderungssignal 40 hier basierend auf einer Vorhersage und nicht einem tatsächlich bereits eingetretenen Versagen des Fahrzeugführungsmodells 24 erfolgt, kann die jeweilige Bedienperson ausreichend Zeit haben, um die manuelle Steuerung des Kraftfahrzeugs 12 zu übernehmen. Ebenso kann das Assistenzsystem 18 bei einem vorhergesagten Versagen des Fahrzeugführungsmodells 24 automatisch ein Sicherheitsmanöver des Kraftfahrzeugs 12 einleiten, um der jeweiligen Bedienperson die manuelle Kontrollübernahme noch sicherer zu ermöglichen. Die Vorhersage des Versagens ist hier typischerweise mehrere Sekunden im Voraus möglich, da die jeweils aktuelle Sequenz der geplanten Trajektorien typischerweise bereits mehrere Sekunden vor einem tatsächlichen Versagen des Fahrzeugführungsmodells 24 dies anzeigende Varianzmuster, also Veränderungen der geplanten Trajektorien zeigt.Due to the fact that the
Insgesamt zeigen die beschriebenen Beispiele wie basierend auf einer Analyse geplanter Trajektorien eine des Disengagementvorhersage realisiert werden kann, um einen besonders sicheren Betrieb eines Fahrzeugs in einem bedingt autonomen Fahrbetrieb zu ermöglichen.Overall, the examples described show how a disengagement prediction can be realized based on an analysis of planned trajectories in order to enable a particularly safe operation of a vehicle in a conditionally autonomous driving mode.
BezugszeichenlisteReference List
- 1010
- StraßeStreet
- 1212
- Kraftfahrzeugmotor vehicle
- 1414
- Gefahrenstelledanger point
- 1616
- Umgebungssensorikenvironmental sensors
- 1818
- Assistenzsystemassistance system
- 2020
- Fahrzeugkomponentevehicle component
- 2222
- Datenspeicherdata storage
- 2424
- Fahrzeugführungsmodellvehicle guidance model
- 2626
- Fehlervorhersagemodellfailure prediction model
- 2828
- neuronales Netzneural network
- 3030
- Prozessorprocessor
- 3232
- erste Trajektoriefirst trajectory
- 3434
- zweite Trajektoriesecond trajectory
- 3636
- dritte Trajektoriethird trajectory
- 3838
- vierte Trajektoriefourth trajectory
- 4040
- Anforderungssignalrequest signal
- 4242
- Fahrerdriver
- 4444
- Teleoperatorteleoperator
- 4646
- Steuersignalcontrol signal
- xx
- aktuelle Positionactual position
- yy
- zukünftige Positionfuture position
-
t, t+1, t+2, t+3t, t+1, t+2,
t+ 3 - Zeitpunktetimes
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- US 10133275 B1 [0003]US10133275B1 [0003]
- US 8706394 B2 [0004]US 8706394 B2 [0004]
- US 9690293 B2 [0005]US 9690293 B2 [0005]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021101718.1A DE102021101718A1 (en) | 2021-01-27 | 2021-01-27 | Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021101718.1A DE102021101718A1 (en) | 2021-01-27 | 2021-01-27 | Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021101718A1 true DE102021101718A1 (en) | 2022-07-28 |
Family
ID=82320753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021101718.1A Pending DE102021101718A1 (en) | 2021-01-27 | 2021-01-27 | Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021101718A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8706394B2 (en) | 2008-10-24 | 2014-04-22 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US9690293B2 (en) | 2015-02-10 | 2017-06-27 | Mobileye Vision Technologies Ltd. | Autonomous vehicle tail alignment navigation |
DE102018103409A1 (en) | 2017-02-17 | 2018-08-23 | GM Global Technology Operations LLC | SYSTEM AND METHOD FOR PREDICTING THE POSSIBLE LEAVING OF THE ROAD TRACK BY THE AUTONOMOUS OR PARTIAL AUTOMATIC DRIVING A VEHICLE AND TO IMPLEMENT A REMEDY TO PREVENT THE LEAVING OF THE ROAD TRACK |
US10133275B1 (en) | 2017-03-01 | 2018-11-20 | Zoox, Inc. | Trajectory generation using temporal logic and tree search |
DE112019004554T5 (en) | 2018-09-12 | 2021-07-15 | Bendix Commercial Vehicle Systems Llc | SYSTEM AND PROCEDURE FOR WARNING OF PREDICTED VEHICLE INCIDENTS AND AVOIDING EVIDENCE |
-
2021
- 2021-01-27 DE DE102021101718.1A patent/DE102021101718A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8706394B2 (en) | 2008-10-24 | 2014-04-22 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US9690293B2 (en) | 2015-02-10 | 2017-06-27 | Mobileye Vision Technologies Ltd. | Autonomous vehicle tail alignment navigation |
DE102018103409A1 (en) | 2017-02-17 | 2018-08-23 | GM Global Technology Operations LLC | SYSTEM AND METHOD FOR PREDICTING THE POSSIBLE LEAVING OF THE ROAD TRACK BY THE AUTONOMOUS OR PARTIAL AUTOMATIC DRIVING A VEHICLE AND TO IMPLEMENT A REMEDY TO PREVENT THE LEAVING OF THE ROAD TRACK |
US10133275B1 (en) | 2017-03-01 | 2018-11-20 | Zoox, Inc. | Trajectory generation using temporal logic and tree search |
DE112019004554T5 (en) | 2018-09-12 | 2021-07-15 | Bendix Commercial Vehicle Systems Llc | SYSTEM AND PROCEDURE FOR WARNING OF PREDICTED VEHICLE INCIDENTS AND AVOIDING EVIDENCE |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3181422B1 (en) | Method and system for automatically guiding a follow vehicle with a scout vehicle | |
EP3181421B1 (en) | Method and system for automatically guiding a follow vehicle with a front vehicle | |
EP3224100B1 (en) | Method and device for operating a plurality of vehicles | |
DE102019104974A1 (en) | Method and system for determining a driving maneuver | |
DE102015114464A9 (en) | Uniform motion planner for an autonomous vehicle while avoiding a moving obstacle | |
EP3948466B1 (en) | Method and device for teleoperatively driving a vehicle | |
DE102014205953A1 (en) | Method for analyzing a traffic environment situation of a vehicle | |
DE102019002790B4 (en) | Method for predicting a traffic situation for a vehicle | |
DE102013013865B3 (en) | Method for operating a motor vehicle with a safety system and a fully automatic driver assistance system and motor vehicle | |
DE102014003343A1 (en) | Method for determining a lane change requirement of a system vehicle | |
EP3776515A1 (en) | Method and device for coordinating driving manoeuvres between one vehicle and at least one other vehicle | |
DE102016007563A1 (en) | Method for trajectory planning | |
DE102016007899A1 (en) | Method for operating a device for traffic situation analysis, motor vehicle and data processing device | |
WO2020069812A1 (en) | Method for guiding a motor vehicle on a roadway in an at least partly automated manner | |
DE102019105739A1 (en) | Method for at least partially automated driving of a motor vehicle | |
DE102018219482A1 (en) | Method and device for controlling a vehicle | |
DE102021004426A1 (en) | Method for training an autonomous driving function | |
DE102021101718A1 (en) | Method for predicting a failure of automated vehicle guidance, assistance system and motor vehicle | |
WO2022096236A1 (en) | Method for determining a probability of existence of a possible element in the surroundings of a motor vehicle, driver assistance system and motor vehicle | |
DE102020110269A1 (en) | Method for determining an information gap in a lane marking model for a motor vehicle and a system for carrying out such a method | |
DE102020118640A1 (en) | Method and vehicle system for determining a driving corridor for a vehicle | |
EP4029763B1 (en) | Motor vehicle and method for operating a motor vehicle | |
DE102022205331B4 (en) | Method and system for providing an at least assisted parking function for a motor vehicle | |
DE102022200934A1 (en) | Method and assistance device for supporting the lateral guidance of a motor vehicle and motor vehicle | |
DE102020205725A1 (en) | Modeling a traffic scenario |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R081 | Change of applicant/patentee |
Owner name: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, DE Free format text: FORMER OWNER: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, 80809 MUENCHEN, DE |
|
R081 | Change of applicant/patentee |
Owner name: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, DE Free format text: FORMER OWNERS: BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT, 80809 MUENCHEN, DE; TECHNISCHE UNIVERSITAET MUENCHEN, KOERPERSCHAFT DES OEFFENTLICHEN RECHTS, 80333 MUENCHEN, DE |