DE102023116718A1

DE102023116718A1 - Method and device for detecting a takeover of control by a driver of an autonomous motor vehicle using artificial intelligence and method and device for training such artificial intelligence

Info

Publication number: DE102023116718A1
Application number: DE102023116718.9A
Authority: DE
Inventors: Andreas Sebastian Binder; Johannes Schels
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2023-06-26
Filing date: 2023-06-26
Publication date: 2024-04-18

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs (1), umfassend Betreiben des Kraftfahrzeugs (1) in einem autonomen Fahrmodus, Erfassen eines Umfelds des Kraftfahrzeugs (1), Vorhersagen einer Wahrscheinlichkeit einer Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld mithilfe einer künstlichen Intelligenz; und Ausgeben der Wahrscheinlichkeit an den Fahrer.The invention relates to a method for detecting a takeover of control by a driver of an autonomous motor vehicle (1), comprising operating the motor vehicle (1) in an autonomous driving mode, detecting an environment of the motor vehicle (1), predicting a probability of a need for a takeover of control based on the detected environment using artificial intelligence; and outputting the probability to the driver.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs mithilfe einer künstlichen Intelligenz, ein Verfahren und eine Vorrichtung zum Trainieren einer solchen künstlichen Intelligenz zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs sowie ein Kraftfahrzeug mit solchen jeweiligen Vorrichtungen.The present invention relates to a method and a device for detecting a takeover of control by a driver of an autonomous motor vehicle using artificial intelligence, a method and a device for training such an artificial intelligence to detect a takeover of control by a driver of an autonomous motor vehicle and a motor vehicle with such respective devices.

Autonome Fahrmodi weisen üblicherweise Systemgrenzen auf, die insbesondere durch äußere Einflüsse im Umfeld des Kraftfahrzeugs definiert sind. Das Erreichen einer solchen Systemgrenze erscheint oft plötzlich und es wird nur eine sehr kurze Übergangszeit bereitgestellt, in der ein Fahrer die Steuerung des Kraftfahrzeugs übernehmen muss.Autonomous driving modes usually have system limits that are defined in particular by external influences in the environment of the motor vehicle. Reaching such a system limit often appears sudden and only a very short transition time is provided in which a driver must take over control of the motor vehicle.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs mithilfe einer künstlichen Intelligenz sowie ein verbessertes Verfahren und eine verbesserte Vorrichtung zum Trainieren einer künstlichen Intelligenz zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs anzugeben.It is therefore an object of the present invention to provide an improved method and an improved device for detecting a takeover of control by a driver of an autonomous motor vehicle using artificial intelligence, as well as an improved method and an improved device for training artificial intelligence to detect a takeover of control by a driver of an autonomous motor vehicle.

Diese Aufgabe wird gelöst durch die Gegenstände der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.This problem is solved by the subject matter of the independent claims. Advantageous further developments are specified in the dependent claims.

Gemäß einem ersten Aspekt wird ein Verfahren zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs angegeben.According to a first aspect, a method for detecting a takeover of control by a driver of an autonomous motor vehicle is provided.

Das erfindungsgemäße Verfahren umfasst dabei die Schritte Betreiben des Kraftfahrzeugs in einem autonomen Fahrmodus, Erfassen eines Umfelds des Kraftfahrzeugs, Vorhersagen einer Wahrscheinlichkeit einer Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld mithilfe einer künstlichen Intelligenz und Ausgeben der Wahrscheinlichkeit an den Fahrer.The method according to the invention comprises the steps of operating the motor vehicle in an autonomous driving mode, detecting an environment of the motor vehicle, predicting a probability of a need to take over control based on the detected environment with the aid of artificial intelligence and outputting the probability to the driver.

Das Verfahren dient insbesondere dazu, eine Systemgrenze des autonomen Fahrmodus frühzeitig zu erkennen und die Wahrscheinlichkeit, dass eine Notwendigkeit eines Fahrereingriffs bzw. einer Steuerungsübernahme auftritt, vorherzusagen.The method is used in particular to detect a system limit of the autonomous driving mode at an early stage and to predict the probability that a need for driver intervention or control takeover will arise.

In einem ersten Schritt wird das Kraftfahrzeug in einem autonomen Fahrmodus betrieben.In a first step, the vehicle is operated in an autonomous driving mode.

Ein autonomer Fahrmodus meint einem Fahrmodus, in dem Steuervorrichtungen des Kraftfahrzeugs zumindest teile des Fahrens, also der Lenkung, der Beschleunigung und der Bremsung erfüllen, insbesondere ohne, dass ein Fahrer eingreifen muss. Insbesondere handelt es sich um einen autonomen Fahrmodus größer Level 2 und insbesondere größer Level 3. Somit handelt es sich bei dem Kraftfahrzeug um ein autonomes Kraftfahrzeug, das ausgebildet ist, zumindest abschnittsweise in dem beschriebenen Umfang autonom zu fahren.An autonomous driving mode means a driving mode in which control devices of the motor vehicle perform at least parts of the driving, i.e. steering, acceleration and braking, in particular without a driver having to intervene. In particular, it is an autonomous driving mode greater than level 2 and in particular greater than level 3. The motor vehicle is therefore an autonomous motor vehicle that is designed to drive autonomously at least in sections to the extent described.

Das Kraftfahrzeug wird in einem solchen autonomen Fahrmodus betrieben, insbesondere weil ein Nutzer oder Fahrer des Kraftfahrzeugs diesen aktiviert hat und/oder weil es die Bedingungen im Umfeld des Kraftfahrzeugs zulassen. Insbesondere wird das Kraftfahrzeug in dem autonomen Fahrmodus für eine vorbestimmte Mindestdauer betrieben, beispielsweise mindestens 1 min, 5 min, 10 min, 15 min oder 30 min, bevor die weiteren Schritte des Verfahrens, insbesondere das Vorhersagen der Notwendigkeit einer Steuerungsübernahme und die darauffolgenden Schritte, wie diese im weiteren Verlauf noch beschrieben werden, initiiert bzw. ausgeführt werden.The motor vehicle is operated in such an autonomous driving mode, in particular because a user or driver of the motor vehicle has activated it and/or because the conditions in the environment of the motor vehicle permit it. In particular, the motor vehicle is operated in the autonomous driving mode for a predetermined minimum period, for example at least 1 minute, 5 minutes, 10 minutes, 15 minutes or 30 minutes, before the further steps of the method, in particular predicting the need to take over control and the subsequent steps, as described below, are initiated or carried out.

In einem weiteren Schritt wird ein Umfeld des Kraftfahrzeugs erfasst. Ein Umfeld meint insbesondere das unmittelbare Umfeld des Kraftfahrzeugs, weiter insbesondere überwiegend oder ausschließlich in Fahrtrichtung und/oder entlang einer geplante Routenführung, entlang der der autonome Fahrmodus das Kraftfahrzeug fährt bzw. steuert. Beispielsweise umfasst das Umfeld die kommenden 10 m, 20 m, 50 m, 100 m, 500 m oder 1000 m in Fahrtrichtung und/oder entlang einer geplanten RoutenführungIn a further step, the surroundings of the motor vehicle are recorded. An environment means in particular the immediate surroundings of the motor vehicle, further in particular predominantly or exclusively in the direction of travel and/or along a planned route along which the autonomous driving mode drives or controls the motor vehicle. For example, the environment includes the next 10 m, 20 m, 50 m, 100 m, 500 m or 1000 m in the direction of travel and/or along a planned route.

Das Umfeld meint hier insbesondere eine Verkehrssituation, eine Straßensituation und/oder eine Witterungssituation im Umfeld des Kraftfahrzeugs, wie dies noch im weiteren Verlauf näher beschrieben wird. Die Erfassung erfolgt dabei insbesondere kontinuierlich und/oder regelmäßig im autonomen Fahrmodus, insbesondere auch um bestimmte Fahrfunktionen zu steuern. Dies kann durch geeignete Sensoren erfolgen, wie dies ebenso noch im weiteren Verlauf beschrieben werden wird.The environment here refers in particular to a traffic situation, a road situation and/or a weather situation in the vicinity of the motor vehicle, as will be described in more detail below. The recording takes place in particular continuously and/or regularly in autonomous driving mode, in particular in order to control certain driving functions. This can be done using suitable sensors, as will also be described below.

In einem weiteren Schritt wird eine Wahrscheinlichkeit einer Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld mithilfe einer künstlichen Intelligenz vorhergesagt.In a further step, the probability of a need for control takeover is predicted based on the recorded environment using artificial intelligence.

Bei der Notwendigkeit der Übernahme der Steuerung durch den Fahrer handelt es sich um die zuvor beschriebene Systemgrenze des autonomen Fahrmodus, in der bzw. beim Erreichen selbiger der autonome Fahrmodus nicht mehr sicher, gefahrlos und/oder gesetzeskonform betrieben werden kann.The need for the driver to take over control is the previously described system limit of the autonomous driving mode, in which or when it is reached the Autonomous driving mode can no longer be operated safely, without risk and/or in accordance with the law.

Es handelt sich bei diesem Schritt insbesondere um einen Schritt, der von dem herkömmlichen Erfassen einer Notwendigkeit einer Steuerungsübernahme verschieden ist. Insbesondere wird vorliegend und erfindungsgemäß nicht gewartet, bis die tatsächliche Systemgrenze des autonomen Fahrmodus erreicht ist, sondern diese wird vorhergesagt, also eine Prädikation durchgeführt. Diese Prädikation weist dabei eine gewisse Wahrscheinlichkeit auf, dass eine Notwendigkeit eintritt, beispielsweise eine Prozentzahl, wie 10%, 30%, 50%, 70% oder 90% oder eine äquivalente Dezimalzahl.This step is in particular a step that is different from the conventional detection of a need to take over control. In particular, in the present case and according to the invention, there is no waiting until the actual system limit of the autonomous driving mode is reached, but rather this is predicted, i.e. a prediction is carried out. This prediction has a certain probability that a need will arise, for example a percentage such as 10%, 30%, 50%, 70% or 90% or an equivalent decimal number.

Die Prädikation basiert dabei auf dem, insbesondere kontinuierlich, erfassten Umfeld und erkennt frühzeitig Gefahren- und/oder Ausnahmesituationen. Diese Prädikation wird erfindungsgemäß durch eine künstliche Intelligenz durchgeführt. Dabei kann es sich bei der künstlichen Intelligenz um ein neuronales Netz (engl. neuronal network), insbesondere um ein rekurrentes neuronales Netz (engl. recurrent neuronal network) und weiter insbesondere um ein sogenanntes Netz mit langem Kurzzeitgedächtnis (engl. LSTM, long short-term memory network) handeln. Insbesondere handelt es sich bei dem Typ der verwendeten künstlichen Intelligenz um ein Modell, das dazu geeignet ist, mit längeren Datenreihen bzw. Datensequenzen trainiert zu werden. Darüber hinaus kann die künstliche Intelligenz ausgebildet sein, eine sogenannte Softmax-Funktion auszuführen bzw. zu nutzen.The prediction is based on the environment, which is recorded continuously in particular, and recognizes dangerous and/or exceptional situations at an early stage. According to the invention, this prediction is carried out by an artificial intelligence. The artificial intelligence can be a neural network, in particular a recurrent neural network and, more particularly, a so-called long short-term memory network (LSTM). In particular, the type of artificial intelligence used is a model that is suitable for being trained with longer data series or data sequences. In addition, the artificial intelligence can be trained to execute or use a so-called softmax function.

Es wird insbesondere eine künstliche Intelligenz verwendet, die ausgebildet ist, von vergangenen Daten auf die Zukunft zu schließen. Insbesondere basiert die künstliche Intelligenz auf vergangenen Trainingsdaten, die ähnliche oder gleiche Situationen im Umfeld des Kraftfahrzeugs und eine daraus resultierende Notwendigkeit einer Übernahme der Steuerung durch den Fahrer ermittelt bzw. aufgezeichnet haben, wie dies ebenso noch im weiteren Verlauf beschrieben werden wird.In particular, artificial intelligence is used that is trained to draw conclusions about the future from past data. In particular, the artificial intelligence is based on past training data that has identified or recorded similar or identical situations in the environment of the motor vehicle and a resulting need for the driver to take over control, as will also be described later.

Dabei kann die künstliche Intelligenz sowohl in dem Kraftfahrzeug selbst als auch an einem entfernten Ort, der mit dem Kraftfahrzeug über Funkkommunikation, wie beispielsweise eine Mobilfunkkommunikation, insbesondere 3G, 4G, 5G, LTE, Mobilfunk, Car2X, WiFi und/oder Bluetooth, in Verbindung steht. Beispielsweise handelt es sich bei dem entfernten Ort um ein Rechenzentrum und/oder eine Cloud.The artificial intelligence can be used both in the motor vehicle itself and at a remote location that is connected to the motor vehicle via radio communication, such as mobile communication, in particular 3G, 4G, 5G, LTE, mobile communications, Car2X, WiFi and/or Bluetooth. For example, the remote location is a data center and/or a cloud.

In einem weiteren Schritt wird die vorhergesagte Wahrscheinlichkeit an den Fahrer ausgegeben.In a further step, the predicted probability is output to the driver.

Die Wahrscheinlichkeit zur Notwendigkeit einer Übernahme der Steuerung durch den Fahrer kann dabei grafisch bzw. visuell, akustisch und/oder haptisch an den Fahrer ausgegeben werden.The probability of the need for the driver to take over control can be communicated to the driver graphically, visually, acoustically and/or haptically.

Beispielsweise kann eine grafische Anzeige die vorhergesagte Wahrscheinlichkeit in Prozent und/oder in einer Farbskala, beispielsweise, insbesondere stufenlos, von grün über gelb und orange bis rot ausgeben, wobei grün 0% und rot 100% Wahrscheinlichkeit einer Notwendigkeit einer Übernahme ausgeben.For example, a graphic display may output the predicted probability in percent and/or in a color scale, for example, in particular continuously, from green through yellow and orange to red, where green indicates 0% and red indicates 100% probability of a need for a takeover.

Zusätzlich oder alternativ kann die vorhergesagte Wahrscheinlichkeit auch in Textform oder Sprachform ausgegeben werden, wieder beispielsweise in Prozent, insbesondere nach dem Überschreiten eines Schwellwerts und/oder verbunden mit einem Hinweis, dass eine Übernahme droht. Der Schwellwert kann dabei insbesondere vorbestimmt sein und beispielsweise bei 50%, 60%, 70%, 75%, 80% oder 90% liegen. Insbesondere liegt der Schwellwert unter 100% Wahrscheinlichkeit.Additionally or alternatively, the predicted probability can also be issued in text or speech form, again for example in percent, in particular after a threshold has been exceeded and/or combined with an indication that a takeover is imminent. The threshold can in particular be predetermined and be, for example, 50%, 60%, 70%, 75%, 80% or 90%. In particular, the threshold is below 100% probability.

Zusätzlich oder alternativ kann die vorhergesagte Wahrscheinlichkeit auch in haptischer Weise ausgegeben werden, beispielsweise durch eine Vibration oder einen Stoß, beispielsweise des Lenkrads, des Sitzes oder eines anderen Einrichtungsgegenstands im Innenraum des Kraftfahrzeugs. Dies kann insbesondere in einem bestimmten Muster oder Rhythmus erfolgen, wobei die haptische Ausgabe sich proportional zu der Wahrscheinlichkeit intensiviert, beispielsweise in der Intensität und/oder der Wiederholfrequenz, insbesondere wieder nach Überschreiten eines Schwellwerts.Additionally or alternatively, the predicted probability can also be output in a haptic manner, for example by a vibration or a shock, for example of the steering wheel, the seat or another item of equipment in the interior of the motor vehicle. This can be done in particular in a certain pattern or rhythm, with the haptic output intensifying proportionally to the probability, for example in the intensity and/or the repetition frequency, in particular again after a threshold value is exceeded.

Zusätzlich oder alternativ kann auch ein Ton abgespielt und/oder ein Licht aufgeleuchtet werden, um die vorhergesagte Wahrscheinlichkeit auszugeben, ebenfalls beispielsweise in einem bestimmten Muster oder Rhythmus, mit Intensivierung und/oder nach Überschreiten eines Schwellwerts, wie zuvor beschrieben.Additionally or alternatively, a sound may be played and/or a light may be illuminated to indicate the predicted probability, again for example in a certain pattern or rhythm, with intensification and/or after a threshold is exceeded, as previously described.

Durch das erfindungsgemäße Verfahren wird es ermöglicht, die Notwendigkeit einer Übernahme der Steuerung durch den Fahrer frühzeitig vorherzusagen und auszugeben, sodass der Fahrer genügend Zeit hat, sich auf die Übernahme einzurichten. Beispielsweise kann ein Fahrer essen oder schlafen und eine gewisse Vorlaufzeit benötigen, bis dieser in der Lage ist, die Steuerung zu übernehmen. Dies wird durch die Prädikation der Wahrscheinlichkeit ermöglicht.The method according to the invention makes it possible to predict and output the need for the driver to take over control at an early stage, so that the driver has enough time to prepare for the takeover. For example, a driver may be eating or sleeping and need a certain amount of lead time before he is able to take over control. This is made possible by predicting the probability.

Gemäß einer Weiterbildung umfasst das Verfahren weiter den Schritt Empfangen einer Nutzereingabe, die einen Schwellwert der Wahrscheinlichkeit definiert, wobei das Ausgeben der Wahrscheinlichkeit bei Überschreiten des Schwellwerts erfolgt.According to a further development, the method further comprises the step of receiving a user input defining a threshold value of the probability, wherein the output of the Probability when the threshold is exceeded.

In dieser Weiterbildung wird der Schwellwert für die Wahrscheinlichkeit, zusätzlich oder alternativ zu einem vorbestimmten Schwellwert, durch eine Nutzereingabe durch den Fahrer definiert. Beispielsweise kann der Nutzer definieren, dass er erst ab einem Schwellwert für die Wahrscheinlichkeit von mehr 75% informiert werden möchte. Insbesondere kann der Fahrer einen unteren Schwellwert für die Wahrscheinlichkeit einstellen und ein oberer Schwellwert für die Wahrscheinlichkeit, wie beispielsweise 80%, 85% oder 90% ist vorbestimmt bzw. voreingestellt und/oder unveränderlich.In this development, the threshold value for the probability is defined, in addition to or as an alternative to a predetermined threshold value, by a user input by the driver. For example, the user can define that he only wants to be informed when the threshold value for the probability is more than 75%. In particular, the driver can set a lower threshold value for the probability and an upper threshold value for the probability, such as 80%, 85% or 90%, is predetermined or preset and/or unchangeable.

Die Nutzereingabe kann dabei durch Bedienung eines Infotainmentsystems des Kraftfahrzeugs, beispielsweise durch Berührung eines Berührbildschirms, durch drücken einer Taste oder eines Knopfes und/oder durch eine Spracheingabe erfolgen und im Kraftfahrzeug gespeichert werden.The user input can be made by operating an infotainment system of the motor vehicle, for example by touching a touch screen, by pressing a key or button and/or by voice input and can be stored in the motor vehicle.

Durch diese Weiterbildung wird es ermöglicht, eine Nutzerpräferenz zu berücksichtigen. Insbesondere kann der Nutzer bzw. Fahrer für verschiedene Aktivitäten, die er in dem autonomen Fahrmodus erledigen möchte, unterschiedliche Schwellwerte für die Wahrscheinlichkeit einstellen. So wird ein besonders nutzerfreundliches Informieren des Fahrers ermöglicht.This further development makes it possible to take user preferences into account. In particular, the user or driver can set different probability thresholds for different activities that they would like to carry out in autonomous driving mode. This enables the driver to be informed in a particularly user-friendly manner.

Gemäß einer Weiterbildung umfasst das Verfahren weiter den Schritt Vorhersagen eines Zeithorizonts bis zur Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld, wobei das Ausgeben an den Fahrer weiter ein Ausgeben des Zeithorizonts umfasst.According to a further development, the method further comprises the step of predicting a time horizon until the need for control takeover based on the detected environment, wherein the output to the driver further comprises outputting the time horizon.

Ein Zeithorizont kann dabei sowohl zusätzlich zur Wahrscheinlichkeit als auch alternativ dazu erfasst und für die Vorhersage zugrunde gelegt werden. Ein Zeithorizont umfasst insbesondere eine Zeit in Sekunden oder Minuten, bis zu dem eine Steuerungsübernahme erfolgen muss oder soll. Beispielsweise umfasst der Zeithorizont 10 s, 20 s, 30 s, 45 s, 60 s oder 2 min bis eine Übernahme droht.A time horizon can be recorded both in addition to the probability and as an alternative to it and used as a basis for the prediction. A time horizon includes in particular a time in seconds or minutes by which a takeover of control must or should take place. For example, the time horizon includes 10 s, 20 s, 30 s, 45 s, 60 s or 2 min until a takeover is imminent.

Der Zeithorizont wird insbesondere durch die gleiche künstliche Intelligenz ermittelt bzw. vorhergesagt, wie die zuvor beschriebene Wahrscheinlichkeit bzw. mit gleichen Mitteln und/oder basierend auf den gleichen Daten bzw. dem gleichen Trainingsmodell.In particular, the time horizon is determined or predicted by the same artificial intelligence as the probability described above or with the same means and/or based on the same data or the same training model.

Das Ausgeben des Zeithorizonts kann dabei über dieselben oder davon verschiedene Wege wie das Ausgeben der Wahrscheinlichkeit der Übernahme erfolgen, jedenfalls wie zuvor beschrieben und insbesondere nach Überschreiten eines vorbestimmten Schwellwerts.The time horizon can be output via the same or different ways as the output of the probability of takeover, in any case as described above and in particular after a predetermined threshold has been exceeded.

Durch diese Weiterbildung wird es ermöglicht, ein alternatives oder zusätzliches Maß für die Übernahmewahrscheinlichkeit zugrunde zu legen. Insbesondere wird hier eine zweite Information an den Fahrer bereitgestellt und diesem eine weitere vorhergesagte Rahmenbedingung zur Verfügung gestellt, die ihm eine möglichst komfortable Übernahme der Steuerung ermöglicht.This further development makes it possible to use an alternative or additional measure for the probability of taking over. In particular, a second piece of information is provided to the driver and he is given another predicted framework that allows him to take over control as comfortably as possible.

Gemäß einer Weiterbildung umfasst das Verfahren weiter den Schritt Empfangen einer Nutzereingabe, die einen Schwellwert des Zeithorizonts definiert, wobei das Ausgeben der Wahrscheinlichkeit bei Unterschreiten des Schwellwerts erfolgt.According to a further development, the method further comprises the step of receiving a user input which defines a threshold value of the time horizon, wherein the probability is output when the threshold value is undershot.

In dieser Weiterbildung wird der Schwellwert für den Zeithorizont, zusätzlich oder alternativ zu einem vorbestimmten Schwellwert, durch eine Nutzereingabe durch den Fahrer definiert. Beispielsweise kann der Nutzer definieren, dass er erst ab einem Schwellwert für den Zeithorizont von weniger als 60 s informiert werden möchte. Insbesondere kann der Fahrer einen oberen Schwellwert für den Zeithorizont einstellen und ein unterer Schwellwert für den Zeithorizont, wie beispielsweise 30s, 20s oder 10s ist vorbestimmt bzw. voreingestellt und/oder unveränderlich.In this development, the threshold value for the time horizon is defined, in addition to or as an alternative to a predetermined threshold value, by a user input by the driver. For example, the user can define that he only wants to be informed when the threshold value for the time horizon is less than 60 s. In particular, the driver can set an upper threshold value for the time horizon and a lower threshold value for the time horizon, such as 30s, 20s or 10s, is predetermined or preset and/or unchangeable.

Das Empfangen der Nutzereingabe des Schwellwerts des Zeithorizonts kann dabei über dieselben oder davon verschiedene Wege wie das Empfangen der Nutzereingabe des Schwellwerts der Wahrscheinlichkeit der Übernahme erfolgen, jedenfalls wie zuvor beschrieben.Receiving the user input of the threshold value of the time horizon can be done via the same or different ways as receiving the user input of the threshold value of the probability of takeover, in any case as previously described.

Insbesondere kann durch diese Weiterbildung eine Kombination aus Wahrscheinlichkeit und Zeithorizont durch den Fahrer definiert werden. Beispielsweise kann der Fahrer definieren, dass er bei einer Wahrscheinlichkeit von 80% und einem Zeithorizont von 2 min informiert werden möchte. Dabei ist sowohl eine Und-Verknüpfung als auch eine Oder-Verknüpfung dieser Werte als kombinierter Schwellwert möglich.In particular, this further development allows the driver to define a combination of probability and time horizon. For example, the driver can define that he would like to be informed with a probability of 80% and a time horizon of 2 minutes. Both an AND connection and an OR connection of these values as a combined threshold value are possible.

Durch diese Weiterbildung wird es ermöglicht, eine Nutzerpräferenz zu berücksichtigen. Insbesondere kann der Nutzer bzw. Fahrer für verschiedene Aktivitäten, die er in dem autonomen Fahrmodus erledigen möchte, unterschiedliche Schwellwerte für den Zeithorizont einstellen. So wird ein besonders nutzerfreundliches Informieren des Fahrers ermöglicht.This further development makes it possible to take user preferences into account. In particular, the user or driver can set different threshold values for the time horizon for different activities that they would like to carry out in autonomous driving mode. This enables the driver to be informed in a particularly user-friendly manner.

Gemäß einer Weiterbildung umfasst das Erfassen des Umfelds ein Erfassen einer Verkehrssituation, einer Straßensituation, einer Witterungssituation und/oder einer Lichtsituation im Umfeld des Kraftfahrzeugs umfasst.According to a further development, the detection of the environment includes detection of a traffic situation, a road situation, a weather situation and/or a lighting situation in the environment of the motor vehicle.

Faktoren, die einen Einfluss auf den autonomen Fahrmodus haben, sind insbesondere, wir zuvor beschrieben, eine Verkehrssituation, eine Straßensituation, eine Witterungssituation und/oder eine Lichtsituation im Umfeld des Kraftfahrzeugs. Dabei werden diese Faktoren durch geeignete Überwachungseinrichtungen überwacht, wie dies im Folgenden näher erläutert werden wird.Factors that influence the autonomous driving mode are, in particular, as described above, a traffic situation, a road situation, a weather situation and/or a lighting situation in the surroundings of the motor vehicle. These factors are monitored by suitable monitoring devices, as will be explained in more detail below.

Beispielsweise handelt es sich bei dem Umfeld, das erfasst wird, um eine Verkehrssituation um das Kraftfahrzeug herum. Beispielsweise wird eine Verkehrsdichte, eine durchschnittliche Geschwindigkeit, eine durchschnittliche Verzögerung und/oder eine durchschnittliche Beschleunigung eines oder mehrerer Fahrzeuge im Umfeld des Kraftfahrzeugs beobachtet und/oder erfasst. Dies kann mithilfe eines oder mehrerer geeigneter Sensoren, wie beispielsweise einem oder mehreren von einem Radarsensor, einem Lidarsensor und/oder eines Bildsensors, wie einer Kamera, erfolgen. Beispielsweise kann von einer Verzögerung oder einer Fahrzeugdichte auf stockenden, zähfließenden und/oder einen sich entwickelnden Stau geschlossen werden, was eine Übernahme durch den Fahrer notwendig macht.For example, the environment that is recorded is a traffic situation around the motor vehicle. For example, a traffic density, an average speed, an average deceleration and/or an average acceleration of one or more vehicles in the vicinity of the motor vehicle is observed and/or recorded. This can be done using one or more suitable sensors, such as one or more of a radar sensor, a lidar sensor and/or an image sensor, such as a camera. For example, a deceleration or a vehicle density can be used to conclude that there is a stalling, slow-moving and/or developing traffic jam, which requires the driver to take over.

Alternativ oder zusätzlich handelt es sich bei dem Umfeld, das erfasst wird, um eine Straßensituation um das Kraftfahrzeug herum. Beispielsweise wird eine Beschilderung, insbesondere eine Ankündigung einer Baustelle, ein Lichtzeichen, das dynamisch den Verkehr regelt und/oder eine Straßenmarkierung entlang der Straße, auf der das Kraftfahrzeug fährt, beobachtet und/oder erfasst. Dies kann ebenso mithilfe eines oder mehrerer geeigneter Sensoren, wie beispielsweise einem Bildsensor, wie einer Kamera, erfolgen. Beispielsweise kann von einer Baustellenankündigung auf eine bevorstehende Baustelle geschlossen werden, was eine Übernahme durch den Fahrer notwendig macht, und beispielsweise kann von einem dynamischen Lichtzeichen auf einen bevorstehenden Unfall geschlossen werden, was eine Übernahme durch den Fahrer notwendig macht.Alternatively or additionally, the environment that is detected is a road situation around the motor vehicle. For example, a sign, in particular an announcement of a construction site, a traffic light that dynamically regulates traffic and/or a road marking along the road on which the motor vehicle is traveling is observed and/or detected. This can also be done using one or more suitable sensors, such as an image sensor such as a camera. For example, a construction site announcement can be used to conclude that there is an upcoming construction site, which requires the driver to take over, and for example a dynamic traffic light can be used to conclude that there is an impending accident, which requires the driver to take over.

Alternativ oder zusätzlich handelt es sich bei dem Umfeld, das erfasst wird, um eine Witterungssituation um das Kraftfahrzeug herum. Beispielsweise wird ein Einsetzen und/oder ein Verändern einer Witterungs- bzw. Wetterbedingung beobachtet und/oder erfasst, wie beispielsweise Regenfall, Schneefall, Nebel, Hagel, Frost, Tau oder Außentemperatur um das Kraftfahrzeug. Dies kann ebenso mithilfe eines oder mehrerer geeigneter Sensoren, wie beispielsweise einem Bildsensor, wie einer Kamera, einem Temperatursensor und/oder einem Regensensor erfolgen. Beispielsweise kann von einem einsetzenden Regen oder Schnee auf Glätte geschlossen werden, was eine Übernahme durch den Fahrer notwendig macht. Weiterhin können eingeschränkte Sichtbedingungen der Sensoren durch Umweltbedingungen und/oder eine Blindheit der Sensoren, beispielsweise durch Schneebedeckung und/oder Beschlagung, eine Übernahme durch den Fahrer notwendig machen.Alternatively or additionally, the environment that is recorded is a weather situation around the motor vehicle. For example, the onset and/or change of a weather condition is observed and/or recorded, such as rainfall, snowfall, fog, hail, frost, dew or outside temperature around the motor vehicle. This can also be done using one or more suitable sensors, such as an image sensor, a camera, a temperature sensor and/or a rain sensor. For example, the onset of rain or snow can be used to conclude that it is slippery, which requires the driver to take over. Furthermore, limited visibility of the sensors due to environmental conditions and/or blindness of the sensors, for example due to snow cover and/or fogging, can make it necessary for the driver to take over.

Alternativ oder zusätzlich handelt es sich bei dem Umfeld, das erfasst wird, um eine Lichtsituation um das Kraftfahrzeug herum. Beispielsweise wird ein Verändern einer Licht- bzw. Sonneneinstrahlung beobachtet und/oder erfasst, wie beispielsweise Sonnenaufgang, Sonnenuntergang, Mondaufgang, Monduntergang, tiefstehende Sonne, Wolkenaufzug und/oder -aufbruch. Dies kann ebenso mithilfe eines oder mehrerer geeigneter Sensoren, wie beispielsweise einem Bildsensor, wie einer Kamera erfolgen. Beispielsweise kann von einer einsetzenden Dämmerung auf bevorstehende Dunkelheit geschlossen werden, was eine Übernahme durch den Fahrer notwendig macht.Alternatively or additionally, the environment that is recorded is a lighting situation around the motor vehicle. For example, a change in light or sunlight is observed and/or recorded, such as sunrise, sunset, moonrise, moonset, low sun, cloud rise and/or breakup. This can also be done using one or more suitable sensors, such as an image sensor or a camera. For example, the onset of dusk can be used to conclude that darkness is approaching, which requires the driver to take over.

Zusätzlich oder alternativ können sämtliche beschriebenen Umfeldsituationen auch durch Abrufen von einem entfernten Ort erfolgen, insbesondere mittels Funkkommunikation, wie dies bereits zuvor beschrieben wurde.Additionally or alternatively, all of the environmental situations described can also be retrieved from a remote location, in particular by means of radio communication, as already described above.

Beispielsweise kann eine Verkehrssituation von einem Verkehrsserver abgerufen werden, der Informationen hierzu bereithält. Wieder beispielsweise kann eine Straßensituation von einem Straßenserver abgerufen werden, der Informationen hierzu bereithält. Ebenso beispielsweise kann eine Witterungssituation von einem Wetterserver abgerufen werden, der Informationen hierzu bereithält. Wieder beispielsweise kann eine Lichtsituation von einem Sonnenserver abgerufen werden, der Informationen hierzu bereithält. Dies kann insbesondere auch unter Berücksichtigung des gegenwärtigen Ortes und/oder der einer geplanten Route des Kraftfahrzeugs erfolgen, beispielsweise unter Berücksichtigung von GPS- und/oder Ortsdaten.For example, a traffic situation can be retrieved from a traffic server that provides information on this. Again, for example, a road situation can be retrieved from a road server that provides information on this. Likewise, for example, a weather situation can be retrieved from a weather server that provides information on this. Again, for example, a lighting situation can be retrieved from a sun server that provides information on this. This can also be done in particular taking into account the current location and/or a planned route of the motor vehicle, for example taking into account GPS and/or location data.

Durch diese Weiterbildung wird eine besonders genaue Vorhersage ermöglicht. Insbesondere können so ein oder mehrere Faktoren detailliert berücksichtigt werden, die die Prädikation erleichtern. Hierdurch wird eine besonders sichere Übernahme ermöglicht.This further development enables a particularly accurate prediction. In particular, one or more factors can be taken into account in detail, which makes the prediction easier. This enables a particularly reliable transfer.

Gemäß einer Weiterbildung umfasst das Verfahren weiter den Schritt Erfassen eines Betriebsparameters des Kraftfahrzeugs, wobei das Vorhersagen zusätzlich auf dem Betriebsparameter basiert.According to a further development, the method further comprises the step of detecting an operating parameter of the motor vehicle, wherein the prediction is additionally based on the operating parameter.

Ein Betriebsparameter ist insbesondere ein Wert, der den gegenwärtigen Betrieb des Kraftfahrzeugs betrifft.An operating parameter is in particular a value that relates to the current operation of the motor vehicle.

Beispielsweise umfasst ein Betriebsparameter einen Antriebsparameter, wie beispielsweise aktuelle Geschwindigkeit, Beschleunigung, Verzögerung, und/oder Lenkeinschlag. Dies kann mithilfe eines oder mehrerer geeigneter Sensoren, wie beispielsweise einem Geschwindigkeitssensor, einem Lenkwinkelsensor und/oder anderen Odometriesensoren erfolgen.For example, an operating parameter includes a drive parameter, such as current speed, acceleration, deceleration, and/or steering angle. This can be done using one or more suitable sensors, such as a speed sensor, a steering angle sensor, and/or other odometry sensors.

Alternativ oder zusätzlich umfasst ein Betriebsparameter einen Funktionsparameter einer Funktion des Kraftfahrzeugs. Ein Funktionsparameter umfasst beispielsweise die Verwendung eines Fahrsicherheitssensors, wie beispielsweise ABS, ESP und/oder ASR. Alternatively or additionally, an operating parameter includes a functional parameter of a function of the motor vehicle. A functional parameter includes, for example, the use of a driving safety sensor, such as ABS, ESP and/or ASR.

Hierdurch kann auf einen Verschleiß und/oder einen bevorstehenden Ausfall geschlossen werden.This can indicate wear and/or impending failure.

Wieder beispielsweise umfasst ein Funktionsparameter eine Ablagerung auf einem Sensor, insbesondere einem Bildsensor, die erfasst wird. Hierdurch kann auf eine bevorstehende mangelhafte Sicht geschlossen werden.Again, for example, a functional parameter includes a deposit on a sensor, in particular an image sensor, which is detected. This can be used to conclude that poor visibility is imminent.

Auch durch diese Weiterbildung wird eine besonders genaue Vorhersage ermöglicht. Insbesondere können so weitere Faktoren detailliert berücksichtigt werden, die die Prädikation erleichtern. Hierdurch wird eine besonders sichere Übernahme ermöglicht.This further training also enables a particularly accurate prediction. In particular, other factors can be taken into account in detail, which makes the prediction easier. This enables a particularly reliable transfer.

Gemäß einem weiteren Aspekt wird ein Verfahren zum Trainieren einer künstlichen Intelligenz zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs angegeben.According to a further aspect, a method for training an artificial intelligence to detect a takeover of control by a driver of an autonomous motor vehicle is provided.

Das erfindungsgemäße Verfahren umfasst dabei die Schritte Betreiben des Kraftfahrzeugs in einem autonomen Fahrmodus, Erfassen eines Umfelds des Kraftfahrzeugs, Erkennen einer Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld und Trainieren der künstlichen Intelligenz basierend auf der erkannten Notwendigkeit.The method according to the invention comprises the steps of operating the motor vehicle in an autonomous driving mode, detecting an environment of the motor vehicle, detecting a need to take over control based on the detected environment and training the artificial intelligence based on the detected need.

In einem ersten Schritt wird ein Umfeld des Kraftfahrzeugs erfasst.In a first step, the surroundings of the vehicle are recorded.

Dies kann genauso erfolgen, wie oben im Zusammenhang mit dem Verfahren zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs erläutert.This can be done in the same way as explained above in connection with the method for detecting a takeover of control by a driver of an autonomous motor vehicle.

In einem weiteren Schritt wird eine Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld erkannt.In a further step, a need for control takeover is recognized based on the recorded environment.

Diese Notwendigkeit ist hier die tatsächliche Systemgrenze, die erfasst wird. Diese ist von der Vorhersage durch die künstliche Intelligenz verschieden. Insbesondere wird hier erfasst, dass eine Übernahme bzw. die Notwendigkeit einer solchen tatsächlich durch den autonomen Fahrmodus angekündigt wird und/oder durch den Fahrer erfolgt.This need is the actual system limit that is recorded here. This is different from the prediction by the artificial intelligence. In particular, it is recorded here that a takeover or the need for such a takeover is actually announced by the autonomous driving mode and/or carried out by the driver.

In einem weiteren Schritt wird die künstliche Intelligenz basierend auf der erkannten Notwendigkeit trainiert.In a further step, the artificial intelligence is trained based on the recognized need.

Es werden insbesondere die Faktoren in dem Umfeld des Kraftfahrzeugs, die während der erkannten Notwendigkeit sowie insbesondere diejenigen, die in einem vorbestimmten Zeitraum vor der erkannten Notwendigkeit vorhanden waren. Der vorbestimmte Zeitraum ist dabei beispielsweise 10 s, 20 s, 30 s, 45 s, 60 s, 2 min oder 5 min. Insbesondere ist der vorbestimmte Zeitraum länger als der längste mögliche Schwellwert des Zeithorizonts.In particular, the factors in the environment of the motor vehicle that existed during the recognized need and in particular those that were present in a predetermined period of time before the recognized need are taken into account. The predetermined period of time is, for example, 10 s, 20 s, 30 s, 45 s, 60 s, 2 min or 5 min. In particular, the predetermined period of time is longer than the longest possible threshold value of the time horizon.

Insbesondere werden sämtliche Faktoren, die das Umfeld des Kraftfahrzeugs definieren bzw. eine drohende Übernahme bestimmen, wie zuvor beschrieben, erfasst und/oder aufgezeichnet. Beispielsweise werden diese Kriterien in einem Ringspeicher kontinuierlich gespeichert. Dabei kann das Eintreten der Notwendigkeit auslösen, dass diese Faktoren dann an einen entfernten Ort übertragen, wie zuvor beschrieben, und dort gesammelt werden, um eine künstliche Intelligenz damit zu trainieren.In particular, all factors that define the environment of the motor vehicle or determine an impending takeover are recorded and/or recorded as described above. For example, these criteria are continuously stored in a ring buffer. The occurrence of the need can trigger these factors to then be transmitted to a remote location, as described above, and collected there in order to train an artificial intelligence with them.

Hierdurch wird eine besonders prädikative künstliche Intelligenz ermöglicht.This enables particularly predictive artificial intelligence.

Dabei wird insbesondere diese derart trainierte künstliche Intelligenz zur Anwendung in einem zuvor beschriebenen Verfahren zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs kommen.In particular, this artificial intelligence trained in this way will be used in a previously described method for detecting a takeover of control by a driver of an autonomous motor vehicle.

Weiter insbesondere können auch die aus dem Betrieb des Verfahrens zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs gewonnenen Erkenntnisse zum weiteren Training der künstlichen Intelligenz eingesetzt werden.In particular, the knowledge gained from the operation of the method for detecting a takeover of control by a driver of an autonomous motor vehicle can also be used for further training of the artificial intelligence.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise during the method and which are not explicitly described here, it may be provided that, in accordance with the method, an error message and/or a request to enter user feedback is issued and/or a default setting and/or a predetermined initial state is set.

Gemäß einem weiteren Aspekt wird eine Vorrichtung angegeben. Die Vorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.According to a further aspect, a device is provided. The device can Data processing apparatus or a processor device which is configured to carry out an embodiment of the method according to the invention.

Insbesondere kann sowohl eine Vorrichtung zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs vorgesehen sein als auch eine Vorrichtung zum Trainieren einer künstlichen Intelligenz zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs. Dabei können diese beiden Vorrichtungen in einer einzelnen Vorrichtung ausgebildet sein oder in zwei voneinander verschiedenen.In particular, both a device for detecting a takeover of control by a driver of an autonomous motor vehicle and a device for training an artificial intelligence to detect a takeover of control by a driver of an autonomous motor vehicle can be provided. These two devices can be formed in a single device or in two different ones.

Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Die Prozessoreinrichtung kann z.B. auf zumindest einer Schaltungsplatine und/oder auf zumindest einem SoC (System on Chip) basieren.For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code that is set up to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device. The processor device can be based, for example, on at least one circuit board and/or on at least one SoC (System on Chip).

Gemäß einem weiteren Aspekt wird ein Kraftfahrzeug angegeben, das eine solche Vorrichtung umfasst.According to a further aspect, a motor vehicle is provided which comprises such a device.

Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch einen Computer oder einen Computerverbund diesen veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in dem Computer oder Computerverbund angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server und/oder Cloud-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit beispielsweise zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode kann als Binärcode und/oder als Assembler-Code und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.As a further solution, the invention also includes a computer-readable storage medium, comprising program code which, when executed by a computer or a computer network, causes it to carry out an embodiment of the method according to the invention. The storage medium can be provided at least partially as a non-volatile data memory (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data memory (e.g. as a RAM - random access memory). The storage medium can be arranged in the computer or computer network. However, the storage medium can also be operated, for example, as a so-called app store server and/or cloud server on the Internet. The computer or computer network can provide a processor circuit with, for example, at least one microprocessor. The program code can be provided as binary code and/or as assembler code and/or as source code of a programming language (e.g. C) and/or as a program script (e.g. Python).

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes combinations of the features of the described embodiments. The invention therefore also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments have not been described as mutually exclusive.

Bezüglich der Ausführungsformen der Vorrichtung, des Kraftfahrzeugs und des Speichermediums sowie der dazugehörigen Vorteile wird auf die zuvor beschriebenen Ausführungsformen des Verfahrens und die diesbezüglichen Vorteile verwiesen.With regard to the embodiments of the device, the motor vehicle and the storage medium as well as the associated advantages, reference is made to the previously described embodiments of the method and the related advantages.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 zeigt eine schematische Darstellung einer Ausführungsform eines Verfahrens und einer Vorrichtung zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs sowie eines Verfahrens und einer Vorrichtung zum Trainieren einer künstlichen Intelligenz zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs.

Exemplary embodiments of the invention are described below.

1 shows a schematic representation of an embodiment of a method and a device for detecting a takeover of control by a driver of an autonomous motor vehicle and a method and a device for training an artificial intelligence to detect a takeover of control by a driver of an autonomous motor vehicle.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the components of the embodiments described each represent individual features of the invention that are to be considered independently of one another and which also develop the invention independently of one another. Therefore, the disclosure should also include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by other features of the invention already described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, identical reference symbols designate functionally identical elements.

1 zeigt eine schematische Darstellung einer Ausführungsform eines Verfahrens und einer Vorrichtung 100 zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs 1 sowie eines Verfahrens und einer Vorrichtung 100 zum Trainieren einer künstlichen Intelligenz zur Erkennung einer Steuerungsübernahme durch einen Fahrer eines autonomen Kraftahrzeugs. 1 shows a schematic representation of an embodiment of a method and a device 100 for detecting a takeover of control by a driver of an autonomous motor vehicle 1 and a method and a device 100 for training an artificial intelligence to detect a takeover of control by a driver of an autonomous motor vehicle.

Die Vorrichtung 100 ist dabei von dem Kraftfahrzeug 1 umfasst und ausgebildet, die im folgenden beschriebenen Verfahrensschritte auszuführen.The device 100 is comprised by the motor vehicle 1 and designed to carry out the method steps described below.

Die Vorrichtung 100 ist dazu ausgebildet, das Kraftfahrzeug 1 in einem autonomen Fahrmodus zu betreiben.The device 100 is designed to operate the motor vehicle 1 in an autonomous driving mode.

Die Vorrichtung ist auch ausgebildet, ein Umfeld entlang der Straße 20, auf dem das Kraftfahrzeug 1 gegenwärtig autonom fährt, zu erfassen.The device is also designed to detect an environment along the road 20 on which the motor vehicle 1 is currently driving autonomously.

Beispielsweise erfasst eine nicht abgebildete Kamera eine Straßensituation in Form eines Straßenmarkierung 21 des Verkehrsschilds 30 und eine Verkehrssituation in Form eines vorausfahrenden Fahrzeugs 2. Darüber hinaus wird eine Witterungssituation in Form eines Niederschlags durch die Wolke 40 von einem entfernten Ort 10 mittels Funkkommunikation abgerufen.For example, a camera (not shown) records a road situation in the form of a road marking 21 of the traffic sign 30 and a traffic situation in the form of a vehicle 2 driving ahead. In addition, a weather situation in the form of precipitation by the cloud 40 is retrieved from a remote location 10 by means of radio communication.

Die Vorrichtung 100 ist auch ausgebildet, eine Wahrscheinlichkeit und ein Zeithorizont einer Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld mithilfe einer künstlichen Intelligenz vorherzusagenThe device 100 is also designed to predict a probability and a time horizon of a need for control takeover based on the detected environment using artificial intelligence

Die Vorrichtung 100 ist auch ausgebildet, die vorhergesagte Wahrscheinlichkeit und den vorhergesagten Zeithorizont an den Fahrer auszugeben.The device 100 is also configured to output the predicted probability and the predicted time horizon to the driver.

Dabei wird die Wahrscheinlichkeit ausschließlich bei Überschreiten eines Schwellwerts und der Zeithorizont bei Unterschreiten eines weiteren Schwellwerts ausgegeben, wobei beide Schwellwerte durch eine von dem Fahrer getätigte Nutzereingabe definiert werden.The probability is only output when a threshold value is exceeded and the time horizon is output when another threshold value is undercut, whereby both threshold values are defined by a user input made by the driver.

Die Vorrichtung 100 ist auch ausgebildet, die verwendete künstliche Intelligenz zu trainieren, und zwar durch Erkennen einer Notwendigkeit einer Steuerungsübernahme basierend auf dem erfassten Umfeld und durch Trainieren der künstlichen Intelligenz basierend auf der erkannten Notwendigkeit.The device 100 is also configured to train the artificial intelligence used by recognizing a need for control takeover based on the sensed environment and by training the artificial intelligence based on the recognized need.

Insgesamt zeigen die Beispiele, wie eine Vorhersage zur Übernahmewahrscheinlichkeit beim automatisierten bzw. hochautomatisierten Fahren mithilfe von künstlicher Intelligenz bereitgestellt werden kann.Overall, the examples show how a prediction of the probability of takeover in automated or highly automated driving can be provided using artificial intelligence.

Claims

Method for detecting a takeover of control by a driver of an autonomous motor vehicle (1), comprising: - operating the motor vehicle (1) in an autonomous driving mode; - detecting an environment of the motor vehicle (1); - predicting a probability of a need for a takeover of control based on the detected environment using artificial intelligence; and - outputting the probability to the driver.

Procedure according to Claim 1 , further comprising: - receiving a user input defining a threshold value of the probability; wherein the probability is output when the threshold value is exceeded.

Method according to one of the preceding claims, further comprising: - predicting a time horizon until the need for control takeover based on the detected environment; wherein the output to the driver further comprises outputting the time horizon.

Procedure according to Claim 3 , further comprising: - receiving a user input which defines a threshold value of the time horizon; wherein the probability is output when the threshold value is undercut.

Method according to one of the preceding claims, wherein the detection of an environment comprises detecting a traffic situation, a road situation, a weather situation and/or a lighting situation in the environment of the motor vehicle (1).

Method according to one of the preceding claims, further comprising: - detecting an operating parameter of the motor vehicle (1); wherein the prediction is additionally based on the operating parameter.

Method for training an artificial intelligence to detect a takeover of control by a driver of an autonomous motor vehicle (1), comprising: - operating the motor vehicle (1) in an autonomous driving mode; - detecting an environment of the motor vehicle (1); - detecting a need to take over control based on the detected environment; and - training the artificial intelligence based on the detected need.

Method according to one of the Claims 1 until 6 , wherein the artificial intelligence is implemented by a method according to Claim 7 was trained.

Device (100) which is designed to carry out a method according to one of the methods according to one of the Claims 1 until 8th to carry out.

Motor vehicle (1), comprising a device according to Claim 9 .