DE102021101805A1 - DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES - Google Patents

DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES Download PDF

Info

Publication number
DE102021101805A1
DE102021101805A1 DE102021101805.6A DE102021101805A DE102021101805A1 DE 102021101805 A1 DE102021101805 A1 DE 102021101805A1 DE 102021101805 A DE102021101805 A DE 102021101805A DE 102021101805 A1 DE102021101805 A1 DE 102021101805A1
Authority
DE
Germany
Prior art keywords
driver
motor vehicle
monitoring system
designed
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021101805.6A
Other languages
German (de)
Inventor
Sebastian Schneider
Luca Parolini
Goran Petrovic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021101805.6A priority Critical patent/DE102021101805A1/en
Publication of DE102021101805A1 publication Critical patent/DE102021101805A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze

Abstract

Bereitgestellt wird ein Kraftfahrzeug, wobei das Kraftfahrzeug ausgestaltet ist, um zumindest zweitweise automatisiert eine Quer- und/oder eine Längsführung des Kraftfahrzeugs zu übernehmen, das Kraftfahrzeug ein Kamerasystem aufweist, das ausgestaltet ist, um Bilddaten eines Fahrers des Kraftfahrzeugs zu akquirieren, und das Kraftfahrzeug ein zum Kamerasystem verbundenes Fahrerüberwachungssystem aufweist, das ausgestaltet ist, die von dem Kamerasystem akquirierten Bilddaten zu empfangen und basierend auf den empfangenen Bilddaten einen Aufmerksamkeitsgrad des Fahrers zu bestimmen. Das Fahrerüberwachungssystem ist zur Bestimmung des Aufmerksamkeitsgrades des Fahrers ausgestaltet, um eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers als Eingangsdaten für ein künstliches neuronales Netz basierend auf den vom Kamerasystem empfangenen Bilddaten zu bestimmen, die Eingangsdaten in das künstliche neuronale Netz einzugeben, das ausgestaltet ist, den Aufmerksamkeitsgrad des Fahrers basierend auf den Eingangsdaten zu bestimmen, und mittels des neuronalen Netzes basierend auf den Eingangsdaten den Aufmerksamkeitsgrad des Fahrers zu bestimmen.

Figure DE102021101805A1_0000
A motor vehicle is provided, wherein the motor vehicle is configured to take over, at least partially, automated transverse and/or longitudinal guidance of the motor vehicle, the motor vehicle has a camera system that is configured to acquire image data of a driver of the motor vehicle, and the motor vehicle a driver monitoring system connected to the camera system, which is configured to receive the image data acquired by the camera system and to determine a degree of attention of the driver based on the received image data. The driver monitoring system is designed to determine the level of alertness of the driver in order to determine a position of a face, a direction of gaze, and a position and an orientation of the driver's arms and hands as input data for an artificial neural network based on the image data received from the camera system Inputting input data into the artificial neural network, which is designed to determine the driver's level of attention based on the input data, and to determine the driver's level of attention using the neural network based on the input data.
Figure DE102021101805A1_0000

Description

Die vorliegende Erfindung betrifft ein zumindest teilautomatisiertes Kraftfahrzeug mit einem Fahrerüberwachungssystem, das ausgestaltet ist, um einen Aufmerksamkeitsgrad eines Fahrers des Kraftfahrzeugs zu bestimmen. Die Erfindung betrifft zudem einen Trainingsdatensatz zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um den Aufmerksamkeitsgrad des Fahrers des Kraftfahrzeugs zu bestimmen. Die Erfindung betrifft ferner ein Verfahren zum Trainieren des künstlichen neuronalen Netzes. Die Erfindung betrifft ferner eine Verwendung des Trainingsdatensatzes zum Trainieren des künstlichen neuronalen Netzes.FIELD OF THE INVENTION The present invention relates to an at least partially automated motor vehicle with a driver monitoring system that is designed to determine the degree of attentiveness of a driver of the motor vehicle. The invention also relates to a training data record for training an artificial neural network, which is designed to determine the level of attention of the driver of the motor vehicle. The invention also relates to a method for training the artificial neural network. The invention also relates to using the training data set to train the artificial neural network.

Herkömmliche Fahrerüberwachungssysteme bzw. -vorrichtungen weisen eine im Fahrzeuginnenraum verbaute Sensorik auf, mittels derer Daten detektiert werden, die es einem Steuergerät erlauben festzustellen, ob ein Fahrer das Fahrzeug und/oder das Fahrgeschehen überwacht, selbst wenn das Fahrzeug (teil-) automatisiert fährt, d.h. die Quer- und/oder Längsführung vom Fahrzeug übernommen wird.Conventional driver monitoring systems or devices have sensors installed in the vehicle interior, by means of which data are detected which allow a control unit to determine whether a driver is monitoring the vehicle and/or the driving situation, even if the vehicle is (partially) automated. i.e. the lateral and/or longitudinal guidance is taken over by the vehicle.

Aus der US 2019/367038 A1 ist eine solche Fahrerüberwachungsvorrichtung bekannt, die mit einer Fahrerüberwachungskamera, die ein Bild eines Gesichts eines Fahrers aufnimmt, einer Erfassungseinheit, die Sicherheitskontrollaktionsinformationen, die sich auf eine Sicherheitskontrollaktion des Fahrers beziehen, auf der Grundlage des Bildes des Gesichts des Fahrers, das von der Fahrerüberwachungskamera erfasst wird, erfasst, und einer Bestimmungseinheit versehen ist, die auf der Grundlage der Sicherheitskontrollaktionsinformationen, die von der Erfassungseinheit erfasst werden, bestimmt, ob der Fahrer die Sicherheitskontrollaktion vernachlässigt oder nicht.From the U.S. 2019/367038 A1 such a driver monitoring apparatus is known, which is provided with a driver monitoring camera that captures an image of a driver's face, a detection unit that acquires safety check action information related to a safety check action of the driver based on the image of the driver's face captured by the driver monitor camera is detected, and is provided with a determination unit that determines whether or not the driver neglects the safety check action based on the security check action information detected by the detection unit.

Eine Entwicklung von Fahrassistenzsystemen für ein autonomes Fahren, insbesondere im städtischen Bereich, kann sich von der Art und Weise unterscheiden, wie traditionelle Fahrassistenzsysteme entwickelt werden. Anstatt einer Entwicklung und Tests bis zu einem bestimmten Produktionsstart durchzuführen, nach dem Kunden das entwickelte Fahrzeug zusammen mit darin verbauten Fahrassistenzsystemen kaufen können, werden autonome Systeme schrittweise auf den Markt gebracht werden, wobei Sicherheitsfahrer oder Bediener in der Entwicklung eingesetzt werden, die die korrekte Funktionalität des Fahrzeugs bei Testfahrten überwachen.A development of driver assistance systems for autonomous driving, especially in urban areas, can differ from the way traditional driver assistance systems are developed. Instead of having development and testing up to a certain start of production, after which customers can buy the developed vehicle together with driver assistance systems built into it, autonomous systems will be brought to market in stages, with safety drivers or operators being used in development who have the correct functionality of the vehicle during test drives.

Diese Sicherheitsfahrer oder Bediener haben die Aufgabe bei Testfahrten einzugreifen, d.h. eine Fahrzeugführung manuell zu übernehmen, sobald eine automatisierte Fahrzeugführung nicht wie erwartet bzw. gewünscht funktioniert. Erst nach einer bestimmten Anzahl von Testfahrten im realen Verkehr wird ein neu entwickeltes Fahrassistenzsystem, beispielsweise über ein Software-Update, auf den Markt gebracht werden. Dann kehren Sicherheitsfahrer und Bediener zu den Fahrzeugen zurück und beginnen mit dem Testen eines weiteren Fahrassistenzsystems und ein Testzyklus beginnt für das weitere Fahrassistenzsystem von neuem. Auf diese Weise dringen autonome Fahrzeuge nach und nach in komplexere Bereiche vor und gewinnen mit der Zeit komplexere Manövrierfähigkeiten.These safety drivers or operators have the task of intervening during test drives, i.e. taking over vehicle guidance manually as soon as automated vehicle guidance does not work as expected or desired. Only after a certain number of test drives in real traffic will a newly developed driver assistance system be brought onto the market, for example via a software update. Then safety drivers and operators return to the vehicles and begin testing another driver assistance system and a test cycle begins again for the other driver assistance system. In this way, autonomous vehicles gradually penetrate into more complex areas and gain more complex maneuvering capabilities over time.

Der Unterschied zwischen Sicherheitsfahrer und Bediener ist der technische Detailgrad, dem der Fahrer ausgesetzt ist. Der Sicherheitsfahrer hat Zugriff auf tiefere Einblicke in das zugrundeliegende autonome System, wie z. B. die Visualisierung von Sensoren, erkannten Objekten und Hindernissen sowie die Steuerungsabsicht des Fahrzeugs. Dadurch kann der Sicherheitsfahrer im Vergleich zum Bediener schneller eingreifen, z. B. wenn ein kollisionsrelevantes Objekt vom autonomen System nicht erkannt wird. Der Bediener muss nicht über ein so tiefes Verständnis verfügen und ist somit näher am eigentlichen Kunden.The difference between safety driver and operator is the level of technical detail that the driver is exposed to. The safety driver has access to deeper insights into the underlying autonomous system, e.g. B. the visualization of sensors, detected objects and obstacles as well as the control intention of the vehicle. This allows the safety driver to intervene more quickly than the operator, e.g. B. if a collision-relevant object is not recognized by the autonomous system. The operator does not have to have such a deep understanding and is therefore closer to the actual customer.

Die Überwachung eines solchen technischen Systems, insbesondere wenn das zu überwachende System immer ausgereifter wird, kann zu einer monotonen Aufgabe für den Sicherheitsfahrer bzw. Bediener werden. Es ist bekannt, dass eine hohe Wahrscheinlichkeit besteht, dass der Sicherheitsfahrer bzw. der Bediener eine zur Überwachung des Systems nötige Aufmerksamkeit verlieren kann, wenn das zu überwachende System über einen längeren Zeitraum fehlerfrei funktioniert. Dies birgt die Gefahr, dass ein Eingreifen des Sicherheitsfahrers bzw. Bedieners in einer kritischen Situation, die ein Eingreifen des Sicherheitsfahrers bzw. Bedieners erfordert, zu spät oder überhaupt nicht erfolgt und ein Unfall bzw. eine Kollision nicht vermieden werden kann. Um dem entgegenzuwirken kann eine Dauer, für die der Sicherheitsfahrer bzw. Bediener eine Testfahrt durchführt, reduziert werden. Nachteil ist, dass dennoch nicht festgestellt werden kann, ob der Sicherheitsfahrer bzw. Bediener die nötige Aufmerksamkeit für das zu überwachende Kraftfahrzeug und/oder das Fahrgeschehen aufbringt. Denkbar sind auch visuelle Aufzeichnungen des Sicherheitsfahrers bzw. Bedieners, so dass im Falle eines Unfalls eine mögliche Unaufmerksamkeit des Sicherheitsfahrers bzw. Bedieners nachgewiesen und dieser für den möglichen Unfall verantwortlich gemacht werden kann. Dies erhöht aber nicht die Sicherheit für den Sicherheitsfahrer bzw. Bediener und auch nicht für andere Verkehrsteilnehmer. Zudem können diese Systeme leicht umgangen werden, z. B. durch das Tragen einer Maske oder das Verdecken einer Kameralinse.The monitoring of such a technical system, especially when the system to be monitored is becoming more and more sophisticated, can become a monotonous task for the safety driver or operator. It is known that there is a high probability that the safety driver or the operator can lose the attention required to monitor the system if the system to be monitored is functioning correctly over a longer period of time. This harbors the risk that the safety driver or operator will intervene too late or not at all in a critical situation that requires the safety driver or operator to intervene, and an accident or collision cannot be avoided. To counteract this, the duration for which the safety driver or operator carries out a test drive can be reduced. The disadvantage is that it cannot be determined whether the security driver or operator is paying the necessary attention to the motor vehicle to be monitored and/or the driving situation. Visual recordings by the safety driver or operator are also conceivable, so that in the event of an accident, possible inattentiveness on the part of the safety driver or operator can be proven and he/she can be held responsible for the possible accident. However, this does not increase safety for the safety driver or operator or for other road users. In addition, these systems can easily be circumvented, e.g. B. by wearing a mask or covering a camera lens.

Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine Vorrichtung und ein Verfahren anzugeben, welche geeignet sind, zumindest die oben genannten Nachteile des Standes der Technik zu überwinden.Against the background of this prior art, the object of the present invention is to specify a device and a method which are suitable for overcoming at least the above-mentioned disadvantages of the prior art.

Gelöst wird die Aufgabe durch die Merkmale der unabhängigen Ansprüche. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.The object is solved by the features of the independent claims. The dependent claims relate to preferred developments of the invention.

Danach wird die Aufgabe durch ein Kraftfahrzeug gelöst, wobei das Kraftfahrzeug ausgestaltet ist, um zumindest zeitweise automatisiert eine Quer- und/oder eine Längsführung des Kraftfahrzeugs zu übernehmen.According to this, the object is achieved by a motor vehicle, the motor vehicle being configured in order to automatically take over transverse and/or longitudinal guidance of the motor vehicle at least at times.

Bei dem Kraftfahrzeug kann es sich um einen Personenkraftwagen handeln. Das automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Kraftfahrzeugs (weitgehend) autonom erfolgt. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 1 sein, d.h. bestimmte Fahrassistenzsysteme aufweisen, die den Fahrer bei der Fahrzeugbedienung, wie beispielsweise der Abstandsregeltempomat (ACC), unterstützen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 2 sein, d.h. so teilautomatisiert sein, dass Funktionen wie automatisches Einparken, Spurhalten bzw. Querführung, allgemeine Längsführung, Beschleunigen und/oder Abbremsen von Fahrassistenzsystemen übernommen werden. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 3 sein, d.h. so bedingungsautomatisiert, dass der Fahrer das System Fahrzeug nicht durchgehend überwachen muss. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechseln und/oder Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Führung zu übernehmen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 4 sein, d.h. so hochautomatisiert, dass die Führung des Fahrzeugs dauerhaft vom System Fahrzeug übernommen wird. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 5 sein, d.h. so vollautomatisiert, dass der Fahrer zum Erfüllen der Fahraufgabe nicht erforderlich ist. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich. Das Fahrzeug kann ohne Lenkrad und Pedale auskommen.The motor vehicle can be a passenger car. Automated driving can take place in such a way that the motor vehicle moves (largely) autonomously. The motor vehicle can be a vehicle with autonomy level 1, i.e. it can have certain driver assistance systems that support the driver in operating the vehicle, such as the adaptive cruise control (ACC). The motor vehicle can be a vehicle with autonomy level 2, i.e. it can be partially automated in such a way that functions such as automatic parking, lane keeping or lateral guidance, general longitudinal guidance, acceleration and/or braking are taken over by driver assistance systems. The motor vehicle can be a vehicle with autonomy level 3, i.e. conditionally automated in such a way that the driver does not have to continuously monitor the vehicle system. The vehicle independently carries out functions such as triggering the turn signal, changing lanes and/or staying in lane. The driver can turn to other things, but if necessary the system will prompt the system to take over the lead within a warning period. The motor vehicle can be a vehicle with autonomy level 4, i.e. so highly automated that the vehicle system is permanently in charge of driving the vehicle. If the system can no longer handle the driving tasks, the driver can be asked to take control. The motor vehicle can be a vehicle with autonomy level 5, i.e. fully automated in such a way that the driver is not required to perform the driving task. No human intervention is required other than setting the target and starting the system. The vehicle can do without a steering wheel and pedals.

Das Kraftfahrzeug weist ein Kamerasystem, das ausgestaltet ist, um Bilddaten eines Fahrers des Kraftfahrzeugs zu akquirieren, und ein zum Kamerasystem verbundenes Fahrerüberwachungssystem auf, das ausgestaltet ist, die von dem Kamerasystem akquirierten Bilddaten zu empfangen und basierend auf den empfangenen Bilddaten einen Aufmerksamkeitsgrad des Fahrers zu bestimmen.The motor vehicle has a camera system, which is designed to acquire image data of a driver of the motor vehicle, and a driver monitoring system connected to the camera system, which is designed to receive the image data acquired by the camera system and, based on the received image data, assign a degree of attention to the driver determine.

Denkbar ist, dass das Kamerasystem eine in den Fahrzeuginnenraum gerichtete Kamera zum Akquirieren bzw. Aufnehmen der Bilddaten aufweist. Die Bilddaten können kontinuierlich von dem Kamerasystem akquiriert werden. Die Bilddaten können auch als Videobilddaten bezeichnet werden.It is conceivable that the camera system has a camera directed into the vehicle interior for acquiring or recording the image data. The image data can be continuously acquired from the camera system. The image data can also be referred to as video image data.

Denkbar ist, dass das Kamerasystem in zwei Subsysteme aufgeteilt ist. Beide Subsysteme können jeweils eine in den Fahrzeuginnenraum gerichtete Kamera zum Akquirieren der Bilddaten aufweisen. Die jeweils von den Subsystemen bereitgestellten Bilddaten können von dem Fahrerüberwachungssystem, insbesondere im Sinne einer Sensordatenfusion, zur Bestimmung des Aufmerksamkeitsgrads des Fahrers verwendet werden.It is conceivable that the camera system is divided into two subsystems. Both subsystems can each have a camera directed into the vehicle interior for acquiring the image data. The image data provided by the subsystems can be used by the driver monitoring system, in particular in the sense of a sensor data fusion, to determine the driver's level of attention.

Bei einem der beiden Subsysteme kann es sich um ein sog. „Driver Camera System“ (DCS) und bei dem anderen der beiden Subsysteme kann es sich um ein Innenraumkamerasystem (IRK) handeln. Herkömmlich wird das DCS verwendet, um die Aufmerksamkeit bzw. den Aufmerksamkeitsgrad des Fahrers des Kraftfahrzeugs zu bestimmen, was längere Hands-Off-Zeiten während eines automatisierten Fahrens bei einem Fahrzeug der Autonomiestufe 2 (s. oben) ermöglicht. Das DCS ist in Alleinstellung jedoch auf die Gesichts- und Augenverfolgung des Fahrers beschränkt. Dieser Vorschlag geht insofern weiter, als dass die Ausgabe des DCS nur einer der Eingänge in das vorgeschlagene Fahrerüberwachungssystem ist. Ein zusätzlicher Input kann von dem IRK erhalten werden, genauer gesagt von einer Gestenerkennung des IRK. Die Gestenerkennung beruht auf einer Verfolgung der Hände und Arme des Fahrers. So kann festgestellt werden, ob sich die Hände des Fahrers am Lenkrad befinden und/oder ob der Fahrer mit einem weiteren System, wie beispielsweise einem Smartphone und/oder einem Nutzereingabesystem des Fahrzeugs, interagiert. Während die Gestenerkennung herkömmlich ausschließlich zur Interaktion des Fahrers mit dem Kraftfahrzeug, beispielsweise zur Lautstärkeregelung und/oder zum Telefonieren, verwendet wird, wird hier vorgeschlagen, die Trackingdaten der Arme und Hände des IRK als Eingangsdaten für das Fahrerüberwachungssystem zu verwenden. Das vorgeschlagene Kamerasystem kann demnach ausgestaltet sein, sowohl Videobilder des Gesichts des Fahrers sowie dessen Blickrichtung basierend auf einer Position und/oder Orientierung des Gesichts und/oder der Augen des Fahrers als auch eine Position und Orientierung von Armen und Händen des Fahrers bereitzustellen.One of the two subsystems can be a so-called "Driver Camera System" (DCS) and the other of the two subsystems can be an interior camera system (IRK). Conventionally, the DCS is used to determine the attentiveness or the degree of attentiveness of the driver of the motor vehicle, which allows longer hands-off times during automated driving in a vehicle with autonomy level 2 (see above). On its own, however, the DCS is limited to tracking the driver's face and eyes. This proposal goes further in that the output of the DCS is only one of the inputs to the proposed driver monitoring system. Additional input can be obtained from the IRK, more specifically from a gesture recognizer of the IRK. Gesture recognition is based on tracking the driver's hands and arms. It can thus be determined whether the driver's hands are on the steering wheel and/or whether the driver is interacting with another system, such as a smartphone and/or a user input system of the vehicle. While gesture recognition is traditionally used exclusively for driver interaction with the motor vehicle, for example for volume control and/or making phone calls, it is proposed here to use the tracking data from the arms and hands of the IRK as input data for the driver monitoring system. The proposed camera system can therefore be designed to provide both video images of the driver's face and his line of sight based on a position and/or orientation of the driver's face and/or eyes and a position and orientation of the driver's arms and hands.

Das Fahrerüberwachungssystem ist ausgestaltet, um zur Bestimmung des Aufmerksamkeitsgrades des Fahrers eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers als Eingangsdaten für ein künstliches neuronales Netz basierend auf den vom Kamerasystem empfangenen Bilddaten zu bestimmen.The driver monitoring system is designed to determine a position of a face, a viewing direction, and a position and an orientation of the driver's arms and hands as input data for an artificial neural network based on the image data received from the camera system in order to determine the driver's degree of attentiveness.

Das Fahrerüberwachungssystem ist ferner ausgestaltet, um die Eingangsdaten in das künstliche neuronale Netz einzugeben, das ausgestaltet ist, den Aufmerksamkeitsgrad des Fahrers basierend auf den Eingangsdaten zu bestimmen, und mittels des neuronalen Netzes basierend auf den Eingangsdaten den Aufmerksamkeitsgrad des Fahrers zu bestimmen.The driver monitoring system is further configured to input the input data into the artificial neural network, which is configured to determine the driver's level of attentiveness based on the input data, and to determine the driver's level of attentiveness based on the input data using the neural network.

Denkbar ist insbesondere, dass das Fahrerüberwachungssystem die Daten des DCS und des IRK in im Wesentlichen Echtzeit in einem Onboard-Steuergerät verarbeitet. Diese Echtzeitverarbeitung kann ständig den Aufmerksamkeitsgrad des Fahrers bestimmen. Denkbar ist, dass sich das Fahrerüberwachungssystem und insbesondere dessen neuronales Netz dafür auf Trainingsdaten gleicher Eingaben für verschiedene Aufmerksamkeitsstufen stützt, die aus Teststudien in einem Fahrsimulator und/oder aus realen Ereignissen stammen, und die zu einem Unfall und/oder einer kritischen Situation geführt haben. Dadurch kann ferner sichergestellt werden, dass sich das Fahrerüberwachungssystem weiterentwickelt, d.h. das neuronale Netz laufend trainiert wird und damit eine Genauigkeit der Bestimmung des Aufmerksamkeitsgrads des Fahrers verbessert werden kann. Denkbar ist auch, dass das Fahrerüberwachungssystem ausgestaltet ist, eine Manipulation des Fahrerüberwachungssystems basierend auf den Eingangsdaten des Kamerasystems zu erfassen bzw. zu erkennen, beispielsweise da das Fahrerüberwachungssystem feststellt, dass eine Gesichtserkennung des Fahrers aufgrund einem Abdecken des Gesichts durch den Fahrer nicht möglich ist und/oder ein Verdecken von einer Kameralinse einer Kamera des Kamerasystems zu einem Mangel an verwertbaren Bilddaten führt.In particular, it is conceivable that the driver monitoring system processes the data from the DCS and the IRK in essentially real time in an onboard control unit. This real-time processing can constantly determine the driver's attention level. It is conceivable that the driver monitoring system, and in particular its neural network, relies on training data for the same inputs for different levels of attention, which originate from test studies in a driving simulator and/or from real events that led to an accident and/or a critical situation. It can also be ensured in this way that the driver monitoring system is developed further, i.e. the neural network is continuously trained and thus the accuracy of the determination of the driver's level of attention can be improved. It is also conceivable that the driver monitoring system is designed to detect or detect manipulation of the driver monitoring system based on the input data of the camera system, for example because the driver monitoring system determines that facial recognition of the driver is not possible due to the driver covering his face and /or covering of a camera lens of a camera of the camera system leads to a lack of usable image data.

Das Kraftfahrzeug kann ein zum Fahrerüberwachungssystem verbundenes System zum Erfassen einer Nutzereingabe aufweisen, wobei das System zum Erfassen der Nutzereingabe ausgestaltet ist, eine Information über eine erfasste Nutzereingabe zu dem Fahrerüberwachungssystem auszugeben. Das Fahrerüberwachungssystem kann ausgestaltet sein, um die Eingangsdaten für das künstliche neuronale Netz ferner basierend auf der von dem System zum Erfassen der Nutzereingabe empfangenen Information zu bestimmen.The motor vehicle can have a system connected to the driver monitoring system for detecting a user input, the system for detecting the user input being designed to output information about a detected user input to the driver monitoring system. The driver monitoring system may be configured to further determine the input data for the artificial neural network based on the information received from the system for detecting the user input.

Das heißt, es ist insbesondere denkbar, dass eine Interaktion des Fahrers mit dem Kraftfahrzeug ebenfalls in das vorgeschlagene Fahrerüberwachungssystem integriert wird, z.B. indem Busnachrichten ausgelöst durch eine Bedienung eines Radios und/oder einer Klimaanlage erfasst und in das Fahrerüberwachungssystem eingegeben werden. Das vorgeschlagene System kann also ausgestaltet sein, um zum einen Videobilder des Gesichts des Fahrers sowie dessen Blickrichtung von dem DCS, dazu die Position und Orientierung von Armen und Händen von dem IRK sowie die Interaktionen des Fahrers mit Fahrzeugbediensystemen von einem Fahrzeugbus, insbesondere einen Entertainment-Bus, als Daten zur Bestimmung von Eingangsdaten für das künstliche neuronale Netzt zu erhalten, mittels welchem der Aufmerksamkeitsgrad des Fahrers bestimmbar ist.This means that it is particularly conceivable that an interaction between the driver and the motor vehicle is also integrated into the proposed driver monitoring system, e.g. by bus messages being triggered by operating a radio and/or an air conditioning system and being entered into the driver monitoring system. The proposed system can therefore be designed to receive video images of the driver's face and his line of sight from the DCS, the position and orientation of arms and hands from the IRK and the driver's interactions with vehicle operating systems from a vehicle bus, in particular an entertainment Bus to obtain as data for determining input data for the artificial neural Netzt, by means of which the driver's level of attention can be determined.

Das Fahrerüberwachungssystem kann ausgestaltet sein, um basierend auf dem bestimmten Aufmerksamkeitsgrad des Fahrers ein Steuersignal zu dem Kraftfahrzeug auszugeben.The driver monitoring system may be configured to output a control signal to the motor vehicle based on the driver's determined level of alertness.

Das Fahrerüberwachungssystem kann insbesondere ausgestaltet sein, um mittels des Steuersignals in Abhängigkeit eines Zustands des Kraftfahrzeugs zu verhindern, dass das Kraftfahrzeug die Quer- und/oder die Längsführung des Kraftfahrzeugs übernimmt, oder die automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs zu beenden. Im Falle des Beendens der automatisierten Quer- und/oder Längsführung ist insbesondere denkbar, dass das Fahrerüberwachungssystem ausgestaltet ist, um eine Ausgabevorrichtung so anzusteuern, dass diese ein akustisches, haptisches und/oder visuelles Warnsignal zu dem Fahrer ausgibt, die automatisierte Quer- und/oder Längsführung nach der Ausgabe des Warnsignals zu beenden und in Abhängigkeit einer Reaktion des Fahrers auf das ausgegebene Warnsignal das Kraftfahrzeug zu stoppen oder dem Fahrer eine Kontrolle über eine Quer- und/oder Längsführung des Kraftfahrzeugs zu übergeben.The driver monitoring system can be configured in particular to use the control signal, depending on a state of the motor vehicle, to prevent the motor vehicle from taking over the lateral and/or longitudinal guidance of the motor vehicle, or to end the automated lateral and/or longitudinal guidance of the motor vehicle. In the case of the termination of the automated lateral and/or longitudinal guidance, it is particularly conceivable that the driver monitoring system is designed to control an output device in such a way that it outputs an acoustic, haptic and/or visual warning signal to the driver, the automated lateral and/or or to end longitudinal guidance after the warning signal has been issued and to stop the motor vehicle depending on the driver's reaction to the warning signal which has been issued, or to give the driver control of a transverse and/or longitudinal guidance of the motor vehicle.

Konkret kann dies bedeuten, dass das Fahrerüberwachungssystem ausgestaltet ist, um zu verhindern, dass das autonome System aktiv wird, falls es sich in einem deaktivierten Zustand befindet und die Aufmerksamkeit bzw. der Aufmerksamkeitsgrad des Fahrers als zu gering eingestuft wird und/oder aufgrund fehlender Eingangsdaten am Fahrerüberwachungssystem keine Eingangsdaten für das künstliche neuronale Netz bestimmt werden können. Wenn ein Verlust der Aufmerksamkeit oder der Eingangsdaten am Fahrerüberwachungssystem vom Fahrerüberwachungssystem erkannt wird, während das autonome Fahren aktiv ist, d.h. wenn der Fahrer oder Bediener müde und/oder abgelenkt ist oder das System manipuliert, kann das Fahrerüberwachungssystem ausgestaltet sein, um den Fahrer durch eine Kombination aus akustischem (z.B. Signaltöne), visuellem (Blinken im Kombiinstrumente, Einschalten der Lichter) und/oder haptischem (z.B. Vibrieren von Lenkrad und/oder Sitz) Feedback zu warnen und dann entweder die Kontrolle an den Fahrer zurück zu geben oder das Fahrzeug zu einem sicheren Halt zu bringen, bevor das Fahrerüberwachungssystem schließlich das autonome Fahren deaktiviert.Specifically, this can mean that the driver monitoring system is designed to prevent the autonomous system from becoming active if it is in a deactivated state and the driver's attention or level of attention is classified as too low and/or due to missing input data no input data for the artificial neural network can be determined on the driver monitoring system. If a loss of attention or input data to the driver monitoring system is detected by the driver monitoring system while autonomous driving is active, ie when the driver or operator is tired and/or distracted or tampering with the system, the driver monitoring system may be configured to alert the driver through a combination of audible (e.g. beeps), visual (instrument cluster flashing, lights on) and/or haptic (e.g. steering wheel and/or seat vibration) feedback and then either turn on the control handing the driver back or bringing the vehicle to a safe stop before the driver monitoring system eventually disables autonomous driving.

Das Fahrerüberwachungssystem kann ausgestaltet sein, um die von dem Kamerasystem empfangenen Bilddaten und/oder das zum Kraftfahrzeug ausgegebene Steuersignal auf einem, insbesondere crashsicheren und/oder redundanten, Speicher, und/oder per Streaming an ein Backend aufzuzeichnen.The driver monitoring system can be designed to record the image data received from the camera system and/or the control signal output to the motor vehicle on a particularly crash-proof and/or redundant memory and/or by streaming to a backend.

Mit anderen Worten, Eingaben und Ausgaben des Systems können auf einem crashsicheren Speicher, einem redundanten Speicher und/oder per Streaming an ein Backend aufgezeichnet werden, beispielsweise um für ein Training des künstlichen neuronalen Netzes zur Verfügung zu stehen bzw. verwendet zu werden.In other words, inputs and outputs of the system can be recorded on a crash-proof memory, a redundant memory and/or streamed to a backend, for example to be available or to be used for training the artificial neural network.

Denkbar ist, dass eine zum Fahrerüberwachungssystem verbundene Ausgabevorrichtung, die ausgestaltet ist, um eine von dem Fahrerüberwachungssystem empfangene Information an den Fahrer auszugeben, und eine zum Fahrerüberwachungssystem verbundene Eingabevorrichtung, die ausgestaltet ist, um eine Eingabe des Fahrers zu erfassen und eine zur Eingabe des Fahrers korrespondierende Information an das Fahrerüberwachungssystem auszugeben, vorgesehen ist.It is conceivable that an output device connected to the driver monitoring system, which is designed to output information received from the driver monitoring system to the driver, and an input device connected to the driver monitoring system, which is designed to detect an input from the driver and one for input from the driver output corresponding information to the driver monitoring system is provided.

Das Fahrerüberwachungssystem kann ausgestaltet sein, um eine Information über eine Umgebung des Kraftfahrzeugs zu empfangen, basierend auf der empfangenen Information über die Umgebung des Kraftfahrzeugs die Ausgabevorrichtung so anzusteuern, dass diese eine Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs eine Eingabe über die Eingabevorrichtung des Kraftfahrzeugs zu machen, und basierend auf der über die Eingabevorrichtung empfangenen Information, die zur mittels der Eingabevorrichtung erfassten Eingabe des Fahrers korrespondiert, und/oder einer Zeitspanne, die zwischen der Ausgabe der Information über die Umgebung des Kraftfahrzeugs und der Eingabe des Fahrers liegt, ein Steuersignal zu dem Kraftfahrzeug auszugeben.The driver monitoring system can be configured to receive information about the surroundings of the motor vehicle, based on the received information about the surroundings of the motor vehicle to control the output device in such a way that it outputs information to the driver, which prompts the driver to respond to the output information about the surroundings of the motor vehicle to make an input via the input device of the motor vehicle, and based on the information received via the input device, which corresponds to the input of the driver detected by means of the input device, and/or a period of time between the output of the information about the environment of the motor vehicle and the input of the driver is to output a control signal to the motor vehicle.

Die Ausgabevorrichtung kann ein Head-up Display aufweisen und das Fahrerüberwachungssystem kann ausgestaltet sein, um basierend auf der empfangenen Information über die Umgebung des Kraftfahrzeugs das Head-up Display so anzusteuern, dass dieses die Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs die Eingabe über die Eingabevorrichtung des Kraftfahrzeugs zu machen.The output device can have a head-up display and the driver monitoring system can be designed to control the head-up display based on the received information about the surroundings of the motor vehicle in such a way that it outputs the information to the driver, which prompts the driver to Response to the output information about the environment of the motor vehicle to make the input via the input device of the motor vehicle.

Das heißt, das Fahrerüberwachungssystem kann ausgestaltet sein, um in oben beschriebener Weise einen Aufmerksamkeitsgrad des Fahrers zu bestimmen und zudem, um den Fahrer aktiv in das Fahrgeschehen einzubinden und seinen Aufmerksamkeitsgrad zu erhöhen, eine Information zu dem Fahrer im Sinne einer Aufgabenstellung auszugeben, die eine Reaktion des Fahrers erfordert. Denkbar ist, dass Informationen des autonomen Systems genutzt werden, um Fragen an den Fahrer zu Umgebungszuständen in der Kraftfahrzeugumgebung zu formulieren. Beispielsweise kann das Fahrerüberwachungssystem ausgestaltet sein, mittels der Ausgabevorrichtung eine grafische Darstellung einer bevorstehenden Ampel anzuzeigen und den Fahrer zu bitten, zu bestätigen, dass der Zustand der realen Ampel mit der angezeigten übereinstimmt. Ein anderes Beispiel ist, dass das Fahrerüberwachungssystem mittels der Ausgabevorrichtung eine Visualisierung einer bevorstehenden Kreuzung anzeigt und den Fahrer fragt, ob die vom Kraftfahrzeug gemachten Annahmen über eine Vorfahrt an der Kreuzung richtig sind oder nicht. Um die Ablenkung zu minimieren, können diese Anzeigen im Head-up-Display erfolgen. Darüber hinaus können diese Fragen auch über das Audiosystem des Fahrzeugs gestellt werden, d. h. das System kann über die Lautsprecher fragen: „Bitte drücken Sie Lautstärke +, wenn die kommende Ampel grün ist, oder Lautstärke -, wenn sie es nicht ist!“. Der Fahrer muss dann die Taste am Lenkrad des Kraftfahrzeugs drücken, um die Frage zu beantworten. Das System kann dabei neben den Eingaben des Fahrers und der zuvor beschriebenen Verarbeitung auch eine Reaktionszeit sowie, ob die Frage richtig beantwortet wurde oder nicht, analysieren. Es ist zu beachten, dass das System ausgestaltet sein kann, um absichtlich falsche Annahmen über die Umgebung zu erzeugen, so dass der Fahrer nicht einfach immer die vom System vorgegebenen Annahmen bestätigen kann.This means that the driver monitoring system can be designed to determine the driver's level of alertness in the manner described above and also to actively involve the driver in the driving process and increase his level of alertness, to output information about the driver in terms of a task that one Driver reaction required. It is conceivable that information from the autonomous system is used to formulate questions for the driver about environmental conditions in the motor vehicle environment. For example, the driver monitoring system may be configured to use the output device to display a graphical representation of an upcoming traffic light and ask the driver to confirm that the status of the real traffic light matches that displayed. Another example is that the driver monitoring system uses the output device to display a visualization of an upcoming intersection and asks the driver whether the assumptions made by the motor vehicle about having the right of way at the intersection are correct or not. To minimize distraction, these displays can be in the head-up display. In addition, these questions can also be asked via the vehicle's audio system, i. H. the system can ask through the speakers: "Please press volume + if the upcoming traffic light is green, or volume - if it is not!". The driver must then press the button on the motor vehicle's steering wheel to answer the question. In addition to the driver's inputs and the processing described above, the system can also analyze a reaction time and whether the question was answered correctly or not. It should be noted that the system may be designed to intentionally generate false assumptions about the environment such that the driver cannot always easily confirm the assumptions made by the system.

Weiterhin wird ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs zu bestimmen.Furthermore, a method for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle based on input data and a predetermined number of degrees of attention.

Das Verfahren weist ein Akquirieren eines Trainingsdatensatzes für das künstliche neuronale Netz, der für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten aufweist, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers umfasst, und ein Trainieren des künstlichen neuronalen Netzes mit dem akquirierten Trainingsdatensatz auf.The method involves acquiring a training data set for the artificial neural network, which has at least one set of input data for each attention level, with each set of input data having one information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver, and training the artificial neural network with the acquired training data set.

Das oben mit Bezug zum Kraftfahrzeug Beschriebene gilt analog auch für das Verfahren und umgekehrt.What was described above with reference to the motor vehicle also applies analogously to the method and vice versa.

Die Erfindung betrifft auch eine Verwendung eines Trainingsdatensatzes zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs zu bestimmen.The invention also relates to the use of a training data set for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle based on input data and a predetermined number of degrees of attention.

Der Trainingsdatensatz weist für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten auf, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers umfasst.The training data set has at least one set of input data for each level of attentiveness, each set of input data including information about a position of a face, a viewing direction, and a position and an orientation of the driver's arms and hands.

Das oben mit Bezug zum Kraftfahrzeug und zum Verfahren Beschriebene gilt analog auch für die Verwendung und umgekehrt.What has been described above with reference to the motor vehicle and the method also applies analogously to the use and vice versa.

Weiterhin wird ein Trainingsdatensatz zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs zu bestimmen, bereit gestellt.Furthermore, a training data set for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle based on input data and a predetermined number of degrees of attention, is provided.

Der Trainingsdatensatz weist für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten auf, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers umfasst.The training data set has at least one set of input data for each level of attentiveness, each set of input data including information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver.

Das oben mit Bezug zum Kraftfahrzeug, zum Verfahren und zur Verwendung Beschriebene gilt analog auch für den Trainingsdatensatz und umgekehrt.What has been described above with reference to the motor vehicle, the method and the use also applies analogously to the training data set and vice versa.

Die oben Beschriebene Erfindung schlägt demnach ein technisches Überwachungssystem eines Fahrers, insbesondere eines Sicherheitsfahrers oder Bedieners, vor, das laufend den Aufmerksamkeitsgrad des Fahrers ermitteln kann. Dazu können technische Systeme in Kombination verwendet werden, die bereits im Kraftfahrzeug verbaut sind, aber ursprünglich für andere Anwendungsfälle gedacht waren. Eine Erweiterung des vorgeschlagenen Systems ist denkbar, die den Fahrer direkt in die Fahraufgabe einbindet und so sicherstellt, dass der Fahrer über die Verkehrssituation, in der sich das Fahrzeug befindet, informiert ist.The invention described above therefore proposes a technical monitoring system for a driver, in particular a safety driver or operator, which can continuously determine the driver's level of alertness. For this purpose, technical systems can be used in combination that are already installed in the motor vehicle but were originally intended for other applications. An extension of the proposed system is conceivable, which involves the driver directly in the driving task and thus ensures that the driver is informed about the traffic situation in which the vehicle is located.

Nachfolgend wird eine Ausführungsform mit Bezug zu 1 und 2 beschrieben.

  • 1 zeigt schematisch ein Fahrerüberwachungssystem für ein Kraftfahrzeug, und
  • 2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes.
The following is an embodiment related to 1 and 2 described.
  • 1 shows schematically a driver monitoring system for a motor vehicle, and
  • 2 FIG. 1 schematically shows a flow chart of a method for training an artificial neural network.

Das in 1 schematisch dargestellte Kraftfahrzeug 1 weist ein Fahrassistenzsystem 2 auf, welches ausgestaltet ist, um zumindest zeitweise automatisiert eine Quer- und/oder eine Längsführung des Kraftfahrzeugs 1 zu übernehmen.This in 1 Schematically illustrated motor vehicle 1 has a driver assistance system 2, which is designed to at least temporarily take over automated transverse and/or longitudinal guidance of motor vehicle 1.

Das Kraftfahrzeug 1 weist ein Kamerasystem 3, ein zum Kamerasystem 3 verbundenes Fahrerüberwachungssystem 4, ein System zum Erfassen einer Nutzereingabe bzw. ein Nutzereingabeerfassungssystem 5, das zum Fahrerüberwachungssystem 4 verbunden ist, und eine Ausgabevorrichtung 6 auf, die ebenfalls zum Fahrerüberwachungssystem 4 verbunden ist.Motor vehicle 1 has a camera system 3, a driver monitoring system 4 connected to camera system 3, a system for detecting a user input or a user input detection system 5, which is connected to driver monitoring system 4, and an output device 6, which is also connected to driver monitoring system 4.

Das Kamerasystem 3 ist ausgestaltet, um Bilddaten 31 eines (nicht dargestellten) Fahrers des Kraftfahrzeugs 1 zu akquirieren und diese zu dem Fahrerüberwachungssystem 4 auszugeben.The camera system 3 is designed to acquire image data 31 of a driver (not shown) of the motor vehicle 1 and to output this to the driver monitoring system 4 .

Das Nutzereingabeerfassungssystem 5 ist ausgestaltet, um eine Nutzereingabe zu erfassen und eine Information 51 über die erfasste Nutzereingabe zu dem Fahrerüberwachungssystem 4 auszugeben.The user input detection system 5 is designed to detect a user input and to output information 51 about the detected user input to the driver monitoring system 4 .

Die Ausgabevorrichtung 6 ist ausgestaltet, um eine von dem Fahrerüberwachungssystem 4 empfangene Information an den Fahrer auszugeben.The output device 6 is designed to output information received from the driver monitoring system 4 to the driver.

Das Fahrerüberwachungssystem 4 ist ausgestaltet, um die von dem Kamerasystem 4 akquirierten Bilddaten 31 und die Information 51 über die erfasste Nutzereingabe von dem Nutzereingabeerfassungssystem 5 zu empfangen und basierend auf den empfangenen Bilddaten und der von dem Nutzereingabeerfassungssystem 5 empfangenen Information 51 einen Aufmerksamkeitsgrad 42 des Fahrers zu bestimmen.The driver monitoring system 4 is configured to receive the image data 31 acquired by the camera system 4 and the information 51 about the detected user input from the user input detection system 5 and based on the received image data and the information 51 received from the user input detection system 5 to a degree of attention 42 of the driver determine.

Zur Bestimmung des Aufmerksamkeitsgrades 42 des Fahrers ist das Fahrerüberwachungssystem 4 ausgestaltet, um in einem ersten Schritt S1 eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers als Eingangsdaten 41 für ein künstliches neuronales Netz basierend auf den vom Kamerasystem empfangenen Bilddaten 31 und der von dem Nutzereingabeerfassungssystem 5 empfangenen Information 51 zu bestimmen.To determine the level of attention 42 of the driver, the driver monitoring system 4 is designed to, in a first step S1, a position of a face, a viewing direction, and a position and an orientation of the driver's arms and hands as input data 41 for to determine an artificial neural network based on the image data 31 received from the camera system and the information 51 received from the user input detection system 5 .

Zur Bestimmung des Aufmerksamkeitsgrades 42 des Fahrers ist das Fahrerüberwachungssystem 4 ausgestaltet, um in einem zweiten Schritt S2 die in dem ersten Schritt S1 bestimmten Eingangsdaten 41 in das künstliche neuronale Netz einzugeben, das ausgestaltet ist, den Aufmerksamkeitsgrad des Fahrers basierend auf den Eingangsdaten 41 zu bestimmen, und mittels des neuronalen Netzes basierend auf den Eingangsdaten 41 den Aufmerksamkeitsgrad 42 des Fahrers zu bestimmen.In order to determine the level of attention 42 of the driver, the driver monitoring system 4 is designed to enter the input data 41 determined in the first step S1 into the artificial neural network in a second step S2, which is designed to determine the level of attention of the driver based on the input data 41 , and to determine the level of attention 42 of the driver by means of the neural network based on the input data 41 .

Das Fahrerüberwachungssystem 4 ist ferner ausgestaltet, um basierend auf dem im zweiten Schritt S2 bestimmten Aufmerksamkeitsgrad 42 des Fahrers in einem dritten Schritt S3 ein erstes Steuersignal 43 zu bestimmen und zu dem Kraftfahrzeug 1, insbesondere zu dem Fahrassistenzsystem 2, auszugeben.Driver monitoring system 4 is also designed to determine a first control signal 43 in a third step S3 based on driver attention level 42 determined in second step S2 and to output it to motor vehicle 1 , in particular to driver assistance system 2 .

Das Fahrerüberwachungssystem 4 ist ausgestaltet, um das erste Steuersignal 43 in Abhängigkeit des Zustands des Kraftfahrzeugs 1 auszugeben. Das heißt, mittels des ersten Steuersignals 43 kann das Fahrerüberwachungssystem 4 in einem Zustand, in dem das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 nicht ausführt, verhindern, dass das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 übernimmt. Jedoch in einem Zustand des Kraftfahrzeugs 1, in dem das Fahrassistenzsystem 2 die automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs 1 aktuell ausführt, ist das Fahrerüberwachungssystem 4 ausgestaltet, um die automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs 1 mittels des ersten Steuersignals 43 zu beenden. Driver monitoring system 4 is designed to output first control signal 43 depending on the state of motor vehicle 1 . In other words, using first control signal 43, driver monitoring system 4 can, in a state in which driver assistance system 2 is not executing the lateral and/or longitudinal guidance of motor vehicle 1, prevent driver assistance system 2 from performing the lateral and/or longitudinal guidance of the vehicle Motor vehicle 1 takes over. However, in a state of the motor vehicle 1 in which the driver assistance system 2 is currently executing the automated lateral and/or longitudinal guidance of the motor vehicle 1, the driver monitoring system 4 is configured to carry out the automated lateral and/or longitudinal guidance of the motor vehicle 1 by means of the first control signal 43 to end.

Im letzteren Fall ist denkbar, dass das Fahrerüberwachungssystem 4 die Ausgabevorrichtung 6 mittels einem im dritten Schritt S3 bestimmten zweiten Steuersignals 44 so ansteuert, dass die Ausgabevorrichtung 6 ein akustisches, haptisches und/oder visuelles Warnsignal zu dem Fahrer ausgibt. Anschließend kann das Fahrerüberwachungssystem 4 die automatisierte Quer- und/oder Längsführung mittels des ersten Steuersignals 43 beenden, und in Abhängigkeit einer Reaktion des Fahrers auf das ausgegebene Warnsignal das Kraftfahrzeug 1 stoppen oder dem Fahrer eine Kontrolle über eine Quer- und/oder Längsführung des Kraftfahrzeugs 1 übergeben. Die Reaktion des Fahrers kann beispielswiese mittels dem zum Fahrerüberwachungssystem 4 verbundenen Nutzereingabeerfassungssystem 5 erfasst werden.In the latter case it is conceivable that the driver monitoring system 4 controls the output device 6 by means of a second control signal 44 determined in the third step S3 such that the output device 6 outputs an acoustic, haptic and/or visual warning signal to the driver. Driver monitoring system 4 can then end the automated lateral and/or longitudinal guidance by means of first control signal 43, and depending on the driver's reaction to the warning signal that is issued, motor vehicle 1 can be stopped or the driver can control a lateral and/or longitudinal guidance of the motor vehicle 1 handed over. The driver's reaction can be detected, for example, by means of the user input detection system 5 connected to the driver monitoring system 4 .

Das Kraftfahrzeug 1 kann weiterhin einen Speicher 7 aufweisen, der zu dem Fahrerüberwachungssystem 4 verbunden ist, wobei das Fahrerüberwachungssystem 4 ausgestaltet ist, um die von dem Kamerasystem 3 empfangenen Bilddaten 31, die zum Kraftfahrzeug 1 ausgegebenen Steuersignale 43, 44, 45, 46 und/oder die von dem Nutzereingabeerfassungssystem 5 empfangene Information auf dem Speicher 7 zu speichern. Bei dem Speicher 7 kann es sich insbesondere um einen crashsicheren und/oder redundanten Speicher handeln. Denkbar ist auch, diese Informationen 31, 43, 44, 51 zusätzlich oder alternativ per Streaming an ein Backend ausgehend von dem Fahrerüberwachungssystem 4 zu senden und dort aufzuzeichnen.The motor vehicle 1 can also have a memory 7, which is connected to the driver monitoring system 4, the driver monitoring system 4 being designed to store the image data 31 received from the camera system 3, the control signals 43, 44, 45, 46 and/or output to the motor vehicle 1. or to store the information received from the user input detection system 5 on the memory 7. The memory 7 can in particular be a crash-proof and/or redundant memory. It is also conceivable to send this information 31, 43, 44, 51 additionally or alternatively by streaming to a backend from the driver monitoring system 4 and to record it there.

Das Fahrerüberwachungssystem 4 ist vorliegend zudem ausgestaltet, um von dem Fahrassistenzsystem 2 eine Information 21 über eine Umgebung des Kraftfahrzeugs 1 zu empfangen. Basierend auf der empfangenen Information 21 über die Umgebung des Kraftfahrzeugs 1 steuert das Fahrerüberwachungssystem 4 die Ausgabevorrichtung 6 mittels eines dritten Steuersignals 45 so an, dass diese eine Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs 1 eine Eingabe über die Eingabevorrichtung bzw. das Nutzereingabeerfassungssystem 5 des Kraftfahrzeugs zu machen. Basierend auf der über die Eingabevorrichtung 5 empfangenen Information, die zur mittels der Eingabevorrichtung 5 erfassten Eingabe des Fahrers korrespondiert, und/oder einer Zeitspanne, die zwischen der Ausgabe der Information über die Umgebung des Kraftfahrzeugs 1 mittels der Ausgabevorrichtung 6 und der Eingabe des Fahrers liegt, gibt das Fahrerüberwachungssystem 4 ein viertes Steuersignal 46 zu dem Fahrassistenzsystem 2 aus. Mittels des vierten Steuersignals 46 kann analog zum zweiten Steuersignal 44 in Abhängigkeit eines Zustands des Kraftfahrzeugs 1, insbesondere in einem Zustand, in dem das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 nicht ausführt, verhindert werden, dass das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 übernimmt, oder eine aktuell mittels des Fahrassistenzsystems 2 durchgeführte automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs 1 beendet werden.In the present case, the driver monitoring system 4 is also designed to receive information 21 about the surroundings of the motor vehicle 1 from the driver assistance system 2 . Based on the received information 21 about the surroundings of the motor vehicle 1, the driver monitoring system 4 controls the output device 6 by means of a third control signal 45 in such a way that it outputs information to the driver, which prompts the driver to respond to the output information about the surroundings of the motor vehicle 1 to make an input via the input device or the user input detection system 5 of the motor vehicle. Based on the information received via the input device 5, which corresponds to the driver's input detected by means of the input device 5, and/or a period of time that lies between the output of the information about the surroundings of the motor vehicle 1 by means of the output device 6 and the driver's input , the driver monitoring system 4 outputs a fourth control signal 46 to the driver assistance system 2 . In a manner analogous to second control signal 44, fourth control signal 46 can be used to prevent driver assistance system 2 takes over the lateral and/or longitudinal guidance of motor vehicle 1, or an automated lateral and/or longitudinal guidance of motor vehicle 1 that is currently being carried out by means of driver assistance system 2 is terminated.

Zur Ausgabe der Information an den Fahrer kann die Ausgabevorrichtung 6 ein (nicht dargestelltes) Head-up Display aufweisen.To output the information to the driver, the output device 6 can have a head-up display (not shown).

Nachfolgend wird mit Bezug zu 2 ein Verfahren zum Trainieren des künstlichen neuronalen Netzes des Fahrerüberwachungssystems 4 beschrieben, wobei das künstliche neuronale Netz ausgestaltet ist, um in oben beschriebener Weise basierend auf Eingangsdaten 42 und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden den Aufmerksamkeitsgrad des Fahrers des Kraftfahrzeugs 1 zu bestimmenThe following is related to 2 a method for training the artificial neural network of the driver monitoring system 4 is described, the artificial neural network being configured in the manner described above to determine the degree of attention of the driver of the motor vehicle 1 based on input data 42 and a predetermined number of degrees of attention

Wie 2 zu entnehmen ist, weist das Verfahren im Wesentlichen zwei Schritte S11 und S12 auf.As 2 can be seen, the method essentially has two steps S11 and S12.

In dem ersten Schritt S11 des Verfahrens wird ein Trainingsdatensatz für das künstliche neuronale Netz akquiriert, der für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten aufweist. Jeder Satz an Eingangsdaten umfasst jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers.In the first step S11 of the method, a training data set for the artificial neural network is acquired, which has at least one set of input data for each degree of attention. Each set of input data includes information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver.

In dem zweiten Schritt S12 des Verfahrens erfolgt das Trainieren des künstlichen neuronalen Netzes mit dem im ersten Schritt S11 des Verfahrens akquirierten Trainingsdatensatz.In the second step S12 of the method, the artificial neural network is trained with the training data record acquired in the first step S11 of the method.

BezugszeichenlisteReference List

11
Kraftfahrzeugmotor vehicle
22
Fahrassistenzsystemdriver assistance system
2121
Information über eine Umgebung des KraftfahrzeugsInformation about an environment of the motor vehicle
33
Kamerasystemcamera system
3131
Bilddatenimage data
44
Fahrerüberwachungssystemdriver monitoring system
4141
Eingangsdaten für das künstliche neuronale NetzInput data for the artificial neural network
4242
Aufmerksamkeitsgrad des Fahrerslevel of attention of the driver
43 - 4643 - 46
Steuersignalecontrol signals
55
Nutzereingabeerfassungssystem bzw. EingabevorrichtungUser input detection system or input device
5151
Information, die zu einer Nutzereingabe korrespondiertInformation corresponding to user input
66
Ausgabevorrichtungdispenser
77
SpeicherStorage
S1-S3S1-S3
Schritte zum Bestimmen des Aufmerksamkeitsgrades des FahrersSteps to determine driver alertness level
S11, S12S11, S12
Schritte zum Trainieren des künstlichen neuronalen NetztesSteps to train the artificial neural network

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 2019367038 A1 [0003]US 2019367038 A1 [0003]

Claims (10)

Kraftfahrzeug (1), wobei das Kraftfahrzeug (1): - ausgestaltet ist, um zumindest zeitweise automatisiert eine Quer- und/oder eine Längsführung des Kraftfahrzeugs (1) zu übernehmen, - ein Kamerasystem (3) aufweist, das ausgestaltet ist, um Bilddaten (31) eines Fahrers des Kraftfahrzeugs (1) zu akquirieren, und - ein zum Kamerasystem (3) verbundenes Fahrerüberwachungssystem (4) aufweist, das ausgestaltet ist, die von dem Kamerasystem (3) akquirierten Bilddaten (31) zu empfangen und basierend auf den empfangenen Bilddaten (31) einen Aufmerksamkeitsgrad des Fahrers zu bestimmen, dadurch gekennzeichnet, dass - das Fahrerüberwachungssystem (4) zur Bestimmung des Aufmerksamkeitsgrades des Fahrers ausgestaltet ist, um: - eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers als Eingangsdaten (42) für ein künstliches neuronales Netz basierend auf den vom Kamerasystem (3) empfangenen Bilddaten (31) zu bestimmen, - die Eingangsdaten (42) in das künstliche neuronale Netz einzugeben, das ausgestaltet ist, den Aufmerksamkeitsgrad des Fahrers basierend auf den Eingangsdaten (42) zu bestimmen, und - mittels des neuronalen Netzes basierend auf den Eingangsdaten (42) den Aufmerksamkeitsgrad des Fahrers zu bestimmen.Motor vehicle (1), wherein the motor vehicle (1): - is designed to at least temporarily take over automated transverse and/or longitudinal guidance of the motor vehicle (1), - has a camera system (3) which is designed to record image data (31) of a driver of the motor vehicle (1) to acquire, and - a driver monitoring system (4) connected to the camera system (3), which is designed to receive the image data (31) acquired from the camera system (3) and based on the received image data (31) to determine a degree of attentiveness of the driver, characterized in that - the driver monitoring system (4) for determining the degree of attentiveness of the driver is designed to: - a position of a face, a viewing direction, and a position and an orientation of arms and to determine the driver's hands as input data (42) for an artificial neural network based on the image data (31) received from the camera system (3), - the input input data (42) into the artificial neural network, which is designed to determine the driver's level of attention based on the input data (42), and - to determine the driver's level of attention using the neural network based on the input data (42). Kraftfahrzeug (1) nach Anspruch 1, dadurch gekennzeichnet, dass - das Kraftfahrzeug (1) ein zum Fahrerüberwachungssystem (4) verbundenes System (5) zum Erfassen einer Nutzereingabe aufweist, wobei das System (5) zum Erfassen der Nutzereingabe ausgestaltet ist, eine Information (51) über eine erfasste Nutzereingabe zu dem Fahrerüberwachungssystem (4) auszugeben, und - das Fahrerüberwachungssystem (4) ausgestaltet ist, um die Eingangsdaten (42) für das künstliche neuronales Netz ferner basierend auf der von dem System (5) zum Erfassen der Nutzereingabe empfangenen Information (51) zu bestimmen.Motor vehicle (1) after claim 1 , characterized in that - the motor vehicle (1) has a system (5) connected to the driver monitoring system (4) for detecting a user input, wherein the system (5) is designed for detecting the user input, information (51) about a detected user input to the driver monitoring system (4), and - the driver monitoring system (4) is designed to determine the input data (42) for the artificial neural network based on the information (51) received from the system (5) for detecting the user input . Kraftfahrzeug (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass - das Fahrerüberwachungssystem (4) ausgestaltet ist, um basierend auf dem bestimmten Aufmerksamkeitsgrad des Fahrers ein Steuersignal (43, 44, 45, 46) zu dem Kraftfahrzeug (1) auszugeben.Motor vehicle (1) after claim 1 or 2 , characterized in that - the driver monitoring system (4) is designed to output a control signal (43, 44, 45, 46) to the motor vehicle (1) based on the determined degree of attention of the driver. Kraftfahrzeug (1) nach Anspruch 3, dadurch gekennzeichnet, dass - das Fahrerüberwachungssystem (4) ausgestaltet ist, um mittels des Steuersignals (43) in Abhängigkeit eines Zustands des Kraftfahrzeugs (1): - zu verhindern, dass das Kraftfahrzeug (1) die Quer- und/oder die Längsführung des Kraftfahrzeugs (1) übernimmt, oder - eine automatisierte Quer- und/oder die Längsführung des Kraftfahrzeugs (1) zu beenden, insbesondere eine Ausgabevorrichtung (6) so anzusteuern, dass diese ein akustisches, haptisches und/oder visuelles Warnsignal zu dem Fahrer ausgibt, die automatisierte Quer- und/oder Längsführung nach der Ausgabe des Warnsignals zu beenden und in Abhängigkeit einer Reaktion des Fahrers auf das ausgegebene Warnsignal das Kraftfahrzeug (1) zu stoppen oder dem Fahrer eine Kontrolle über eine Quer- und/oder Längsführung des Kraftfahrzeugs (1) zu übergeben.Motor vehicle (1) after claim 3 , characterized in that - the driver monitoring system (4) is designed to use the control signal (43) as a function of a state of the motor vehicle (1): - to prevent the motor vehicle (1) from changing the transverse and/or longitudinal guidance of the motor vehicle (1), or - to terminate automated lateral and/or longitudinal guidance of the motor vehicle (1), in particular to control an output device (6) in such a way that it emits an acoustic, haptic and/or visual warning signal to the driver, to end the automated lateral and/or longitudinal guidance after the warning signal has been issued and to stop the motor vehicle (1) depending on the driver's reaction to the warning signal that has been issued, or to give the driver control over a lateral and/or longitudinal guidance of the motor vehicle (1 ) to hand over. Kraftfahrzeug (1) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass - das Fahrerüberwachungssystem (4) ausgestaltet ist, um die von dem Kamerasystem (3) empfangenen Bilddaten (31) und/oder das zum Kraftfahrzeug ausgegebene Steuersignal (43, 44, 45, 46) auf einem Speicher (7) und/oder per Streaming an ein Backend aufzuzeichnen.Motor vehicle (1) according to one of Claims 1 until 4 , characterized in that - the driver monitoring system (4) is designed to store the image data (31) received from the camera system (3) and/or the control signal (43, 44, 45, 46) output to the motor vehicle on a memory (7) and/or streamed to a backend. Kraftfahrzeug (1) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Kraftfahrzeug (1) aufweist: - eine zum Fahrerüberwachungssystem (4) verbundene Ausgabevorrichtung (6), die ausgestaltet ist, um eine von dem Fahrerüberwachungssystem (4) empfangene Information an den Fahrer auszugeben, und - eine zum Fahrerüberwachungssystem (4) verbundene Eingabevorrichtung (5), die ausgestaltet ist, um eine Eingabe des Fahrers zu erfassen und eine zur Eingabe des Fahrers korrespondierende Information (51) an das Fahrerüberwachungssystem (4) auszugeben, - wobei das Fahrerüberwachungssystem (4) ausgestaltet ist, um: - eine Information (21) über eine Umgebung des Kraftfahrzeugs (1) zu empfangenen, - basierend auf der empfangenen Information (21) über die Umgebung des Kraftfahrzeugs (1) die Ausgabevorrichtung (6) so anzusteuern, dass diese eine Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs (1) eine Eingabe über die Eingabevorrichtung (5) des Kraftfahrzeugs (1) zu tätigen, und - basierend auf der über die Eingabevorrichtung (5) empfangenen Information (51), die zur mittels der Eingabevorrichtung (5) erfassten Eingabe des Fahrers korrespondiert, und/oder einer Zeitspanne, die zwischen der Ausgabe der Information über die Umgebung des Kraftfahrzeugs und der Eingabe des Fahrers liegt, ein Steuersignal (46) zu dem Kraftfahrzeug (1) auszugeben.Motor vehicle (1) according to one of Claims 1 until 5 , characterized in that the motor vehicle (1) has: - an output device (6) connected to the driver monitoring system (4), which is designed to output information received from the driver monitoring system (4) to the driver, and - a driver monitoring system ( 4) connected input device (5), which is designed to detect an input from the driver and to output information (51) corresponding to the driver's input to the driver monitoring system (4), - the driver monitoring system (4) being designed to: - to receive information (21) about the surroundings of the motor vehicle (1), - to control the output device (6) based on the received information (21) about the surroundings of the motor vehicle (1) in such a way that it outputs information to the driver , which prompts the driver, in response to the output information about the environment of the motor vehicle (1) an input via the input device (5) de s motor vehicle (1), and - based on the information (51) received via the input device (5), which corresponds to the input of the driver detected by means of the input device (5), and/or a period of time between the output of the Information about the environment of the motor vehicle and the driver's input is to output a control signal (46) to the motor vehicle (1). Kraftfahrzeug nach Anspruch 6, dadurch gekennzeichnet, dass die Ausgabevorrichtung (6) ein Head-up Display aufweist und das Fahrerüberwachungssystem (4) ausgestaltet ist, um basierend auf der empfangenen Information über die Umgebung des Kraftfahrzeugs (1) das Head-up Display so anzusteuern, dass dieses die Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs (1) die Eingabe über die Eingabevorrichtung (5) zu tätigen.motor vehicle after claim 6 , characterized in that the output device (6) has a head-up display and the driver monitoring system (4) is designed to control the head-up display based on the received information about the surroundings of the motor vehicle (1) so that this Outputs information to the driver, which prompts the driver to make the input via the input device (5) in response to the output information about the environment of the motor vehicle (1). Verfahren zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten (42) und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs (1) zu bestimmen, dadurch gekennzeichnet, dass das Verfahren aufweist: - Akquirieren eines Trainingsdatensatzes für das künstliche neuronale Netz, der für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten aufweist, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers umfasst, und - Trainieren des künstlichen neuronalen Netzes mit dem akquirierten Trainingsdatensatz.Method for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle (1) based on input data (42) and a predetermined number of degrees of attention, characterized in that the method comprises: - Acquiring a training data set for the artificial neural network, which has at least one set of input data for each degree of attention, each set of input data comprising information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver, and Training the artificial neural network with the acquired training data set. Verwendung eines Trainingsdatensatzes zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten (42) und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs (1) zu bestimmen, dadurch gekennzeichnet, dass der Trainingsdatensatz für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten aufweist, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers umfasst.Use of a training data set for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle (1) based on input data (42) and a predetermined number of degrees of attention, characterized in that the training data set for each degree of attention at least has a set of input data, each set of input data comprising information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver. Trainingsdatensatz zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten (42) und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs (1) zu bestimmen, dadurch gekennzeichnet, dass der Trainingsdatensatz für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten aufweist, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers umfasst.Training data set for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle (1) based on input data (42) and a predetermined number of degrees of attention, characterized in that the training data set for each degree of attention at least one sentence of input data, each set of input data comprising information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver.
DE102021101805.6A 2021-01-27 2021-01-27 DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES Pending DE102021101805A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021101805.6A DE102021101805A1 (en) 2021-01-27 2021-01-27 DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021101805.6A DE102021101805A1 (en) 2021-01-27 2021-01-27 DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES

Publications (1)

Publication Number Publication Date
DE102021101805A1 true DE102021101805A1 (en) 2022-07-28

Family

ID=82321126

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021101805.6A Pending DE102021101805A1 (en) 2021-01-27 2021-01-27 DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES

Country Status (1)

Country Link
DE (1) DE102021101805A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022004323B3 (en) 2022-11-21 2023-09-21 Mercedes-Benz Group AG Interior camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018108200A1 (en) 2017-05-04 2018-11-08 Toyota Research Institute, Inc. Systems and methods for reducing attentiveness while maintaining readiness by augmented reality in a vehicle
US20190367038A1 (en) 2018-06-04 2019-12-05 Sharp Kabushiki Kaisha Driver monitoring device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018108200A1 (en) 2017-05-04 2018-11-08 Toyota Research Institute, Inc. Systems and methods for reducing attentiveness while maintaining readiness by augmented reality in a vehicle
US20190367038A1 (en) 2018-06-04 2019-12-05 Sharp Kabushiki Kaisha Driver monitoring device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022004323B3 (en) 2022-11-21 2023-09-21 Mercedes-Benz Group AG Interior camera

Similar Documents

Publication Publication Date Title
DE112016002612B4 (en) Vehicle control device, vehicle control method and vehicle control program
DE102013210050B4 (en) Neurocognitive processing of a driver state
DE102015224555A1 (en) Method for operating a vehicle
DE102012105285A1 (en) Method for assisting rider of motor car, involves defining a warning strategy based on the derived rider intention of current rider, and adjusting motor car rider assistance system if necessary
WO2020020526A1 (en) Method and device for assisting an attentiveness and/or driving readiness of a driver during an automated driving process of a vehicle
DE102020124633A1 (en) CONTEXT-SENSITIVE ADAPTATION OF A TERRAIN VIEW TIME
DE102019118184A1 (en) System and method for user-specific adaptation of vehicle parameters
DE102019201407A1 (en) Method and device for controlling a driver's attention
DE102019105489A1 (en) Method, device and computer program for providing information relating to an automated driving vehicle
DE112019001883T5 (en) Methods, systems and media for controlling access to vehicle properties
EP4132830A1 (en) Method for operating a driver assistance system of a vehicle, comprising driver moderation for partially-automated functions, driver assistance system, and vehicle
WO2020002479A1 (en) Driver assistance system, vehicle, method for operating the driver assistance system, computer program, and computer-readable storage medium
DE112019007111T5 (en) Control device, control method and program
DE102019105490A1 (en) Method, device and computer program for operating a vehicle using a mobile user device
DE102021116309A1 (en) ASSISTANCE FOR DISABLED DRIVERS
DE102021101805A1 (en) DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES
DE102019130319A1 (en) Method for operating a motor vehicle that can be driven in an autonomous driving mode
DE102019118183A1 (en) Information system and process
DE112017007230B4 (en) FAULT DETERMINATOR, METHOD AND PROGRAM
DE102018210367A1 (en) Driver assistance system, vehicle, method for operating the driver assistance system, computer program and computer-readable storage medium
DE102018216044B4 (en) Method for regulating a handover of a driving task, driver assistance system, computer program and data carrier signal
DE102016213314A1 (en) Method and system for activating a highly automated driving operation in a motor vehicle
DE102019133780A1 (en) Driving system and method for exiting an automated driving mode by voice
DE102020110092A1 (en) Method, system and computer program for controlling an at least partially automated drive of a vehicle
DE102019215308A1 (en) Method for activating and / or adapting an automated driving function for an at least partially automated vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified