DE102021101805A1 - DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES - Google Patents
DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES Download PDFInfo
- Publication number
- DE102021101805A1 DE102021101805A1 DE102021101805.6A DE102021101805A DE102021101805A1 DE 102021101805 A1 DE102021101805 A1 DE 102021101805A1 DE 102021101805 A DE102021101805 A DE 102021101805A DE 102021101805 A1 DE102021101805 A1 DE 102021101805A1
- Authority
- DE
- Germany
- Prior art keywords
- driver
- motor vehicle
- monitoring system
- designed
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/082—Selecting or switching between different modes of propelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
Abstract
Bereitgestellt wird ein Kraftfahrzeug, wobei das Kraftfahrzeug ausgestaltet ist, um zumindest zweitweise automatisiert eine Quer- und/oder eine Längsführung des Kraftfahrzeugs zu übernehmen, das Kraftfahrzeug ein Kamerasystem aufweist, das ausgestaltet ist, um Bilddaten eines Fahrers des Kraftfahrzeugs zu akquirieren, und das Kraftfahrzeug ein zum Kamerasystem verbundenes Fahrerüberwachungssystem aufweist, das ausgestaltet ist, die von dem Kamerasystem akquirierten Bilddaten zu empfangen und basierend auf den empfangenen Bilddaten einen Aufmerksamkeitsgrad des Fahrers zu bestimmen. Das Fahrerüberwachungssystem ist zur Bestimmung des Aufmerksamkeitsgrades des Fahrers ausgestaltet, um eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers als Eingangsdaten für ein künstliches neuronales Netz basierend auf den vom Kamerasystem empfangenen Bilddaten zu bestimmen, die Eingangsdaten in das künstliche neuronale Netz einzugeben, das ausgestaltet ist, den Aufmerksamkeitsgrad des Fahrers basierend auf den Eingangsdaten zu bestimmen, und mittels des neuronalen Netzes basierend auf den Eingangsdaten den Aufmerksamkeitsgrad des Fahrers zu bestimmen. A motor vehicle is provided, wherein the motor vehicle is configured to take over, at least partially, automated transverse and/or longitudinal guidance of the motor vehicle, the motor vehicle has a camera system that is configured to acquire image data of a driver of the motor vehicle, and the motor vehicle a driver monitoring system connected to the camera system, which is configured to receive the image data acquired by the camera system and to determine a degree of attention of the driver based on the received image data. The driver monitoring system is designed to determine the level of alertness of the driver in order to determine a position of a face, a direction of gaze, and a position and an orientation of the driver's arms and hands as input data for an artificial neural network based on the image data received from the camera system Inputting input data into the artificial neural network, which is designed to determine the driver's level of attention based on the input data, and to determine the driver's level of attention using the neural network based on the input data.
Description
Die vorliegende Erfindung betrifft ein zumindest teilautomatisiertes Kraftfahrzeug mit einem Fahrerüberwachungssystem, das ausgestaltet ist, um einen Aufmerksamkeitsgrad eines Fahrers des Kraftfahrzeugs zu bestimmen. Die Erfindung betrifft zudem einen Trainingsdatensatz zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um den Aufmerksamkeitsgrad des Fahrers des Kraftfahrzeugs zu bestimmen. Die Erfindung betrifft ferner ein Verfahren zum Trainieren des künstlichen neuronalen Netzes. Die Erfindung betrifft ferner eine Verwendung des Trainingsdatensatzes zum Trainieren des künstlichen neuronalen Netzes.FIELD OF THE INVENTION The present invention relates to an at least partially automated motor vehicle with a driver monitoring system that is designed to determine the degree of attentiveness of a driver of the motor vehicle. The invention also relates to a training data record for training an artificial neural network, which is designed to determine the level of attention of the driver of the motor vehicle. The invention also relates to a method for training the artificial neural network. The invention also relates to using the training data set to train the artificial neural network.
Herkömmliche Fahrerüberwachungssysteme bzw. -vorrichtungen weisen eine im Fahrzeuginnenraum verbaute Sensorik auf, mittels derer Daten detektiert werden, die es einem Steuergerät erlauben festzustellen, ob ein Fahrer das Fahrzeug und/oder das Fahrgeschehen überwacht, selbst wenn das Fahrzeug (teil-) automatisiert fährt, d.h. die Quer- und/oder Längsführung vom Fahrzeug übernommen wird.Conventional driver monitoring systems or devices have sensors installed in the vehicle interior, by means of which data are detected which allow a control unit to determine whether a driver is monitoring the vehicle and/or the driving situation, even if the vehicle is (partially) automated. i.e. the lateral and/or longitudinal guidance is taken over by the vehicle.
Aus der
Eine Entwicklung von Fahrassistenzsystemen für ein autonomes Fahren, insbesondere im städtischen Bereich, kann sich von der Art und Weise unterscheiden, wie traditionelle Fahrassistenzsysteme entwickelt werden. Anstatt einer Entwicklung und Tests bis zu einem bestimmten Produktionsstart durchzuführen, nach dem Kunden das entwickelte Fahrzeug zusammen mit darin verbauten Fahrassistenzsystemen kaufen können, werden autonome Systeme schrittweise auf den Markt gebracht werden, wobei Sicherheitsfahrer oder Bediener in der Entwicklung eingesetzt werden, die die korrekte Funktionalität des Fahrzeugs bei Testfahrten überwachen.A development of driver assistance systems for autonomous driving, especially in urban areas, can differ from the way traditional driver assistance systems are developed. Instead of having development and testing up to a certain start of production, after which customers can buy the developed vehicle together with driver assistance systems built into it, autonomous systems will be brought to market in stages, with safety drivers or operators being used in development who have the correct functionality of the vehicle during test drives.
Diese Sicherheitsfahrer oder Bediener haben die Aufgabe bei Testfahrten einzugreifen, d.h. eine Fahrzeugführung manuell zu übernehmen, sobald eine automatisierte Fahrzeugführung nicht wie erwartet bzw. gewünscht funktioniert. Erst nach einer bestimmten Anzahl von Testfahrten im realen Verkehr wird ein neu entwickeltes Fahrassistenzsystem, beispielsweise über ein Software-Update, auf den Markt gebracht werden. Dann kehren Sicherheitsfahrer und Bediener zu den Fahrzeugen zurück und beginnen mit dem Testen eines weiteren Fahrassistenzsystems und ein Testzyklus beginnt für das weitere Fahrassistenzsystem von neuem. Auf diese Weise dringen autonome Fahrzeuge nach und nach in komplexere Bereiche vor und gewinnen mit der Zeit komplexere Manövrierfähigkeiten.These safety drivers or operators have the task of intervening during test drives, i.e. taking over vehicle guidance manually as soon as automated vehicle guidance does not work as expected or desired. Only after a certain number of test drives in real traffic will a newly developed driver assistance system be brought onto the market, for example via a software update. Then safety drivers and operators return to the vehicles and begin testing another driver assistance system and a test cycle begins again for the other driver assistance system. In this way, autonomous vehicles gradually penetrate into more complex areas and gain more complex maneuvering capabilities over time.
Der Unterschied zwischen Sicherheitsfahrer und Bediener ist der technische Detailgrad, dem der Fahrer ausgesetzt ist. Der Sicherheitsfahrer hat Zugriff auf tiefere Einblicke in das zugrundeliegende autonome System, wie z. B. die Visualisierung von Sensoren, erkannten Objekten und Hindernissen sowie die Steuerungsabsicht des Fahrzeugs. Dadurch kann der Sicherheitsfahrer im Vergleich zum Bediener schneller eingreifen, z. B. wenn ein kollisionsrelevantes Objekt vom autonomen System nicht erkannt wird. Der Bediener muss nicht über ein so tiefes Verständnis verfügen und ist somit näher am eigentlichen Kunden.The difference between safety driver and operator is the level of technical detail that the driver is exposed to. The safety driver has access to deeper insights into the underlying autonomous system, e.g. B. the visualization of sensors, detected objects and obstacles as well as the control intention of the vehicle. This allows the safety driver to intervene more quickly than the operator, e.g. B. if a collision-relevant object is not recognized by the autonomous system. The operator does not have to have such a deep understanding and is therefore closer to the actual customer.
Die Überwachung eines solchen technischen Systems, insbesondere wenn das zu überwachende System immer ausgereifter wird, kann zu einer monotonen Aufgabe für den Sicherheitsfahrer bzw. Bediener werden. Es ist bekannt, dass eine hohe Wahrscheinlichkeit besteht, dass der Sicherheitsfahrer bzw. der Bediener eine zur Überwachung des Systems nötige Aufmerksamkeit verlieren kann, wenn das zu überwachende System über einen längeren Zeitraum fehlerfrei funktioniert. Dies birgt die Gefahr, dass ein Eingreifen des Sicherheitsfahrers bzw. Bedieners in einer kritischen Situation, die ein Eingreifen des Sicherheitsfahrers bzw. Bedieners erfordert, zu spät oder überhaupt nicht erfolgt und ein Unfall bzw. eine Kollision nicht vermieden werden kann. Um dem entgegenzuwirken kann eine Dauer, für die der Sicherheitsfahrer bzw. Bediener eine Testfahrt durchführt, reduziert werden. Nachteil ist, dass dennoch nicht festgestellt werden kann, ob der Sicherheitsfahrer bzw. Bediener die nötige Aufmerksamkeit für das zu überwachende Kraftfahrzeug und/oder das Fahrgeschehen aufbringt. Denkbar sind auch visuelle Aufzeichnungen des Sicherheitsfahrers bzw. Bedieners, so dass im Falle eines Unfalls eine mögliche Unaufmerksamkeit des Sicherheitsfahrers bzw. Bedieners nachgewiesen und dieser für den möglichen Unfall verantwortlich gemacht werden kann. Dies erhöht aber nicht die Sicherheit für den Sicherheitsfahrer bzw. Bediener und auch nicht für andere Verkehrsteilnehmer. Zudem können diese Systeme leicht umgangen werden, z. B. durch das Tragen einer Maske oder das Verdecken einer Kameralinse.The monitoring of such a technical system, especially when the system to be monitored is becoming more and more sophisticated, can become a monotonous task for the safety driver or operator. It is known that there is a high probability that the safety driver or the operator can lose the attention required to monitor the system if the system to be monitored is functioning correctly over a longer period of time. This harbors the risk that the safety driver or operator will intervene too late or not at all in a critical situation that requires the safety driver or operator to intervene, and an accident or collision cannot be avoided. To counteract this, the duration for which the safety driver or operator carries out a test drive can be reduced. The disadvantage is that it cannot be determined whether the security driver or operator is paying the necessary attention to the motor vehicle to be monitored and/or the driving situation. Visual recordings by the safety driver or operator are also conceivable, so that in the event of an accident, possible inattentiveness on the part of the safety driver or operator can be proven and he/she can be held responsible for the possible accident. However, this does not increase safety for the safety driver or operator or for other road users. In addition, these systems can easily be circumvented, e.g. B. by wearing a mask or covering a camera lens.
Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine Vorrichtung und ein Verfahren anzugeben, welche geeignet sind, zumindest die oben genannten Nachteile des Standes der Technik zu überwinden.Against the background of this prior art, the object of the present invention is to specify a device and a method which are suitable for overcoming at least the above-mentioned disadvantages of the prior art.
Gelöst wird die Aufgabe durch die Merkmale der unabhängigen Ansprüche. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.The object is solved by the features of the independent claims. The dependent claims relate to preferred developments of the invention.
Danach wird die Aufgabe durch ein Kraftfahrzeug gelöst, wobei das Kraftfahrzeug ausgestaltet ist, um zumindest zeitweise automatisiert eine Quer- und/oder eine Längsführung des Kraftfahrzeugs zu übernehmen.According to this, the object is achieved by a motor vehicle, the motor vehicle being configured in order to automatically take over transverse and/or longitudinal guidance of the motor vehicle at least at times.
Bei dem Kraftfahrzeug kann es sich um einen Personenkraftwagen handeln. Das automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Kraftfahrzeugs (weitgehend) autonom erfolgt. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 1 sein, d.h. bestimmte Fahrassistenzsysteme aufweisen, die den Fahrer bei der Fahrzeugbedienung, wie beispielsweise der Abstandsregeltempomat (ACC), unterstützen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 2 sein, d.h. so teilautomatisiert sein, dass Funktionen wie automatisches Einparken, Spurhalten bzw. Querführung, allgemeine Längsführung, Beschleunigen und/oder Abbremsen von Fahrassistenzsystemen übernommen werden. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 3 sein, d.h. so bedingungsautomatisiert, dass der Fahrer das System Fahrzeug nicht durchgehend überwachen muss. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechseln und/oder Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Führung zu übernehmen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 4 sein, d.h. so hochautomatisiert, dass die Führung des Fahrzeugs dauerhaft vom System Fahrzeug übernommen wird. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 5 sein, d.h. so vollautomatisiert, dass der Fahrer zum Erfüllen der Fahraufgabe nicht erforderlich ist. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich. Das Fahrzeug kann ohne Lenkrad und Pedale auskommen.The motor vehicle can be a passenger car. Automated driving can take place in such a way that the motor vehicle moves (largely) autonomously. The motor vehicle can be a vehicle with
Das Kraftfahrzeug weist ein Kamerasystem, das ausgestaltet ist, um Bilddaten eines Fahrers des Kraftfahrzeugs zu akquirieren, und ein zum Kamerasystem verbundenes Fahrerüberwachungssystem auf, das ausgestaltet ist, die von dem Kamerasystem akquirierten Bilddaten zu empfangen und basierend auf den empfangenen Bilddaten einen Aufmerksamkeitsgrad des Fahrers zu bestimmen.The motor vehicle has a camera system, which is designed to acquire image data of a driver of the motor vehicle, and a driver monitoring system connected to the camera system, which is designed to receive the image data acquired by the camera system and, based on the received image data, assign a degree of attention to the driver determine.
Denkbar ist, dass das Kamerasystem eine in den Fahrzeuginnenraum gerichtete Kamera zum Akquirieren bzw. Aufnehmen der Bilddaten aufweist. Die Bilddaten können kontinuierlich von dem Kamerasystem akquiriert werden. Die Bilddaten können auch als Videobilddaten bezeichnet werden.It is conceivable that the camera system has a camera directed into the vehicle interior for acquiring or recording the image data. The image data can be continuously acquired from the camera system. The image data can also be referred to as video image data.
Denkbar ist, dass das Kamerasystem in zwei Subsysteme aufgeteilt ist. Beide Subsysteme können jeweils eine in den Fahrzeuginnenraum gerichtete Kamera zum Akquirieren der Bilddaten aufweisen. Die jeweils von den Subsystemen bereitgestellten Bilddaten können von dem Fahrerüberwachungssystem, insbesondere im Sinne einer Sensordatenfusion, zur Bestimmung des Aufmerksamkeitsgrads des Fahrers verwendet werden.It is conceivable that the camera system is divided into two subsystems. Both subsystems can each have a camera directed into the vehicle interior for acquiring the image data. The image data provided by the subsystems can be used by the driver monitoring system, in particular in the sense of a sensor data fusion, to determine the driver's level of attention.
Bei einem der beiden Subsysteme kann es sich um ein sog. „Driver Camera System“ (DCS) und bei dem anderen der beiden Subsysteme kann es sich um ein Innenraumkamerasystem (IRK) handeln. Herkömmlich wird das DCS verwendet, um die Aufmerksamkeit bzw. den Aufmerksamkeitsgrad des Fahrers des Kraftfahrzeugs zu bestimmen, was längere Hands-Off-Zeiten während eines automatisierten Fahrens bei einem Fahrzeug der Autonomiestufe 2 (s. oben) ermöglicht. Das DCS ist in Alleinstellung jedoch auf die Gesichts- und Augenverfolgung des Fahrers beschränkt. Dieser Vorschlag geht insofern weiter, als dass die Ausgabe des DCS nur einer der Eingänge in das vorgeschlagene Fahrerüberwachungssystem ist. Ein zusätzlicher Input kann von dem IRK erhalten werden, genauer gesagt von einer Gestenerkennung des IRK. Die Gestenerkennung beruht auf einer Verfolgung der Hände und Arme des Fahrers. So kann festgestellt werden, ob sich die Hände des Fahrers am Lenkrad befinden und/oder ob der Fahrer mit einem weiteren System, wie beispielsweise einem Smartphone und/oder einem Nutzereingabesystem des Fahrzeugs, interagiert. Während die Gestenerkennung herkömmlich ausschließlich zur Interaktion des Fahrers mit dem Kraftfahrzeug, beispielsweise zur Lautstärkeregelung und/oder zum Telefonieren, verwendet wird, wird hier vorgeschlagen, die Trackingdaten der Arme und Hände des IRK als Eingangsdaten für das Fahrerüberwachungssystem zu verwenden. Das vorgeschlagene Kamerasystem kann demnach ausgestaltet sein, sowohl Videobilder des Gesichts des Fahrers sowie dessen Blickrichtung basierend auf einer Position und/oder Orientierung des Gesichts und/oder der Augen des Fahrers als auch eine Position und Orientierung von Armen und Händen des Fahrers bereitzustellen.One of the two subsystems can be a so-called "Driver Camera System" (DCS) and the other of the two subsystems can be an interior camera system (IRK). Conventionally, the DCS is used to determine the attentiveness or the degree of attentiveness of the driver of the motor vehicle, which allows longer hands-off times during automated driving in a vehicle with autonomy level 2 (see above). On its own, however, the DCS is limited to tracking the driver's face and eyes. This proposal goes further in that the output of the DCS is only one of the inputs to the proposed driver monitoring system. Additional input can be obtained from the IRK, more specifically from a gesture recognizer of the IRK. Gesture recognition is based on tracking the driver's hands and arms. It can thus be determined whether the driver's hands are on the steering wheel and/or whether the driver is interacting with another system, such as a smartphone and/or a user input system of the vehicle. While gesture recognition is traditionally used exclusively for driver interaction with the motor vehicle, for example for volume control and/or making phone calls, it is proposed here to use the tracking data from the arms and hands of the IRK as input data for the driver monitoring system. The proposed camera system can therefore be designed to provide both video images of the driver's face and his line of sight based on a position and/or orientation of the driver's face and/or eyes and a position and orientation of the driver's arms and hands.
Das Fahrerüberwachungssystem ist ausgestaltet, um zur Bestimmung des Aufmerksamkeitsgrades des Fahrers eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers als Eingangsdaten für ein künstliches neuronales Netz basierend auf den vom Kamerasystem empfangenen Bilddaten zu bestimmen.The driver monitoring system is designed to determine a position of a face, a viewing direction, and a position and an orientation of the driver's arms and hands as input data for an artificial neural network based on the image data received from the camera system in order to determine the driver's degree of attentiveness.
Das Fahrerüberwachungssystem ist ferner ausgestaltet, um die Eingangsdaten in das künstliche neuronale Netz einzugeben, das ausgestaltet ist, den Aufmerksamkeitsgrad des Fahrers basierend auf den Eingangsdaten zu bestimmen, und mittels des neuronalen Netzes basierend auf den Eingangsdaten den Aufmerksamkeitsgrad des Fahrers zu bestimmen.The driver monitoring system is further configured to input the input data into the artificial neural network, which is configured to determine the driver's level of attentiveness based on the input data, and to determine the driver's level of attentiveness based on the input data using the neural network.
Denkbar ist insbesondere, dass das Fahrerüberwachungssystem die Daten des DCS und des IRK in im Wesentlichen Echtzeit in einem Onboard-Steuergerät verarbeitet. Diese Echtzeitverarbeitung kann ständig den Aufmerksamkeitsgrad des Fahrers bestimmen. Denkbar ist, dass sich das Fahrerüberwachungssystem und insbesondere dessen neuronales Netz dafür auf Trainingsdaten gleicher Eingaben für verschiedene Aufmerksamkeitsstufen stützt, die aus Teststudien in einem Fahrsimulator und/oder aus realen Ereignissen stammen, und die zu einem Unfall und/oder einer kritischen Situation geführt haben. Dadurch kann ferner sichergestellt werden, dass sich das Fahrerüberwachungssystem weiterentwickelt, d.h. das neuronale Netz laufend trainiert wird und damit eine Genauigkeit der Bestimmung des Aufmerksamkeitsgrads des Fahrers verbessert werden kann. Denkbar ist auch, dass das Fahrerüberwachungssystem ausgestaltet ist, eine Manipulation des Fahrerüberwachungssystems basierend auf den Eingangsdaten des Kamerasystems zu erfassen bzw. zu erkennen, beispielsweise da das Fahrerüberwachungssystem feststellt, dass eine Gesichtserkennung des Fahrers aufgrund einem Abdecken des Gesichts durch den Fahrer nicht möglich ist und/oder ein Verdecken von einer Kameralinse einer Kamera des Kamerasystems zu einem Mangel an verwertbaren Bilddaten führt.In particular, it is conceivable that the driver monitoring system processes the data from the DCS and the IRK in essentially real time in an onboard control unit. This real-time processing can constantly determine the driver's attention level. It is conceivable that the driver monitoring system, and in particular its neural network, relies on training data for the same inputs for different levels of attention, which originate from test studies in a driving simulator and/or from real events that led to an accident and/or a critical situation. It can also be ensured in this way that the driver monitoring system is developed further, i.e. the neural network is continuously trained and thus the accuracy of the determination of the driver's level of attention can be improved. It is also conceivable that the driver monitoring system is designed to detect or detect manipulation of the driver monitoring system based on the input data of the camera system, for example because the driver monitoring system determines that facial recognition of the driver is not possible due to the driver covering his face and /or covering of a camera lens of a camera of the camera system leads to a lack of usable image data.
Das Kraftfahrzeug kann ein zum Fahrerüberwachungssystem verbundenes System zum Erfassen einer Nutzereingabe aufweisen, wobei das System zum Erfassen der Nutzereingabe ausgestaltet ist, eine Information über eine erfasste Nutzereingabe zu dem Fahrerüberwachungssystem auszugeben. Das Fahrerüberwachungssystem kann ausgestaltet sein, um die Eingangsdaten für das künstliche neuronale Netz ferner basierend auf der von dem System zum Erfassen der Nutzereingabe empfangenen Information zu bestimmen.The motor vehicle can have a system connected to the driver monitoring system for detecting a user input, the system for detecting the user input being designed to output information about a detected user input to the driver monitoring system. The driver monitoring system may be configured to further determine the input data for the artificial neural network based on the information received from the system for detecting the user input.
Das heißt, es ist insbesondere denkbar, dass eine Interaktion des Fahrers mit dem Kraftfahrzeug ebenfalls in das vorgeschlagene Fahrerüberwachungssystem integriert wird, z.B. indem Busnachrichten ausgelöst durch eine Bedienung eines Radios und/oder einer Klimaanlage erfasst und in das Fahrerüberwachungssystem eingegeben werden. Das vorgeschlagene System kann also ausgestaltet sein, um zum einen Videobilder des Gesichts des Fahrers sowie dessen Blickrichtung von dem DCS, dazu die Position und Orientierung von Armen und Händen von dem IRK sowie die Interaktionen des Fahrers mit Fahrzeugbediensystemen von einem Fahrzeugbus, insbesondere einen Entertainment-Bus, als Daten zur Bestimmung von Eingangsdaten für das künstliche neuronale Netzt zu erhalten, mittels welchem der Aufmerksamkeitsgrad des Fahrers bestimmbar ist.This means that it is particularly conceivable that an interaction between the driver and the motor vehicle is also integrated into the proposed driver monitoring system, e.g. by bus messages being triggered by operating a radio and/or an air conditioning system and being entered into the driver monitoring system. The proposed system can therefore be designed to receive video images of the driver's face and his line of sight from the DCS, the position and orientation of arms and hands from the IRK and the driver's interactions with vehicle operating systems from a vehicle bus, in particular an entertainment Bus to obtain as data for determining input data for the artificial neural Netzt, by means of which the driver's level of attention can be determined.
Das Fahrerüberwachungssystem kann ausgestaltet sein, um basierend auf dem bestimmten Aufmerksamkeitsgrad des Fahrers ein Steuersignal zu dem Kraftfahrzeug auszugeben.The driver monitoring system may be configured to output a control signal to the motor vehicle based on the driver's determined level of alertness.
Das Fahrerüberwachungssystem kann insbesondere ausgestaltet sein, um mittels des Steuersignals in Abhängigkeit eines Zustands des Kraftfahrzeugs zu verhindern, dass das Kraftfahrzeug die Quer- und/oder die Längsführung des Kraftfahrzeugs übernimmt, oder die automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs zu beenden. Im Falle des Beendens der automatisierten Quer- und/oder Längsführung ist insbesondere denkbar, dass das Fahrerüberwachungssystem ausgestaltet ist, um eine Ausgabevorrichtung so anzusteuern, dass diese ein akustisches, haptisches und/oder visuelles Warnsignal zu dem Fahrer ausgibt, die automatisierte Quer- und/oder Längsführung nach der Ausgabe des Warnsignals zu beenden und in Abhängigkeit einer Reaktion des Fahrers auf das ausgegebene Warnsignal das Kraftfahrzeug zu stoppen oder dem Fahrer eine Kontrolle über eine Quer- und/oder Längsführung des Kraftfahrzeugs zu übergeben.The driver monitoring system can be configured in particular to use the control signal, depending on a state of the motor vehicle, to prevent the motor vehicle from taking over the lateral and/or longitudinal guidance of the motor vehicle, or to end the automated lateral and/or longitudinal guidance of the motor vehicle. In the case of the termination of the automated lateral and/or longitudinal guidance, it is particularly conceivable that the driver monitoring system is designed to control an output device in such a way that it outputs an acoustic, haptic and/or visual warning signal to the driver, the automated lateral and/or or to end longitudinal guidance after the warning signal has been issued and to stop the motor vehicle depending on the driver's reaction to the warning signal which has been issued, or to give the driver control of a transverse and/or longitudinal guidance of the motor vehicle.
Konkret kann dies bedeuten, dass das Fahrerüberwachungssystem ausgestaltet ist, um zu verhindern, dass das autonome System aktiv wird, falls es sich in einem deaktivierten Zustand befindet und die Aufmerksamkeit bzw. der Aufmerksamkeitsgrad des Fahrers als zu gering eingestuft wird und/oder aufgrund fehlender Eingangsdaten am Fahrerüberwachungssystem keine Eingangsdaten für das künstliche neuronale Netz bestimmt werden können. Wenn ein Verlust der Aufmerksamkeit oder der Eingangsdaten am Fahrerüberwachungssystem vom Fahrerüberwachungssystem erkannt wird, während das autonome Fahren aktiv ist, d.h. wenn der Fahrer oder Bediener müde und/oder abgelenkt ist oder das System manipuliert, kann das Fahrerüberwachungssystem ausgestaltet sein, um den Fahrer durch eine Kombination aus akustischem (z.B. Signaltöne), visuellem (Blinken im Kombiinstrumente, Einschalten der Lichter) und/oder haptischem (z.B. Vibrieren von Lenkrad und/oder Sitz) Feedback zu warnen und dann entweder die Kontrolle an den Fahrer zurück zu geben oder das Fahrzeug zu einem sicheren Halt zu bringen, bevor das Fahrerüberwachungssystem schließlich das autonome Fahren deaktiviert.Specifically, this can mean that the driver monitoring system is designed to prevent the autonomous system from becoming active if it is in a deactivated state and the driver's attention or level of attention is classified as too low and/or due to missing input data no input data for the artificial neural network can be determined on the driver monitoring system. If a loss of attention or input data to the driver monitoring system is detected by the driver monitoring system while autonomous driving is active, ie when the driver or operator is tired and/or distracted or tampering with the system, the driver monitoring system may be configured to alert the driver through a combination of audible (e.g. beeps), visual (instrument cluster flashing, lights on) and/or haptic (e.g. steering wheel and/or seat vibration) feedback and then either turn on the control handing the driver back or bringing the vehicle to a safe stop before the driver monitoring system eventually disables autonomous driving.
Das Fahrerüberwachungssystem kann ausgestaltet sein, um die von dem Kamerasystem empfangenen Bilddaten und/oder das zum Kraftfahrzeug ausgegebene Steuersignal auf einem, insbesondere crashsicheren und/oder redundanten, Speicher, und/oder per Streaming an ein Backend aufzuzeichnen.The driver monitoring system can be designed to record the image data received from the camera system and/or the control signal output to the motor vehicle on a particularly crash-proof and/or redundant memory and/or by streaming to a backend.
Mit anderen Worten, Eingaben und Ausgaben des Systems können auf einem crashsicheren Speicher, einem redundanten Speicher und/oder per Streaming an ein Backend aufgezeichnet werden, beispielsweise um für ein Training des künstlichen neuronalen Netzes zur Verfügung zu stehen bzw. verwendet zu werden.In other words, inputs and outputs of the system can be recorded on a crash-proof memory, a redundant memory and/or streamed to a backend, for example to be available or to be used for training the artificial neural network.
Denkbar ist, dass eine zum Fahrerüberwachungssystem verbundene Ausgabevorrichtung, die ausgestaltet ist, um eine von dem Fahrerüberwachungssystem empfangene Information an den Fahrer auszugeben, und eine zum Fahrerüberwachungssystem verbundene Eingabevorrichtung, die ausgestaltet ist, um eine Eingabe des Fahrers zu erfassen und eine zur Eingabe des Fahrers korrespondierende Information an das Fahrerüberwachungssystem auszugeben, vorgesehen ist.It is conceivable that an output device connected to the driver monitoring system, which is designed to output information received from the driver monitoring system to the driver, and an input device connected to the driver monitoring system, which is designed to detect an input from the driver and one for input from the driver output corresponding information to the driver monitoring system is provided.
Das Fahrerüberwachungssystem kann ausgestaltet sein, um eine Information über eine Umgebung des Kraftfahrzeugs zu empfangen, basierend auf der empfangenen Information über die Umgebung des Kraftfahrzeugs die Ausgabevorrichtung so anzusteuern, dass diese eine Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs eine Eingabe über die Eingabevorrichtung des Kraftfahrzeugs zu machen, und basierend auf der über die Eingabevorrichtung empfangenen Information, die zur mittels der Eingabevorrichtung erfassten Eingabe des Fahrers korrespondiert, und/oder einer Zeitspanne, die zwischen der Ausgabe der Information über die Umgebung des Kraftfahrzeugs und der Eingabe des Fahrers liegt, ein Steuersignal zu dem Kraftfahrzeug auszugeben.The driver monitoring system can be configured to receive information about the surroundings of the motor vehicle, based on the received information about the surroundings of the motor vehicle to control the output device in such a way that it outputs information to the driver, which prompts the driver to respond to the output information about the surroundings of the motor vehicle to make an input via the input device of the motor vehicle, and based on the information received via the input device, which corresponds to the input of the driver detected by means of the input device, and/or a period of time between the output of the information about the environment of the motor vehicle and the input of the driver is to output a control signal to the motor vehicle.
Die Ausgabevorrichtung kann ein Head-up Display aufweisen und das Fahrerüberwachungssystem kann ausgestaltet sein, um basierend auf der empfangenen Information über die Umgebung des Kraftfahrzeugs das Head-up Display so anzusteuern, dass dieses die Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs die Eingabe über die Eingabevorrichtung des Kraftfahrzeugs zu machen.The output device can have a head-up display and the driver monitoring system can be designed to control the head-up display based on the received information about the surroundings of the motor vehicle in such a way that it outputs the information to the driver, which prompts the driver to Response to the output information about the environment of the motor vehicle to make the input via the input device of the motor vehicle.
Das heißt, das Fahrerüberwachungssystem kann ausgestaltet sein, um in oben beschriebener Weise einen Aufmerksamkeitsgrad des Fahrers zu bestimmen und zudem, um den Fahrer aktiv in das Fahrgeschehen einzubinden und seinen Aufmerksamkeitsgrad zu erhöhen, eine Information zu dem Fahrer im Sinne einer Aufgabenstellung auszugeben, die eine Reaktion des Fahrers erfordert. Denkbar ist, dass Informationen des autonomen Systems genutzt werden, um Fragen an den Fahrer zu Umgebungszuständen in der Kraftfahrzeugumgebung zu formulieren. Beispielsweise kann das Fahrerüberwachungssystem ausgestaltet sein, mittels der Ausgabevorrichtung eine grafische Darstellung einer bevorstehenden Ampel anzuzeigen und den Fahrer zu bitten, zu bestätigen, dass der Zustand der realen Ampel mit der angezeigten übereinstimmt. Ein anderes Beispiel ist, dass das Fahrerüberwachungssystem mittels der Ausgabevorrichtung eine Visualisierung einer bevorstehenden Kreuzung anzeigt und den Fahrer fragt, ob die vom Kraftfahrzeug gemachten Annahmen über eine Vorfahrt an der Kreuzung richtig sind oder nicht. Um die Ablenkung zu minimieren, können diese Anzeigen im Head-up-Display erfolgen. Darüber hinaus können diese Fragen auch über das Audiosystem des Fahrzeugs gestellt werden, d. h. das System kann über die Lautsprecher fragen: „Bitte drücken Sie Lautstärke +, wenn die kommende Ampel grün ist, oder Lautstärke -, wenn sie es nicht ist!“. Der Fahrer muss dann die Taste am Lenkrad des Kraftfahrzeugs drücken, um die Frage zu beantworten. Das System kann dabei neben den Eingaben des Fahrers und der zuvor beschriebenen Verarbeitung auch eine Reaktionszeit sowie, ob die Frage richtig beantwortet wurde oder nicht, analysieren. Es ist zu beachten, dass das System ausgestaltet sein kann, um absichtlich falsche Annahmen über die Umgebung zu erzeugen, so dass der Fahrer nicht einfach immer die vom System vorgegebenen Annahmen bestätigen kann.This means that the driver monitoring system can be designed to determine the driver's level of alertness in the manner described above and also to actively involve the driver in the driving process and increase his level of alertness, to output information about the driver in terms of a task that one Driver reaction required. It is conceivable that information from the autonomous system is used to formulate questions for the driver about environmental conditions in the motor vehicle environment. For example, the driver monitoring system may be configured to use the output device to display a graphical representation of an upcoming traffic light and ask the driver to confirm that the status of the real traffic light matches that displayed. Another example is that the driver monitoring system uses the output device to display a visualization of an upcoming intersection and asks the driver whether the assumptions made by the motor vehicle about having the right of way at the intersection are correct or not. To minimize distraction, these displays can be in the head-up display. In addition, these questions can also be asked via the vehicle's audio system, i. H. the system can ask through the speakers: "Please press volume + if the upcoming traffic light is green, or volume - if it is not!". The driver must then press the button on the motor vehicle's steering wheel to answer the question. In addition to the driver's inputs and the processing described above, the system can also analyze a reaction time and whether the question was answered correctly or not. It should be noted that the system may be designed to intentionally generate false assumptions about the environment such that the driver cannot always easily confirm the assumptions made by the system.
Weiterhin wird ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs zu bestimmen.Furthermore, a method for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle based on input data and a predetermined number of degrees of attention.
Das Verfahren weist ein Akquirieren eines Trainingsdatensatzes für das künstliche neuronale Netz, der für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten aufweist, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers umfasst, und ein Trainieren des künstlichen neuronalen Netzes mit dem akquirierten Trainingsdatensatz auf.The method involves acquiring a training data set for the artificial neural network, which has at least one set of input data for each attention level, with each set of input data having one information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver, and training the artificial neural network with the acquired training data set.
Das oben mit Bezug zum Kraftfahrzeug Beschriebene gilt analog auch für das Verfahren und umgekehrt.What was described above with reference to the motor vehicle also applies analogously to the method and vice versa.
Die Erfindung betrifft auch eine Verwendung eines Trainingsdatensatzes zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs zu bestimmen.The invention also relates to the use of a training data set for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle based on input data and a predetermined number of degrees of attention.
Der Trainingsdatensatz weist für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten auf, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers umfasst.The training data set has at least one set of input data for each level of attentiveness, each set of input data including information about a position of a face, a viewing direction, and a position and an orientation of the driver's arms and hands.
Das oben mit Bezug zum Kraftfahrzeug und zum Verfahren Beschriebene gilt analog auch für die Verwendung und umgekehrt.What has been described above with reference to the motor vehicle and the method also applies analogously to the use and vice versa.
Weiterhin wird ein Trainingsdatensatz zum Trainieren eines künstlichen neuronalen Netzes, das ausgestaltet ist, um basierend auf Eingangsdaten und einer vorbestimmten Anzahl an Aufmerksamkeitsgraden einen Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs zu bestimmen, bereit gestellt.Furthermore, a training data set for training an artificial neural network, which is designed to determine a degree of attention of a driver of a motor vehicle based on input data and a predetermined number of degrees of attention, is provided.
Der Trainingsdatensatz weist für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten auf, wobei jeder Satz an Eingangsdaten jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers umfasst.The training data set has at least one set of input data for each level of attentiveness, each set of input data including information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver.
Das oben mit Bezug zum Kraftfahrzeug, zum Verfahren und zur Verwendung Beschriebene gilt analog auch für den Trainingsdatensatz und umgekehrt.What has been described above with reference to the motor vehicle, the method and the use also applies analogously to the training data set and vice versa.
Die oben Beschriebene Erfindung schlägt demnach ein technisches Überwachungssystem eines Fahrers, insbesondere eines Sicherheitsfahrers oder Bedieners, vor, das laufend den Aufmerksamkeitsgrad des Fahrers ermitteln kann. Dazu können technische Systeme in Kombination verwendet werden, die bereits im Kraftfahrzeug verbaut sind, aber ursprünglich für andere Anwendungsfälle gedacht waren. Eine Erweiterung des vorgeschlagenen Systems ist denkbar, die den Fahrer direkt in die Fahraufgabe einbindet und so sicherstellt, dass der Fahrer über die Verkehrssituation, in der sich das Fahrzeug befindet, informiert ist.The invention described above therefore proposes a technical monitoring system for a driver, in particular a safety driver or operator, which can continuously determine the driver's level of alertness. For this purpose, technical systems can be used in combination that are already installed in the motor vehicle but were originally intended for other applications. An extension of the proposed system is conceivable, which involves the driver directly in the driving task and thus ensures that the driver is informed about the traffic situation in which the vehicle is located.
Nachfolgend wird eine Ausführungsform mit Bezug zu
-
1 zeigt schematisch ein Fahrerüberwachungssystem für ein Kraftfahrzeug, und -
2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes.
-
1 shows schematically a driver monitoring system for a motor vehicle, and -
2 FIG. 1 schematically shows a flow chart of a method for training an artificial neural network.
Das in
Das Kraftfahrzeug 1 weist ein Kamerasystem 3, ein zum Kamerasystem 3 verbundenes Fahrerüberwachungssystem 4, ein System zum Erfassen einer Nutzereingabe bzw. ein Nutzereingabeerfassungssystem 5, das zum Fahrerüberwachungssystem 4 verbunden ist, und eine Ausgabevorrichtung 6 auf, die ebenfalls zum Fahrerüberwachungssystem 4 verbunden ist.
Das Kamerasystem 3 ist ausgestaltet, um Bilddaten 31 eines (nicht dargestellten) Fahrers des Kraftfahrzeugs 1 zu akquirieren und diese zu dem Fahrerüberwachungssystem 4 auszugeben.The
Das Nutzereingabeerfassungssystem 5 ist ausgestaltet, um eine Nutzereingabe zu erfassen und eine Information 51 über die erfasste Nutzereingabe zu dem Fahrerüberwachungssystem 4 auszugeben.The user
Die Ausgabevorrichtung 6 ist ausgestaltet, um eine von dem Fahrerüberwachungssystem 4 empfangene Information an den Fahrer auszugeben.The
Das Fahrerüberwachungssystem 4 ist ausgestaltet, um die von dem Kamerasystem 4 akquirierten Bilddaten 31 und die Information 51 über die erfasste Nutzereingabe von dem Nutzereingabeerfassungssystem 5 zu empfangen und basierend auf den empfangenen Bilddaten und der von dem Nutzereingabeerfassungssystem 5 empfangenen Information 51 einen Aufmerksamkeitsgrad 42 des Fahrers zu bestimmen.The
Zur Bestimmung des Aufmerksamkeitsgrades 42 des Fahrers ist das Fahrerüberwachungssystem 4 ausgestaltet, um in einem ersten Schritt S1 eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen des Fahrers als Eingangsdaten 41 für ein künstliches neuronales Netz basierend auf den vom Kamerasystem empfangenen Bilddaten 31 und der von dem Nutzereingabeerfassungssystem 5 empfangenen Information 51 zu bestimmen.To determine the level of
Zur Bestimmung des Aufmerksamkeitsgrades 42 des Fahrers ist das Fahrerüberwachungssystem 4 ausgestaltet, um in einem zweiten Schritt S2 die in dem ersten Schritt S1 bestimmten Eingangsdaten 41 in das künstliche neuronale Netz einzugeben, das ausgestaltet ist, den Aufmerksamkeitsgrad des Fahrers basierend auf den Eingangsdaten 41 zu bestimmen, und mittels des neuronalen Netzes basierend auf den Eingangsdaten 41 den Aufmerksamkeitsgrad 42 des Fahrers zu bestimmen.In order to determine the level of
Das Fahrerüberwachungssystem 4 ist ferner ausgestaltet, um basierend auf dem im zweiten Schritt S2 bestimmten Aufmerksamkeitsgrad 42 des Fahrers in einem dritten Schritt S3 ein erstes Steuersignal 43 zu bestimmen und zu dem Kraftfahrzeug 1, insbesondere zu dem Fahrassistenzsystem 2, auszugeben.
Das Fahrerüberwachungssystem 4 ist ausgestaltet, um das erste Steuersignal 43 in Abhängigkeit des Zustands des Kraftfahrzeugs 1 auszugeben. Das heißt, mittels des ersten Steuersignals 43 kann das Fahrerüberwachungssystem 4 in einem Zustand, in dem das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 nicht ausführt, verhindern, dass das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 übernimmt. Jedoch in einem Zustand des Kraftfahrzeugs 1, in dem das Fahrassistenzsystem 2 die automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs 1 aktuell ausführt, ist das Fahrerüberwachungssystem 4 ausgestaltet, um die automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs 1 mittels des ersten Steuersignals 43 zu beenden.
Im letzteren Fall ist denkbar, dass das Fahrerüberwachungssystem 4 die Ausgabevorrichtung 6 mittels einem im dritten Schritt S3 bestimmten zweiten Steuersignals 44 so ansteuert, dass die Ausgabevorrichtung 6 ein akustisches, haptisches und/oder visuelles Warnsignal zu dem Fahrer ausgibt. Anschließend kann das Fahrerüberwachungssystem 4 die automatisierte Quer- und/oder Längsführung mittels des ersten Steuersignals 43 beenden, und in Abhängigkeit einer Reaktion des Fahrers auf das ausgegebene Warnsignal das Kraftfahrzeug 1 stoppen oder dem Fahrer eine Kontrolle über eine Quer- und/oder Längsführung des Kraftfahrzeugs 1 übergeben. Die Reaktion des Fahrers kann beispielswiese mittels dem zum Fahrerüberwachungssystem 4 verbundenen Nutzereingabeerfassungssystem 5 erfasst werden.In the latter case it is conceivable that the
Das Kraftfahrzeug 1 kann weiterhin einen Speicher 7 aufweisen, der zu dem Fahrerüberwachungssystem 4 verbunden ist, wobei das Fahrerüberwachungssystem 4 ausgestaltet ist, um die von dem Kamerasystem 3 empfangenen Bilddaten 31, die zum Kraftfahrzeug 1 ausgegebenen Steuersignale 43, 44, 45, 46 und/oder die von dem Nutzereingabeerfassungssystem 5 empfangene Information auf dem Speicher 7 zu speichern. Bei dem Speicher 7 kann es sich insbesondere um einen crashsicheren und/oder redundanten Speicher handeln. Denkbar ist auch, diese Informationen 31, 43, 44, 51 zusätzlich oder alternativ per Streaming an ein Backend ausgehend von dem Fahrerüberwachungssystem 4 zu senden und dort aufzuzeichnen.The
Das Fahrerüberwachungssystem 4 ist vorliegend zudem ausgestaltet, um von dem Fahrassistenzsystem 2 eine Information 21 über eine Umgebung des Kraftfahrzeugs 1 zu empfangen. Basierend auf der empfangenen Information 21 über die Umgebung des Kraftfahrzeugs 1 steuert das Fahrerüberwachungssystem 4 die Ausgabevorrichtung 6 mittels eines dritten Steuersignals 45 so an, dass diese eine Information zu dem Fahrer ausgibt, die den Fahrer auffordert, in Reaktion auf die ausgegebene Information über die Umgebung des Kraftfahrzeugs 1 eine Eingabe über die Eingabevorrichtung bzw. das Nutzereingabeerfassungssystem 5 des Kraftfahrzeugs zu machen. Basierend auf der über die Eingabevorrichtung 5 empfangenen Information, die zur mittels der Eingabevorrichtung 5 erfassten Eingabe des Fahrers korrespondiert, und/oder einer Zeitspanne, die zwischen der Ausgabe der Information über die Umgebung des Kraftfahrzeugs 1 mittels der Ausgabevorrichtung 6 und der Eingabe des Fahrers liegt, gibt das Fahrerüberwachungssystem 4 ein viertes Steuersignal 46 zu dem Fahrassistenzsystem 2 aus. Mittels des vierten Steuersignals 46 kann analog zum zweiten Steuersignal 44 in Abhängigkeit eines Zustands des Kraftfahrzeugs 1, insbesondere in einem Zustand, in dem das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 nicht ausführt, verhindert werden, dass das Fahrassistenzsystem 2 die Quer- und/oder die Längsführung des Kraftfahrzeugs 1 übernimmt, oder eine aktuell mittels des Fahrassistenzsystems 2 durchgeführte automatisierte Quer- und/oder Längsführung des Kraftfahrzeugs 1 beendet werden.In the present case, the
Zur Ausgabe der Information an den Fahrer kann die Ausgabevorrichtung 6 ein (nicht dargestelltes) Head-up Display aufweisen.To output the information to the driver, the
Nachfolgend wird mit Bezug zu
Wie
In dem ersten Schritt S11 des Verfahrens wird ein Trainingsdatensatz für das künstliche neuronale Netz akquiriert, der für jeden Aufmerksamkeitsgrad jeweils zumindest einen Satz an Eingangsdaten aufweist. Jeder Satz an Eingangsdaten umfasst jeweils eine Information über eine Position eines Gesichtes, eine Blickrichtung, und eine Position und eine Orientierung von Armen und Händen eines Fahrers.In the first step S11 of the method, a training data set for the artificial neural network is acquired, which has at least one set of input data for each degree of attention. Each set of input data includes information about a position of a face, a viewing direction, and a position and an orientation of arms and hands of a driver.
In dem zweiten Schritt S12 des Verfahrens erfolgt das Trainieren des künstlichen neuronalen Netzes mit dem im ersten Schritt S11 des Verfahrens akquirierten Trainingsdatensatz.In the second step S12 of the method, the artificial neural network is trained with the training data record acquired in the first step S11 of the method.
BezugszeichenlisteReference List
- 11
- Kraftfahrzeugmotor vehicle
- 22
- Fahrassistenzsystemdriver assistance system
- 2121
- Information über eine Umgebung des KraftfahrzeugsInformation about an environment of the motor vehicle
- 33
- Kamerasystemcamera system
- 3131
- Bilddatenimage data
- 44
- Fahrerüberwachungssystemdriver monitoring system
- 4141
- Eingangsdaten für das künstliche neuronale NetzInput data for the artificial neural network
- 4242
- Aufmerksamkeitsgrad des Fahrerslevel of attention of the driver
- 43 - 4643 - 46
- Steuersignalecontrol signals
- 55
- Nutzereingabeerfassungssystem bzw. EingabevorrichtungUser input detection system or input device
- 5151
- Information, die zu einer Nutzereingabe korrespondiertInformation corresponding to user input
- 66
- Ausgabevorrichtungdispenser
- 77
- SpeicherStorage
- S1-S3S1-S3
- Schritte zum Bestimmen des Aufmerksamkeitsgrades des FahrersSteps to determine driver alertness level
- S11, S12S11, S12
- Schritte zum Trainieren des künstlichen neuronalen NetztesSteps to train the artificial neural network
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- US 2019367038 A1 [0003]US 2019367038 A1 [0003]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021101805.6A DE102021101805A1 (en) | 2021-01-27 | 2021-01-27 | DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021101805.6A DE102021101805A1 (en) | 2021-01-27 | 2021-01-27 | DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021101805A1 true DE102021101805A1 (en) | 2022-07-28 |
Family
ID=82321126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021101805.6A Pending DE102021101805A1 (en) | 2021-01-27 | 2021-01-27 | DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021101805A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022004323B3 (en) | 2022-11-21 | 2023-09-21 | Mercedes-Benz Group AG | Interior camera |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018108200A1 (en) | 2017-05-04 | 2018-11-08 | Toyota Research Institute, Inc. | Systems and methods for reducing attentiveness while maintaining readiness by augmented reality in a vehicle |
US20190367038A1 (en) | 2018-06-04 | 2019-12-05 | Sharp Kabushiki Kaisha | Driver monitoring device |
-
2021
- 2021-01-27 DE DE102021101805.6A patent/DE102021101805A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018108200A1 (en) | 2017-05-04 | 2018-11-08 | Toyota Research Institute, Inc. | Systems and methods for reducing attentiveness while maintaining readiness by augmented reality in a vehicle |
US20190367038A1 (en) | 2018-06-04 | 2019-12-05 | Sharp Kabushiki Kaisha | Driver monitoring device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022004323B3 (en) | 2022-11-21 | 2023-09-21 | Mercedes-Benz Group AG | Interior camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112016002612B4 (en) | Vehicle control device, vehicle control method and vehicle control program | |
DE102013210050B4 (en) | Neurocognitive processing of a driver state | |
DE102015224555A1 (en) | Method for operating a vehicle | |
DE102012105285A1 (en) | Method for assisting rider of motor car, involves defining a warning strategy based on the derived rider intention of current rider, and adjusting motor car rider assistance system if necessary | |
WO2020020526A1 (en) | Method and device for assisting an attentiveness and/or driving readiness of a driver during an automated driving process of a vehicle | |
DE102020124633A1 (en) | CONTEXT-SENSITIVE ADAPTATION OF A TERRAIN VIEW TIME | |
DE102019118184A1 (en) | System and method for user-specific adaptation of vehicle parameters | |
DE102019201407A1 (en) | Method and device for controlling a driver's attention | |
DE102019105489A1 (en) | Method, device and computer program for providing information relating to an automated driving vehicle | |
DE112019001883T5 (en) | Methods, systems and media for controlling access to vehicle properties | |
EP4132830A1 (en) | Method for operating a driver assistance system of a vehicle, comprising driver moderation for partially-automated functions, driver assistance system, and vehicle | |
WO2020002479A1 (en) | Driver assistance system, vehicle, method for operating the driver assistance system, computer program, and computer-readable storage medium | |
DE112019007111T5 (en) | Control device, control method and program | |
DE102019105490A1 (en) | Method, device and computer program for operating a vehicle using a mobile user device | |
DE102021116309A1 (en) | ASSISTANCE FOR DISABLED DRIVERS | |
DE102021101805A1 (en) | DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES | |
DE102019130319A1 (en) | Method for operating a motor vehicle that can be driven in an autonomous driving mode | |
DE102019118183A1 (en) | Information system and process | |
DE112017007230B4 (en) | FAULT DETERMINATOR, METHOD AND PROGRAM | |
DE102018210367A1 (en) | Driver assistance system, vehicle, method for operating the driver assistance system, computer program and computer-readable storage medium | |
DE102018216044B4 (en) | Method for regulating a handover of a driving task, driver assistance system, computer program and data carrier signal | |
DE102016213314A1 (en) | Method and system for activating a highly automated driving operation in a motor vehicle | |
DE102019133780A1 (en) | Driving system and method for exiting an automated driving mode by voice | |
DE102020110092A1 (en) | Method, system and computer program for controlling an at least partially automated drive of a vehicle | |
DE102019215308A1 (en) | Method for activating and / or adapting an automated driving function for an at least partially automated vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |