FR3130732A1 - Method for determining the attention of a driver in a vehicle circulating in a partially autonomous manner - Google Patents

Method for determining the attention of a driver in a vehicle circulating in a partially autonomous manner Download PDF

Info

Publication number
FR3130732A1
FR3130732A1 FR2213724A FR2213724A FR3130732A1 FR 3130732 A1 FR3130732 A1 FR 3130732A1 FR 2213724 A FR2213724 A FR 2213724A FR 2213724 A FR2213724 A FR 2213724A FR 3130732 A1 FR3130732 A1 FR 3130732A1
Authority
FR
France
Prior art keywords
driver
vehicle
attention
symbol
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2213724A
Other languages
French (fr)
Inventor
Caterine Ospina-Schick
Dina Stiegemeier
Markus Hanisch
Rainer Erbach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of FR3130732A1 publication Critical patent/FR3130732A1/en
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

TITRE : Procédé pour déterminer l’attention d’un conducteur dans un véhicule circulant de manière partiellement autonome Procédé (50) pour déterminer l’attention d’un conducteur (24) circulant au moins en partie, de manière autonome consistant à : - représenter au moins un symbole (36) pour le conducteur (24) dans différentes positions sur le pare-brise (28) du véhicule (20) dans une succession pendant un mode de conduite autonome du véhicule (20) ou pendant un mode de conduite manuel du véhicule (20), - fournir des données d’un dispositif d’observation (32) pour observer le conducteur (24), - déterminer à l’aide des données du dispositif d’observation (32) si le conducteur (24) suit du regard la succession de la représentation du symbole (36), * on constate l’attention du conducteur (24) si l’on détermine que le conducteur (24) suit de son regard la succession de la représentation du symbole (26), et * on constate l’absence d’attention du conducteur (24) si l’on détermine que le conducteur (24) ne suit pas de son regard la suite de la représentation du symbole (36). Figure 2TITLE: Method for determining the attention of a driver in a vehicle traveling partially autonomously Method (50) for determining the attention of a driver (24) traveling at least partially, autonomously comprising: - representing at least one symbol (36) for the driver (24) in different positions on the windshield (28) of the vehicle (20) in succession during an autonomous driving mode of the vehicle (20) or during a manual driving mode of the vehicle (20), - providing data from an observation device (32) to observe the driver (24), - determining using the data from the observation device (32) whether the driver (24) follows the succession of the representation of the symbol (36) with his gaze, * the attention of the driver (24) is observed if it is determined that the driver (24) is following with his gaze the succession of the representation of the symbol (26) , and * the lack of attention of the driver (24) is observed if it is determined that the driver (24) does not follow with his gaze the continuation of the representation of the symbol (36). Figure 2

Description

Procédé pour déterminer l’attention d’un conducteur dans un véhicule circulant de manière partiellement autonomeMethod for determining the attention of a driver in a vehicle circulating in a partially autonomous manner

DOMAINE DE L’INVENTIONFIELD OF THE INVENTION

La présente invention se rapporte à un procédé de détermination de l’attention d’un conducteur dans un véhicule circulant au moins partiellement en mode autonome ainsi qu’un dispositif pour déterminer l’attention du conducteur.The present invention relates to a method for determining the attention of a driver in a vehicle traveling at least partially in autonomous mode as well as a device for determining the attention of the driver.

ETAT DE LA TECHNIQUESTATE OF THE ART

Selon le document US 2018231976 A1 on connaît un système d’assistance du conducteur avec un système d’observation du conducteur.From US 2018231976 A1 a driver assistance system with a driver observation system is known.

EXPOSE ET AVANTAGES DE L’INVENTIONDESCRIPTION AND ADVANTAGES OF THE INVENTION

A cet effet, l’invention a pour objet un procédé pour déterminer l’attention d’un conducteur dans un véhicule circulant au moins en partie, de manière autonome comprenant les étapes consistant à : représenter au moins un symbole pour le conducteur dans différentes positions sur le pare-brise du véhicule dans une succession pendant un mode de conduite autonome du véhicule ou pendant un mode de conduite manuel du véhicule, fournir des données d’un dispositif d’observation pour observer le conducteur, déterminer à l’aide des données du dispositif d’observation si le conducteur suit du regard la succession de la représentation du symbole, on constate l’attention du conducteur si l’on détermine que le conducteur suit de son regard la succession de la représentation du symbole et, on constate l’absence d’attention du conducteur si l’on détermine que le conducteur ne suit pas de son regard la suite de la représentation du symbole.To this end, the subject of the invention is a method for determining the attention of a driver in a vehicle traveling at least in part, in an autonomous manner, comprising the steps consisting in: representing at least one symbol for the driver in different positions on the windshield of the vehicle in a succession during an autonomous driving mode of the vehicle or during a manual driving mode of the vehicle, providing data from an observation device for observing the driver, determining using the data of the observation device if the driver follows with his gaze the succession of the representation of the symbol, the attention of the driver is observed if it is determined that the driver follows with his gaze the succession of the representation of the symbol and, the absence of driver attention if it is determined that the driver does not follow the continuation of the representation of the symbol with his gaze.

Le procédé tel que proposé selon l’invention permet de vérifier de manière sûre et fiable l’attention du conducteur et de déterminer celle-ci. Cela permet notamment d’augmenter la sécurité de la circulation routière. Si un véhicule circulant au moins en partie de manière autonome fonctionne en mode de circulation autonome, il peut être nécessaire dans différentes situations que le conducteur reste responsable et observe la circulation autour du véhicule et surveille le système de conduite autonome. Pour cela, le conducteur doit manifester une certaine attention. Le procédé selon l’invention permet de vérifier cette attention et notamment de réduire le risque d’un mauvais usage du système de conduite autonome. Des exemples de mauvais usage sont notamment l’observation d’un film vidéo ou l’écriture d’un message sur un téléphone ou encore la rêverie diurne. Le procédé selon l’invention permet de suivre l’attention du conducteur pour décider si certaines actions peuvent être déclenchées ou non. A cet effet, le procédé permet de suivre l’activité du regard du conducteur, de l’analyser et ainsi de l’évaluer pour déterminer si le conducteur suit l’état de la circulation ou non. En outre, le procédé permet d’augmenter la motivation du conducteur pour observer l’état de la circulation. Cela permet d’attirer l’attention du conducteur sur sa responsabilité quant à la surveillance de l’environnement. Ainsi, le procédé de l’invention permet d’améliorer la sécurité de la circulation routière, notamment pour le conducteur et les autres participants à la circulation.The method as proposed according to the invention makes it possible to verify in a safe and reliable manner the attention of the driver and to determine it. In particular, this increases road safety. If a vehicle driving at least partially autonomously operates in autonomous driving mode, it may be necessary in various situations for the driver to remain responsible and observe the traffic around the vehicle and monitor the autonomous driving system. For this, the driver must show some attention. The method according to the invention makes it possible to verify this attention and in particular to reduce the risk of misuse of the autonomous driving system. Examples of misuse include watching a video or writing a message on a phone or daydreaming. The method according to the invention makes it possible to follow the attention of the driver to decide whether certain actions can be triggered or not. To this end, the method makes it possible to follow the activity of the driver's gaze, to analyze it and thus to evaluate it to determine whether the driver is following the state of the traffic or not. In addition, the method can increase the motivation of the driver to observe the state of the traffic. This draws the driver's attention to his responsibility for monitoring the environment. Thus, the method of the invention makes it possible to improve the safety of road traffic, in particular for the driver and the other participants in traffic.

Un conducteur en mode de conduite manuelle doit présenter une certaine attention. Le procédé peut également s’utiliser en mode de conduite manuelle.A driver in manual driving mode must show some attention. The method can also be used in manual driving mode.

Selon un développement avantageux, le procédé comprend en outre une étape consistant à démarrer le procédé pour déterminer l’attention du conducteur pendant le mode de conduite autonome du véhicule. On garantit ainsi que le procédé est uniquement autorisé pendant la conduite autonome du véhicule. Les symboles ne sont pas, dans ces conditions, affichés pendant le mode de conduite manuelle. On évite notamment de détourner ainsi l’attention du conducteur par l’affichage des symboles, ce qui se traduit également par une amélioration de la circulation routière.According to an advantageous development, the method further comprises a step consisting in starting the method for determining the attention of the driver during the autonomous driving mode of the vehicle. It is thus guaranteed that the method is only authorized during autonomous driving of the vehicle. The symbols are not, under these conditions, displayed during the manual driving mode. In particular, the distracting of the driver's attention by the display of symbols is avoided, which also results in improved traffic flow.

Selon un développement, le procédé comprend en outre une étape d’observation du conducteur par un dispositif d’observation. L’observation du conducteur par un dispositif d’observation permet de fournir des données pour leur exploitation. Cela permet notamment d’exploiter, de manière sûre et fiable si le conducteur suit de son regard les symboles sur le pare-brise.According to a development, the method further comprises a step of observation of the driver by an observation device. The observation of the driver by an observation device makes it possible to provide data for their exploitation. This makes it possible in particular to operate safely and reliably if the driver follows the symbols on the windscreen with his eyes.

De manière avantageuse, le symbole est affiché pour une durée déterminée. Cela garantit que le conducteur perçoit le symbole et le reconnaît en tant que tel. Selon un développement, le symbole est représenté dans différentes positions pour une durée chaque fois différente. Cela permet de rendre l’observation des symboles plus intéressante. En outre, on réduit un mauvais usage du système ou on réduit le risque de mauvais usage du système en ce qu’on peut, par exemple, déterminer si le conducteur regarde le symbole pendant une durée correspondante.Advantageously, the symbol is displayed for a determined duration. This ensures that the driver perceives the symbol and recognizes it as such. According to a development, the symbol is represented in different positions for a different duration each time. This makes observing the symbols more interesting. Furthermore, misuse of the system is reduced or the risk of misuse of the system is reduced in that it can, for example, be determined whether the driver looks at the symbol for a corresponding period of time.

De façon préférentielle, on peut représenter différents symboles dans des positions différentes. L’utilisation de symboles différents dans un cycle de vérification rend plus intéressante l’observation des symboles. On évite ainsi la monotonie de sorte que le conducteur reste particulièrement éveillé. On augmente ainsi la sécurité de la circulation routière.Preferably, different symbols can be represented in different positions. Using different symbols in a verification cycle makes it more interesting to observe the symbols. This avoids monotony so that the driver remains particularly awake. This increases the safety of road traffic.

Selon un développement, on représente les symboles en différentes positions sur le pare-brise, et ces symboles se superposent à d’autres participants à la circulation et objets dans l’environnement du véhicule. Ainsi, le conducteur peut recevoir en même temps que les symboles, les situations dans son environnement de sorte qu’il surveille l’environnement d’une manière particulièrement sûre et fiable. Le conducteur peut ainsi voir directement les autres participants à la circulation. En cas de danger, le conducteur pourra réagir plus rapidement et il aura une meilleure vue de l’environnement. Cela augmente notamment la sécurité de la sécurité routière.According to a development, the symbols are represented in different positions on the windshield, and these symbols are superimposed on other traffic participants and objects in the environment of the vehicle. Thus, the driver can simultaneously receive the symbols, the situations in his environment so that he monitors the environment in a particularly safe and reliable way. The driver can thus directly see other traffic participants. In the event of danger, the driver will be able to react more quickly and will have a better view of the environment. In particular, this increases the safety of road safety.

Selon un développement, on représente les symboles à l’aide d’un dispositif d’affichage. Le dispositif d’affichage peut être réalisé comme dispositif de projection. L’utilisation d’un dispositif d’affichage ou d’un dispositif de projection permet de représenter les symboles, en particulier, de manière plus sûre et garantie sur le pare-brise.According to a development, the symbols are represented using a display device. The display device can be realized as a projection device. The use of a display device or a projection device makes it possible to represent the symbols, in particular, in a safer and more guaranteed way on the windscreen.

Différents symboles peuvent être représentés en même temps en différentes positions ce qui augmente notamment l’attention du conducteur en ce qu’il devra, par exemple, se concentrer plus sur le procédé.Different symbols can be represented at the same time in different positions, which in particular increases the attention of the driver in that he will, for example, have to concentrate more on the process.

Selon un développement, on émet un signal audio avec les symboles. Cela augmente l’attention du conducteur. En outre, on garantit ainsi que le conducteur perçoit une entrée par plusieurs canaux, ce qui augmente la perception du procédé.According to a development, an audio signal is transmitted with the symbols. This increases the driver's attention. Furthermore, it is thus ensured that the driver perceives an input through several channels, which increases the perception of the process.

Selon un développement avantageux, on émet un avertissement si l’on ne constate pas l’attention du conducteur. En variante ou en plus, on termine le mode de conduite autonome du véhicule et on demande au conducteur de reprendre la conduite du véhicule si l’attention du conducteur n’est pas constatée. Ainsi, en constatant une inattention du conducteur, on peut lancer différents niveaux d’escalade. On attire ainsi de nouveau l’attention du conducteur, ce qui augmente la sécurité de la circulation routière.According to an advantageous development, a warning is issued if the driver's attention is not noticed. Alternatively or in addition, the autonomous driving mode of the vehicle is terminated and the driver is asked to resume driving the vehicle if the driver's attention is not observed. Thus, by noticing inattention of the driver, one can initiate different levels of escalation. This re-engages the driver's attention, increasing traffic safety.

L’invention a également pour objet un dispositif pour déterminer l’attention d’un conducteur dans un véhicule circulant au moins en partie de manière autonome, le dispositif comportant un dispositif d’affichage pour représenter au moins un symbole pour le conducteur dans différentes positions sur le pare-brise du véhicule selon une suite pendant le mode de conduite autonome du véhicule ou pendant le mode de conduite manuel du véhicule et, le dispositif a une unité de commande pour recevoir les données d’un dispositif d’observation et pour déterminer si le conducteur suit la suite de la représentation du symbole par son regard à l’aide des données du dispositif d’observation, on détermine l’attention du conducteur si l’on détermine que le conducteur suit la suite de la représentation du symbole avec son regard et, on constate l’absence d’attention du conducteur si l’on détermine que le conducteur ne suit pas de son regard la suite de la représentation du symbole.The invention also relates to a device for determining the attention of a driver in a vehicle traveling at least partly autonomously, the device comprising a display device for representing at least one symbol for the driver in different positions on the windshield of the vehicle according to a sequence during the autonomous driving mode of the vehicle or during the manual driving mode of the vehicle and, the device has a control unit for receiving data from an observation device and for determining if the driver follows the continuation of the representation of the symbol by his gaze using the data of the observation device, the attention of the driver is determined if it is determined that the driver follows the continuation of the representation of the symbol with his gaze and, the driver's lack of attention is observed if it is determined that the driver does not follow the rest of the representation of the symbol with his gaze.

Le dispositif selon l’invention permet de vérifier de manière fiable et garantie l’attention du conducteur et de la déterminer. En outre, on réduit le risque d’un mauvais usage du système de conduite autonome. Ce qui permet notamment d’augmenter la sécurité de la circulation routière. Le dispositif tel que proposé permet de suivre l’attention du conducteur pour décider si certaines actions doivent être déclenchées ou s’il faut procéder par escalade. En outre, on augmente la motivation du conducteur pour qu’il observe la situation de conduite. En mode de conduite manuelle, le conducteur doit avoir une certaine attention. Ainsi, les symboles peuvent également être présentés en mode de conduite manuelle.The device according to the invention makes it possible to check in a reliable and guaranteed manner the attention of the driver and to determine it. In addition, the risk of misuse of the autonomous driving system is reduced. This in particular increases road safety. The device as proposed makes it possible to follow the driver's attention to decide whether certain actions should be triggered or whether to proceed by escalation. In addition, the driver's motivation to observe the driving situation is increased. In manual driving mode, the driver must have some attention. Thus, the symbols can also be shown in manual driving mode.

De façon préférentielle, le dispositif comporte un dispositif d’observation pour observer le conducteur. L’observation du conducteur par ce dispositif d’observation permet de fournir notamment des données à exploiter. Ces données peuvent être exploitées de manière sûre et fiable pour déterminer si le conducteur suit de son regard les symboles sur le pare-brise.Preferably, the device comprises an observation device for observing the driver. The observation of the driver by this observation device makes it possible in particular to provide data to be exploited. This data can be used safely and reliably to determine whether the driver is following the symbols on the windscreen with his eyes.

Le dispositif d’observation peut également être considéré comme un système d’observation, un système de contrôle de conducteur ou un système d’observation des occupants du véhicule. Le dispositif d’observation peut, par exemple, être réalisé pour observer un ou plusieurs occupants du véhicule, par exemple, leur attitude corporelle, la direction du regard ou la position de la tête ou du visage ou des yeux d’un passager, notamment du conducteur ou du passager à côté du conducteur ou d’un ou plusieurs autres passagers sur la banquette arrière ou encore l’état de fatigue ou autre valeur vitale d’un ou plusieurs passagers. Cela permet en outre de saisir l’identité d’un passager.The observation device can also be considered as an observation system, a driver control system or a vehicle occupant observation system. The observation device can, for example, be made to observe one or more occupants of the vehicle, for example, their bodily attitude, the direction of gaze or the position of the head or the face or the eyes of a passenger, in particular of the driver or of the passenger next to the driver or of one or more other passengers in the back seat or the state of fatigue or other vital value of one or more passengers. This also makes it possible to capture the identity of a passenger.

La présente invention sera décrite ci-après de manière plus détaillée à l’aide d’un exemple de procédé et de dispositif de détermination de l’attention du conducteur d’un véhicule représenté dans les dessins annexés dans lesquels :The present invention will be described below in more detail with the aid of an example of a method and device for determining the attention of the driver of a vehicle represented in the appended drawings in which:

représentation schématique d’un véhicule équipé d’un dispositif selon un mode de réalisation de l’invention, schematic representation of a vehicle fitted with a device according to one embodiment of the invention,

représentation schématique d’une partie d’un véhicule avec un dispositif selon un mode de réalisation de l’invention, schematic representation of part of a vehicle with a device according to one embodiment of the invention,

représentation schématique d’un procédé selon un mode de réalisation de l’invention, schematic representation of a method according to one embodiment of the invention,

schéma blocs d’un exemple de réalisation de l’invention. block diagram of an embodiment of the invention.

DESCRIPTION DE MODES DE REALISATION DE L’INVENTIONDESCRIPTION OF EMBODIMENTS OF THE INVENTION

La montre schématiquement un véhicule 20 équipé d’un dispositif 22 pour déterminer l’attention d’un conducteur 24 dans un véhicule circulant au moins en partie de manière autonome selon un exemple de réalisation de la présente invention. Le dispositif 22 permet d’appliquer un procédé selon la et/ou la .There schematically shows a vehicle 20 equipped with a device 22 for determining the attention of a driver 24 in a vehicle traveling at least in part autonomously according to an embodiment of the present invention. The device 22 makes it possible to apply a method according to the and/or the .

Le véhicule 20 est notamment un véhicule automobile. Le véhicule 20 est un véhicule 20 qui circule au moins partiellement en mode autonome. En d’autres termes, le véhicule 20 peut circuler au moins en partie de manière autonome. Dans certaines situations, le véhicule 20 peut être mis en mode de conduite autonome. Dans un mode de conduite autonome, le véhicule 20 sera guidé notamment de lui-même. Le véhicule 20 peut circuler sur une autoroute ou être mis en mode de conduite autonome dans un bouchon de circulation. Le véhicule comporte notamment un habitacle 26 et un pare-brise 28.The vehicle 20 is in particular a motor vehicle. The vehicle 20 is a vehicle 20 which circulates at least partially in autonomous mode. In other words, the vehicle 20 can circulate at least partly autonomously. In certain situations, the vehicle 20 can be placed in autonomous driving mode. In an autonomous driving mode, the vehicle 20 will be guided in particular by itself. The vehicle 20 can travel on a highway or be put into autonomous driving mode in a traffic jam. The vehicle comprises in particular a passenger compartment 26 and a windshield 28.

Le dispositif 22 comprend un dispositif d’affichage 30 pour représenter au moins un symbole pour le conducteur 20 en différents endroits (ou positions) sur le pare-brise 28 du véhicule 20 selon une suite pendant le mode de conduite autonome du véhicule 20 ou pendant un mode de conduite manuelle du véhicule 20. Les symboles peuvent être représentés sur le pare-brise 28 comme le montre la . En d’autres termes, le dispositif d’affichage 30 est prévu pour l’affichage d’au moins une représentation d’images pour l’observateur 24 du dispositif d’affichage 30 qui est ici le conducteur 24 du véhicule 20. La représentation d’images peut être, par exemple, sous la forme d’un symbole. Le dispositif d’affichage 30 peut être prévu notamment dans le pare-brise 28. A titre d’exemple, le dispositif d’affichage 30 est un écran ou affichage transparent dans le pare-brise 28. Selon un développement, l’affichage transparent est placé sur le pare-brise 28.The device 22 comprises a display device 30 for representing at least one symbol for the driver 20 at different locations (or positions) on the windshield 28 of the vehicle 20 in sequence during the autonomous driving mode of the vehicle 20 or during a manual driving mode of the vehicle 20. The symbols can be represented on the windshield 28 as shown in the . In other words, the display device 30 is provided for the display of at least one representation of images for the observer 24 of the display device 30 who is here the driver 24 of the vehicle 20. The representation of images can be, for example, in the form of a symbol. The display device 30 can be provided in particular in the windshield 28. By way of example, the display device 30 is a transparent screen or display in the windshield 28. According to a development, the transparent display is placed on the windshield 28.

Selon un mode de réalisation avantageux, le dispositif d’affichage 30 est un dispositif de projection 30. Le dispositif de projection 30 est, de préférence réalisé pour afficher ou représenter au moins une représentation d’images pour un observateur 24 du dispositif de projection 30. L’observateur 24 est notamment un passager 24 du véhicule tel que le conducteur ou l’accompagnateur et qui se trouve dans l’habitacle 26 du véhicule 20. Le dispositif de projection 30 est installé dans le véhicule 20 pour que l’observateur puisse observer les informations présentées par le dispositif de projection 30. Dans cette réalisation avantageuse, l’observateur 24 est le conducteur 24 du véhicule. Le dispositif de projection 30 est, par exemple, installé dans le tableau d’instruments ou le tableau de bord du véhicule 20. En variante ou en plus, le dispositif de projection ou un autre dispositif de projection 30 peut être installé à un autre endroit dans le véhicule 20 ; il peut, par exemple, être prévu dans le toit (pavillon) du véhicule, sur un rétroviseur ou sur une colonne de la carrosserie du véhicule 20, par exemple, la colonne A ou la colonne B.According to an advantageous embodiment, the display device 30 is a projection device 30. The projection device 30 is preferably made to display or represent at least one representation of images for an observer 24 of the projection device 30 The observer 24 is in particular a passenger 24 of the vehicle such as the driver or the companion and who is in the passenger compartment 26 of the vehicle 20. The projection device 30 is installed in the vehicle 20 so that the observer can observe the information presented by the projection device 30. In this advantageous embodiment, the observer 24 is the driver 24 of the vehicle. The projection device 30 is, for example, installed in the instrument panel or the dashboard of the vehicle 20. Alternatively or additionally, the projection device or another projection device 30 can be installed at another location. in vehicle 20; it can, for example, be provided in the roof (pavilion) of the vehicle, on a rear-view mirror or on a column of the vehicle body 20, for example, column A or column B.

Le dispositif de projection 30 émet notamment des rayons lumineux en direction du pare-brise 28. Le pare-brise 28 peut être réalisé à cet effet notamment comme surface d’affichage. Par exemple, on peut avoir un élément holographique ou une surface de difraction dans le pare-brise 28 ou intégrée dans celui-ci. Les rayons lumineux émis par le dispositif de projection 30 permettent d’avoir une représentation d’images sur le pare-brise 28. Le dispositif de projection 30 permet d’afficher les informations concernant le véhicule telles que les informations de l’état du véhicule ou les informations du mode de conduite du véhicule telles que la vitesse ou le régime ou la température ou le niveau du réservoir ou les indications de navigation ou des informations d’un système de loisir équipant le véhicule ou autres informations utilisées pour le fonctionnement ou pendant le fonctionnement d’un véhicule. En outre, le dispositif de projection 30 permet de représenter les symboles sur le pare-brise. Le dispositif de projection 30 peut générer une image réelle sur le pare-brise 28. Selon une variante, le dispositif de projection 30 est un affichage tête haute et génère une image virtuelle.The projection device 30 in particular emits light rays in the direction of the windshield 28. The windshield 28 can be produced for this purpose, in particular as a display surface. For example, one can have a holographic element or a diffractive surface in the windshield 28 or integrated therein. The light rays emitted by the projection device 30 make it possible to have a representation of images on the windshield 28. The projection device 30 makes it possible to display information concerning the vehicle such as information on the state of the vehicle or vehicle drive mode information such as speed or rpm or temperature or fuel level or navigational indications or information from an entertainment system fitted to the vehicle or other information used for operation or during the operation of a vehicle. Furthermore, the projection device 30 makes it possible to represent the symbols on the windshield. The projection device 30 can generate a real image on the windshield 28. Alternatively, the projection device 30 is a head-up display and generates a virtual image.

Le dispositif 28 de ce mode de réalisation comprend en outre un dispositif d’observation 32 pour observer l’habitacle 26 ou les passagers 24 et ainsi en particulier, le conducteur 24. Le dispositif d’observation 32 peut également être appelé système d’observation ou système d’observation des passagers ou système de surveillance. Le dispositif d’observation 32 est, par exemple, réalisé pour suivre la direction du regard, le maintien du corps ou la position de la tête ou du visage ou des yeux d’un passager 24 ou l’état de fatigue ou autres valeurs vitales du passager ou occupant 24 du véhicule. En outre, on peut, par exemple, saisir l’identité de l’occupant du véhicule 24. Pour observer l’occupant 24 du véhicule, le dispositif d’observation est équipé d’une unité d’éclairage pour émettre des rayons lumineux, notamment des rayons infrarouges ainsi qu’une unité de prise de vue. Le dispositif d’observation 32 peut notamment être intégré dans le tableau de bord, dans le tableau des instruments, dans le toit du véhicule, dans un rétroviseur ou dans une colonne comme, par exemple, à la colonne A et/ou la colonne B de la carrosserie du véhicule 20.The device 28 of this embodiment further comprises an observation device 32 for observing the passenger compartment 26 or the passengers 24 and thus in particular the driver 24. The observation device 32 can also be referred to as an observation system. or passenger observation system or monitoring system. The observation device 32 is, for example, made to follow the direction of the gaze, the posture of the body or the position of the head or the face or the eyes of a passenger 24 or the state of fatigue or other vital values. passenger or occupant 24 of the vehicle. In addition, one can, for example, enter the identity of the occupant of the vehicle 24. To observe the occupant 24 of the vehicle, the observation device is equipped with a lighting unit for emitting light rays, including infrared rays and a camera unit. The observation device 32 can in particular be integrated in the dashboard, in the instrument panel, in the roof of the vehicle, in a rear-view mirror or in a column such as, for example, in column A and/or column B of the vehicle body 20.

L’unité d’éclairage est orientée notamment en direction du passager 24 et ainsi en direction du siège du conducteur pour éclairer le passager 24 avec les rayons lumineux, notamment des rayons infrarouges. En d’autres termes, l’unité d’éclairage et émet et dirige des rayons lumineux notamment des rayons infrarouges en direction du passager 24 du véhicule. L’unité d’éclairage est, par exemple, une unité d’éclairage, un élément d’éclairage, une diode d’éclairage Led, Oled ou comporter un tel élément d’éclairage. L’unité de prise de vues est, par exemple, une unité de prise d’images, tel qu’un capteur ou une caméra et en particulier, un module de caméras infrarouge ; l’unité de prise de vue est orientée pour saisir visuellement le conducteur 24. La réalisation sous forme de module de caméra infrarouge permet de faire les observations même de nuit sans avoir à éclairer le conducteur 24 et risquer de l’éblouir.The lighting unit is oriented in particular in the direction of the passenger 24 and thus in the direction of the driver's seat to illuminate the passenger 24 with light rays, in particular infrared rays. In other words, the lighting unit emits and directs light rays, in particular infrared rays, towards the passenger 24 of the vehicle. The lighting unit is, for example, a lighting unit, a lighting element, an LED lighting diode, OLED or comprise such a lighting element. The image capture unit is, for example, an image capture unit, such as a sensor or a camera and in particular, an infrared camera module; the camera unit is oriented to visually capture the driver 24. The embodiment in the form of an infrared camera module makes it possible to make observations even at night without having to illuminate the driver 24 and risk dazzling him.

En d’autres termes, le dispositif d’observation 32 est réalisé pour observer l’habitacle d’un véhicule. Le dispositif d’observation 32 comporte une unité d’éclairage pour émettre des rayons lumineux, notamment des rayons infrarouges en direction de l’habitacle du véhicule et une unité de prise de vue pour recevoir les rayons lumineux notamment les rayons infrarouges ; l’unité d’éclairage émet alors des rayons lumineux, notamment des rayons infrarouges dans ou vers l’habitacle du véhicule qui seront réfléchis et les rayons lumineux réfléchis notamment les rayons infrarouges sont dirigés vers l’unité de réception.In other words, the observation device 32 is made to observe the passenger compartment of a vehicle. The observation device 32 comprises a lighting unit for emitting light rays, in particular infrared rays in the direction of the passenger compartment of the vehicle and a camera unit for receiving the light rays, in particular infrared rays; the lighting unit then emits light rays, in particular infrared rays, into or towards the passenger compartment of the vehicle which will be reflected and the reflected light rays, in particular infrared rays, are directed towards the reception unit.

En outre, le dispositif 22 comporte une unité de commande 34 pour recevoir les données du dispositif d’observation 32. L’unité de commande 34 est réalisée pour commander le dispositif d’observation 32 ou le dispositif d’affichage 30. En outre, l’unité de commande 34 est réalisée pour traiter les données du dispositif d’observation 32. Le dispositif d’affichage 30 permet de représenter au moins un symbole pour le conducteur 24 en différents endroits (différentes positions) du pare-brise 28 du véhicule 20 dans une certaine suite pendant le mode de conduite autonome du véhicule 20 ou pendant le mode de conduite manuel du véhicule 20. La représentation du symbole peut être faite, par exemple, comme indiqué à la . Les symboles sont notamment représentés uniquement pendant le mode de circulation autonome du véhicule 20 ou pendant le mode de conduite manuelle du véhicule 20. La représentation du symbole peut être faite, par exemple, comme indiqué à la . Les symboles sont notamment représentés uniquement pendant le mode de circulation autonome du véhicule 20 ou pendant le mode de circulation manuel du véhicule 20. Un symbole a, par exemple, une forme définie telle qu’une forme de cercle, de rectangle, d’étoile ou autre forme appropriée. Selon un développement avantageux, le symbole est également utilisé comme personne fictive. Selon un développement, le conducteur peut choisir, par exemple, lui-même le symbole ou individualiser celui-ci. Le symbole est représenté en différentes positions selon une suite prédéfinie, c’est-à-dire déterminée sur le pare-brise 28. Le symbole peut être présenté dans différentes positions notamment pour une durée définie. Selon un développement, le symbole est représenté en différentes positions pour des durées respectives différentes. Selon une réalisation avantageuse, on peut représenter différents symboles en des positions différentes sur le pare-brise 28. Cela permet, par exemple, de représenter tout d’abord un cercle et ensuite un rectangle. Selon un développement de l’invention, on peut représenter simultanément plusieurs symboles dans différents emplacements sur le pare-brise 28. En plus du ou des symboles, selon un développement, on émet un signal audio. Le signal audio est, par exemple, émis par un haut-parleur. De façon avantageuse, les différents signaux audios sont émis pour différents symboles ou différentes positions.Furthermore, the device 22 comprises a control unit 34 for receiving the data from the observation device 32. The control unit 34 is made to control the observation device 32 or the display device 30. In addition, the control unit 34 is made to process the data from the observation device 32. The display device 30 makes it possible to represent at least one symbol for the driver 24 at different locations (different positions) of the windshield 28 of the vehicle 20 in some sequence during the autonomous driving mode of the vehicle 20 or during the manual driving mode of the vehicle 20. The representation of the symbol can be made, for example, as indicated in . The symbols are in particular represented only during the autonomous circulation mode of the vehicle 20 or during the manual driving mode of the vehicle 20. The representation of the symbol can be made, for example, as indicated in . The symbols are in particular represented only during the autonomous circulation mode of the vehicle 20 or during the manual circulation mode of the vehicle 20. A symbol has, for example, a defined shape such as a shape of a circle, a rectangle, a star or other suitable form. According to an advantageous development, the symbol is also used as a fictitious person. According to one development, the driver can choose, for example, the symbol himself or individualize it. The symbol is represented in different positions according to a predefined sequence, that is to say determined on the windshield 28. The symbol can be presented in different positions in particular for a defined duration. According to a development, the symbol is represented in different positions for different respective durations. According to an advantageous embodiment, different symbols can be represented in different positions on the windshield 28. This makes it possible, for example, to represent first of all a circle and then a rectangle. According to a development of the invention, several symbols can be represented simultaneously in different locations on the windshield 28. In addition to the symbol or symbols, according to a development, an audio signal is transmitted. The audio signal is, for example, emitted by a loudspeaker. Advantageously, the different audio signals are transmitted for different symbols or different positions.

Selon un développement avantageux, les symboles sont présentés dans certaines positions sur le pare-brise 28, et se superposent aux autres participants à la circulation ou objets dans l’environnement du véhicule 20. Cela permet notamment d’observer l’environnement du véhicule 20 par un dispositif de surveillance et de l’analyser. On peut ainsi notamment identifier d’autres participants à la circulation ou objets. Un algorithme d’exploitation permet de classifier les participants à la circulation et/ou les objets. Les symboles sur le pare-brise 28 qui sont présentés par le dispositif d’affichage 30 peuvent notamment être combinés aux autres participants à la circulation et/ou objets dans l’environnement du véhicule 20. En d’autres termes, les symboles peuvent être représentés sur le pare-brise 28 dans une position qui combine dans la direction du regard du conducteur les autres participants à la circulation ou objets.According to an advantageous development, the symbols are presented in certain positions on the windshield 28, and are superimposed on the other traffic participants or objects in the environment of the vehicle 20. This makes it possible in particular to observe the environment of the vehicle 20 by a monitoring device and analyze it. In this way, other traffic participants or objects can be identified. An exploitation algorithm is used to classify traffic participants and/or objects. The symbols on the windshield 28 which are presented by the display device 30 can in particular be combined with other traffic participants and/or objects in the environment of the vehicle 20. In other words, the symbols can be shown on the windshield 28 in a position which combines in the direction of the driver's gaze the other traffic participants or objects.

L’unité de commande 34 est réalisée pour déterminer si le conducteur 24 suit de son regard la suite de la représentation du symbole avec les données du dispositif d’observation 32. Les données, notamment les images ou les séquences vidéos du dispositif d’observation 32 sont ainsi fournies. Pour exploiter le regard, on peut, par exemple, analyser un mouvement de la tête ou un mouvement des yeux, par exemple, des pupilles du conducteur 24. L’attention du conducteur se constate si l’on détermine que le conducteur suit de son regard la suite de la représentation du symbole. On ne peut constater l’attention du conducteur si l’on détermine que le conducteur ne suit pas de son regard la suite de la représentation du symbole. En d’autres termes, on détermine si le conducteur 24 perçoit les symboles dans différentes positions et qu’il est ainsi concentré. On peut alors en conclure que le conducteur 6 se concentre sur l’événement de circulation.The control unit 34 is made to determine whether the driver 24 follows with his gaze the rest of the representation of the symbol with the data from the observation device 32. The data, in particular the images or the video sequences from the observation device 32 are thus provided. To exploit the gaze, it is possible, for example, to analyze a movement of the head or a movement of the eyes, for example, of the pupils of the driver 24. The attention of the driver is observed if it is determined that the driver is following his look at the continuation of the representation of the symbol. The driver's attention cannot be determined if it is determined that the driver does not follow the rest of the representation of the symbol with his gaze. In other words, it is determined whether the driver 24 perceives the symbols in different positions and is thus focused. It can then be concluded that driver 6 is concentrating on the traffic event.

Selon un développement, on peut en plus déterminer le comportement de clignotement du conducteur 24, notamment son regard ou ses paupières. On peut en outre, réagir aux données d’angle de direction, à la fréquence du maintien de la voie et du temps nécessaire au conducteur pour réagir à des rappels d’attention. Cela permet d’assister et de documenter le procédé de détermination de l’attention avec d’autres données.According to a development, it is also possible to determine the blinking behavior of the driver 24, in particular his gaze or his eyelids. In addition, it can react to steering angle data, the frequency of lane keeping and the time required for the driver to react to attention reminders. This makes it possible to support and document the process of determining attention with other data.

Si l’attention du conducteur n’est pas constatée, on peut émettre un avertissement. L’avertissement est assuré notamment avec le dispositif d’affichage 30 ou avec d’autres dispositifs d’affichage. En variante ou en plus, on peut émettre un avertissement par un signal audio, par exemple, à l’aide d’un haut-parleur. En variante ou en plus, on peut terminer le mode de conduite autonome du véhicule si l’on ne constate pas l’attention du conducteur 24. De plus, on peut demander au conducteur 24 de reprendre la conduite du véhicule 20, c’est-à-dire d’assurer la conduite manuelle du véhicule 20 si l’on ne constate pas l’attention du conducteur 24. Si le conducteur 24 ne réagit pas, alors on arrête le véhicule en sécurité. Par exemple, le véhicule 20 pourra être arrêté en sécurité au bord de la route et ainsi arriver en sécurité à un stop. En particulier, en tenant compte de l’environnement du véhicule 20 ou de l’état de la circulation.If the driver's attention is not observed, a warning can be issued. The warning is provided in particular with the display device 30 or with other display devices. Alternatively or additionally, a warning can be given by an audio signal, for example, using a loudspeaker. As a variant or in addition, the autonomous driving mode of the vehicle can be ended if the attention of the driver 24 is not observed. In addition, the driver 24 can be asked to resume driving the vehicle 20, this is that is to say to ensure the manual driving of the vehicle 20 if the attention of the driver 24 is not observed. If the driver 24 does not react, then the vehicle is stopped in safety. For example, the vehicle 20 can be stopped safely at the edge of the road and thus arrive safely at a stop sign. In particular, taking into account the environment of the vehicle 20 or the state of the traffic.

En d’autres termes, le dispositif 22 peut réaliser le concept de la tâche de réponse de conducteur. Au moyen du dispositif, pendant un cycle de conduite autonome ou un cycle de circulation sans mains niveau 2 ou de circulation L2-HF, des projections animées peuvent être affichées sur le pare-brise, par exemple, avec un dispositif de projection ou un affichage tête haute. Le dispositif d’observation ou la caméra de pilotage de conducteur encore appelé procédé DMC permet de vérifier si cela est observé par le conducteur 24 et est ainsi perçu. Si l’on constate que le conducteur ne perçoit pas les symboles, on peut en conclure qu’il est déconcentré ce qui permet l’envoi d’une cascade d’avertissements. La cascade d’avertissements permet d’informer le conducteur qu’il doit de nouveau observer les événements de circulation et ainsi continuer sa mission d’observation ou la reprendre.In other words, the device 22 can realize the concept of the driver response task. By means of the device, during an autonomous driving cycle or a level 2 hands-free traffic or L2-HF traffic cycle, animated projections can be displayed on the windshield, for example, with a projection device or a display head held high. The observation device or the driver's control camera, also called the DMC process, makes it possible to check whether this is observed by the driver 24 and is thus perceived. If we find that the driver does not perceive the symbols, we can conclude that he is distracted, which allows the sending of a cascade of warnings. The cascade of warnings informs the driver that he must again observe traffic events and thus continue his observation mission or resume it.

Si le conducteur 24 ne réagit pas, on peut augmenter les indications d’avertissement après un certain temps, et en particulier faire l’escalade. A titre d’exemple, on peut augmenter les rappels et le nombre d’avertissements, la fréquence des avertissements ou les différents milieux qui présentent les avertissements. C’est ainsi que l’on peut émettre un affichage d’un avertissement ou d’un signal audio comme avertissement. En outre, en plus ou en variante de l’affichage ou du signal audio, on émet un signal haptique, par exemple, par le siège. Cela permet de rendre les avertissements visuels ou audibles ou perceptibles ou tactiles pour le conducteur 24. Si le conducteur 24 ne réagit pas immédiatement à ces avertissements, on lance le freinage du véhicule pour garantir l’arrêt, de préférence, en tenant compte de l’environnement du véhicule 20 ou de l’état de la circulation. En particulier, on peut terminer le cycle de conduite autonome si l’on constate une inattention du conducteur 24.If the driver 24 does not react, one can increase the warning indications after a certain time, and in particular do the climbing. For example, one can increase the reminders and the number of warnings, the frequency of the warnings or the different environments that present the warnings. This is how you can issue a display of a warning or an audio signal as a warning. In addition, in addition to or as an alternative to the display or the audio signal, a haptic signal is emitted, for example, from the seat. This makes it possible to make the warnings visual or audible or perceptible or tactile for the driver 24. If the driver 24 does not react immediately to these warnings, the braking of the vehicle is initiated to guarantee stopping, preferably taking into account the environment of the vehicle 20 or the state of the traffic. In particular, the autonomous driving cycle can be terminated if driver inattention is observed 24.

En d’autres termes, le dispositif 22 permet d’afficher un symbole ou un objet animé et le conducteur 24 doit suivre de ses yeux ou à l’aide d’un mouvement de tête. Cela est, par exemple, observé par une ou plusieurs caméras d’habitacle 32, par exemple, un dispositif DMC ou un dispositif OMC et être ensuite analysé par l’unité de commande 34. On décide alors si le mouvement des yeux ou le mouvement de la tête coïncide avec l’exploitation du symbole ou de l’objet animé sur le pare-brise 28. Si cela correspond, on suppose que le conducteur est attentionné.In other words, the device 22 makes it possible to display a symbol or an animated object and the driver 24 must follow with his eyes or using a movement of his head. This is, for example, observed by one or more cabin cameras 32, for example a DMC device or an OMC device and then analyzed by the control unit 34. It is then decided whether the eye movement or the movement of the head coincides with the exploitation of the symbol or the animated object on the windshield 28. If this corresponds, it is assumed that the driver is attentive.

Si le conducteur 24 active un cycle de conduite autonome ou un niveau de conduite mains libres niveau 2 encore appelée conduite L2-HF, il reste responsable d’observer la circulation autour du véhicule 20 et de surveiller de système de conduite autonome. La surveillance du système sans que le conducteur 24 ne conduise lui-même ou c’est-à-dire sans qu’il ne conduise manuellement peut être fastidieux et augmenter le risque d’un mauvais usage du système. Les exemples de mauvais usage sont l’observation d’un film vidéo ou l’écriture d’un message sur un téléphone. Le dispositif permet de suivre l’attention du conducteur 24 pour décider s’il faut appliquer un procédé d’escalade en cas d’inattention du conducteur 24.If the driver 24 activates an autonomous driving cycle or a level of hands-free driving level 2 also called L2-HF driving, he remains responsible for observing the traffic around the vehicle 20 and for monitoring the autonomous driving system. Monitoring the system without the driver 24 driving himself or that is, without him driving manually can be tedious and increase the risk of misuse of the system. Examples of misuse are watching a video film or writing a message on a phone. The device makes it possible to follow the attention of the driver 24 to decide whether to apply an escalation process in the event of inattention of the driver 24.

Pendant que le conducteur 24 circule en mode de conduite autonome (ou mode L2-HF) le dispositif suit l’activité du regard du conducteur pour déterminer si le conducteur fait ou non attention à l’état de la circulation. Le dispositif de projection 30 du dispositif 22 est une projection animée ou statique, par exemple, comme symbole ou animation sur le pare-brise 28. Le conducteur 24 doit suivre le symbole ou la suite du symbole ou de l’animation avec les yeux, c’est-à-dire le regard. Le dispositif d’observation 32 ou caméra de surveillance du conducteur 24 ou surveillance des occupants suit le regard ou la position de la tête du conducteur 24 ; le regard du conducteur 24 sera ainsi reconnu ou suivi. Si le regard ou le mouvement de la tête et la direction correspondent au mouvement de la projection animée, et se superposent dans une certaine mesure, il est probable que le conducteur suit avec attention.While the driver 24 is traveling in autonomous driving mode (or L2-HF mode) the device tracks the driver's gaze activity to determine whether or not the driver is paying attention to the state of the traffic. The projection device 30 of the device 22 is an animated or static projection, for example, as a symbol or animation on the windshield 28. The driver 24 must follow the symbol or the continuation of the symbol or animation with the eyes, that is to say the look. The observation device 32 or driver monitoring camera 24 or occupant monitoring follows the gaze or the position of the driver's head 24; the gaze of the driver 24 will thus be recognized or followed. If the gaze or head movement and direction match the motion of the animated projection, and overlap to some degree, the driver is likely to be following attentively.

En d’autres termes, on compare la suite des positions des symboles affichés sur le pare-brise 28 et la direction du regard ou la suite du regard du conducteur 24. De manière avantageuse, on compare le chemin des symboles affichés avec le chemin de la poursuite du regard du conducteur 24. Si ces deux chemins se correspondent, notamment avec un seuil déterminé de concordance, on peut estimer que le conducteur suit les symboles affichés sur le pare-brise 28 et qu’il est ainsi en état d’attention.In other words, the sequence of positions of the symbols displayed on the windshield 28 and the direction of gaze or the continuation of the gaze of the driver 24 are compared. Advantageously, the path of the symbols displayed is compared with the path of the pursuit of the driver's gaze 24. If these two paths correspond, in particular with a determined threshold of concordance, it can be estimated that the driver is following the symbols displayed on the windshield 28 and that he is thus in a state of attention .

Les symboles peuvent être des symboles fixes ou de simples marquages en couleur ou des projections animées. Par exemple, le symbole ou le marquage peut sauter d’une position à une autre position. Cela est représenté à titre d’exemple, à la . Par exemple, le symbole peut sauter du milieu du pare-brise 28 dans un coin du pare-brise 28. Le symbole peut également changer de couleur ou de forme. Selon une variante de réalisation, le symbole est un point clignotant ou une figure ou un dessin animé. Par exemple, le symbole en différentes positions est une sorte de conte de dessins animés. Le conducteur 24 peut personnaliser avantageusement le symbole ou choisir lui-même ce qui doit être affiché. Pour optimiser la représentation du symbole et l’observation du conducteur 24, c’est-à-dire l’exploitation de la poursuite du regard et ainsi la vérification de l’attention on peut effectuer des tests d’utilisateur et ainsi améliorer par l’apprentissage à la machine, l’exploitation et l’analyse ou le procédé. En outre, il faut trouver un compromis entre le détournement de l’attention du conducteur 24 par les symboles et l’augmentation de l’attention du conducteur 24.Symbols can be fixed symbols or simple colored markings or animated projections. For example, the symbol or marking can jump from one position to another position. This is shown by way of example, at the . For example, the symbol can jump from the middle of the windshield 28 to a corner of the windshield 28. The symbol can also change color or shape. According to a variant embodiment, the symbol is a flashing point or a figure or a cartoon. For example, the symbol in different positions is a kind of cartoon tale. The conductor 24 can advantageously personalize the symbol or choose himself what must be displayed. To optimize the representation of the symbol and the observation of the driver 24, that is to say the exploitation of the continuation of the gaze and thus the verification of the attention, user tests can be carried out and thus improved by the machine learning, operation and analysis or process. Furthermore, a compromise must be found between diverting the attention of the driver 24 by the symbols and increasing the attention of the driver 24.

Selon une variante de réalisation, pour la conduite autonome on peut utiliser le niveau SAE 3 ou 4, en utilisant des indications visuelles comme fonction de loisir. Dans ce cas, la réalisation de la taille et de la position des symboles est moins limitée car le conducteur 24 n’a pas à surveiller impérativement l’environnement. Néanmoins, les symboles peuvent servir à augmenter la prise de conscience de la situation du conducteur 24 et la capacité de reprise de conduite dans le cas de la nécessité de conduire manuellement le véhicule 20.According to a variant embodiment, for autonomous driving, SAE level 3 or 4 can be used, using visual indications as a leisure function. In this case, the realization of the size and position of the symbols is less limited because the driver 24 does not have to imperatively monitor the environment. Nevertheless, the symbols may serve to increase the situational awareness of the driver 24 and the ability to resume driving in the event of the need to manually drive the vehicle 20.

En d’autres termes, le dispositif peut comporter un système d’ordinateur DRT et à l’aide du dispositif, on assurer une représentation sur le pare-brise 28 par exemple, à l’aide d’un dispositif de projection 30, d’un affichage tête haute ou d’un affichage transparent dans le pare-brise 28. Le dispositif d’observation 32 permet, par exemple, à une caméra de surveillance de conducteur ou à une caméra de surveillance de passager, d’observer les regards du conducteur 24. En plus de l’affichage de symbole on peut émettre des signaux audios pour, par exemple, adapter des sons spéciaux aux mouvements des symboles. On peut, par exemple, commander différemment divers haut-parleurs du véhicule et ainsi assister le mouvement des symboles, par exemple, de la gauche vers la droite ou de la droite vers la gauche. Selon la situation, par exemple, selon l’urgence on peut avoir un son plus agréable ou plus agressif. En cas de situation critique dans laquelle le conducteur 24 du véhicule 20 doit reprendre rapidement la commande on peut émettre un son plus agressif, notamment plus fort. Selon un développement, on peut également émettre des signaux audios sous la forme de bip, de bruit d’environnement ou de bruit de freinage.In other words, the device can comprise a DRT computer system and using the device, a representation can be ensured on the windshield 28 for example, using a projection device 30, d a head-up display or a transparent display in the windshield 28. The observation device 32 allows, for example, a driver surveillance camera or a passenger surveillance camera to observe the looks of the driver 24. In addition to the symbol display, audio signals can be transmitted in order, for example, to adapt special sounds to the movements of the symbols. It is possible, for example, to control various loudspeakers of the vehicle differently and thus to assist the movement of the symbols, for example, from left to right or from right to left. Depending on the situation, for example, depending on the urgency, we can have a more pleasant or more aggressive sound. In the event of a critical situation in which the driver 24 of the vehicle 20 must quickly take control, a more aggressive sound, in particular louder, can be emitted. According to a development, audio signals can also be transmitted in the form of beeps, environmental noise or brake noise.

Selon un développement avantageux, le conducteur peut régler ou configurer individuellement les symboles ou les inscriptions ou messages émis, dans des limites prédéfinies. Le conducteur 24 peut, par exemple, individualiser la forme ou la dimension du symbole de l’animation ou de la projection. Le symbole peut être, par exemple, une grande sphère ou un petit rectangle ou autre forme. Le conducteur 24 peut, en outre, individualiser pour ne pas avoir toujours l’affichage du même symbole ou encore varier les symboles en fonction du temps. Le conducteur peut en outre configurer les couleurs de façon que le symbole soit monochrome ou multicolores, avoir toujours la même couleur ou changer de couleur en fonction du temps. Par exemple, le conducteur 24 peut également individualiser la vitesse des animations, les animations étant, par exemple, statiques, très lentes, lentes, rapides ou impulsionnelles. En outre, le conducteur 24 peut régler, par exemple, le nombre, la nature des animations présentées en parallèles, avec par exemple, une bille ou un triangle qui tournent simultanément. Selon un développement, le conducteur peut également sélectionner des dessins animés pour l’affichage sur le pare-brise 28 dans différentes positions.According to an advantageous development, the driver can individually adjust or configure the symbols or the inscriptions or messages emitted, within predefined limits. The conductor 24 can, for example, individualize the shape or the dimension of the symbol of the animation or of the projection. The symbol can be, for example, a large sphere or a small rectangle or other shape. The conductor 24 can, moreover, individualize so as not to always have the same symbol displayed or even vary the symbols as a function of time. The driver can also configure the colors so that the symbol is monochromatic or multi-coloured, always has the same color or changes color depending on the weather. For example, the driver 24 can also individualize the speed of the animations, the animations being, for example, static, very slow, slow, fast or impulsive. In addition, the conductor 24 can adjust, for example, the number, the nature of the animations presented in parallel, with, for example, a ball or a triangle which rotate simultaneously. According to a development, the driver can also select cartoons for display on the windshield 28 in different positions.

Selon un développement, la représentation des symboles sur le pare-brise 28 peut être déclenché en fonction de seuil prédéfini dans le cycle de conduite autonome, par exemple, pour un niveau d’attention, un niveau de somnolence, le temps depuis la dernière représentation ou une durée de conduite. En d’autres termes, le symbole peut être notamment affiché dans la suite sur le pare-brise 28 si le véhicule 20 est en cycle de conduite autonome et qu’un seuil défini a été déplacé, par exemple, un niveau d’attention du conducteur 24, un niveau de somnolence, le temps depuis la dernière animation ou la durée ou temps de conduite. Selon un développement, le conducteur peut démarrer lui-même la représentation des symboles. En d’autres termes, la représentation des symboles ou des animations peut être déclenchée notamment en fonction de seuils prédéfinis pour par le conducteur 24 lui-même.According to a development, the representation of the symbols on the windshield 28 can be triggered according to a predefined threshold in the autonomous driving cycle, for example, for a level of attention, a level of drowsiness, the time since the last representation or driving time. In other words, the symbol can be displayed in particular subsequently on the windshield 28 if the vehicle 20 is in an autonomous driving cycle and a defined threshold has been moved, for example, a level of attention of the driver 24, a drowsiness level, the time since the last animation or the duration or driving time. According to one development, the driver can start the representation of the symbols himself. In other words, the representation of symbols or animations can be triggered in particular according to predefined thresholds for the driver 24 himself.

Le procédé peut également être lancé pendant un mode de conduite manuel du véhicule 20. La suite des symboles peut ainsi être représentée pendant un mode de conduite manuelle du véhicule 20. Pour cela, il faut veiller à ce que le conducteur 24 ne soit pas dérangé par les symboles. Par exemple, le dispositif peut être combiné à une détection de fatigue. Dès que l’on a reconnu que le conducteur 24 est trop fatigué pour assurer la mission de conduite manuelle, en ce que, par exemple, on dépasse un seuil de fatigue, le procédé sera démarré et les symboles seront affichés.The method can also be launched during a manual driving mode of the vehicle 20. The sequence of symbols can thus be represented during a manual driving mode of the vehicle 20. For this, care must be taken that the driver 24 is not disturbed. by symbols. For example, the device can be combined with fatigue detection. As soon as it has been recognized that the driver 24 is too tired to carry out the manual driving mission, in that, for example, a fatigue threshold is exceeded, the method will be started and the symbols will be displayed.

La détection ou reconnaissance de la fatigue peut se faire, par exemple, en utilisant les mouvements de direction ou l’activité de clignotement du conducteur 24.The detection or recognition of fatigue can be done, for example, by using steering movements or the blinking activity of the driver 24.

En d’autres termes, le procédé ou le dispositif peuvent également s’appliquer pour la conduite manuelle du véhicule 20, pour vérifier le niveau de fatigue du conducteur 24 ou pour augmenter brièvement de nouveau son attention ou déclencher un niveau d’avertissement qui indique sa fatigue au conducteur 24.In other words, the method or the device can also be applied for manual driving of the vehicle 20, to check the level of fatigue of the driver 24 or to briefly increase his attention again or trigger a warning level which indicates his fatigue to the driver 24.

En d’autres termes, le procédé peut également s’appliquer en liaison avec une détection de fatigue en cas de fatigue en cas de conduite manuelle notamment si le véhicule 20 dispose du contrôle de conducteur (driver monitoring). Comme exemple, on pourrait lancer automatiquement la représentation ou la projection dès qu’un certain niveau de fatigue du conducteur 24 est dépassé. Cela permet d’augmenter de nouveau pendant un certain temps, l’attention du conducteur 24 ou si l’on constate que le conducteur 24 ne réagit pas à des animations on active un niveau d’avertissement haut, correspondant. De façon préférentielle, on peut émettre un avertissement ou un signal d’avertissement. On peut exiger du conducteur 24 qu’il arrête le véhicule 20 si l’on ne constate pas l’attention du conducteur 24. Selon d’autres escalades, on peut commander le véhicule 20 à le freiner jusqu’à l’arrêt si l’on ne constate pas l’attention du conducteur 24 en particulier, en tenant compte de l’environnement du véhicule ou de l’état de la circulation. En d’autres termes, on peut lancer le freinage contrôlé jusqu’à l’arrêt du véhicule 20 en tenant compte de l’environnement du véhicule 20 ou de l’état de la circulation.In other words, the method can also be applied in connection with fatigue detection in the event of fatigue in the event of manual driving, in particular if the vehicle 20 has driver monitoring. As an example, the representation or the projection could be launched automatically as soon as a certain level of driver fatigue 24 is exceeded. This increases the attention of the driver 24 again for a certain time or if it is noticed that the driver 24 does not react to animations, a corresponding high warning level is activated. Preferably, a warning or a warning signal can be issued. The driver 24 can be required to stop the vehicle 20 if the attention of the driver 24 is not observed. According to other escalations, the vehicle 20 can be ordered to brake it to a stop if the The attention of the driver 24 in particular is not observed, taking into account the environment of the vehicle or the state of the traffic. In other words, controlled braking can be launched until the vehicle 20 comes to a stop, taking into account the environment of the vehicle 20 or the state of the traffic.

La est une représentation schématique d’une partie d’un véhicule 20 avec un dispositif 22 selon un mode de réalisation de l’invention. Le dispositif 22 peut être réalisé comme le dispositif 22 de la . Le dispositif 22 peut être installé dans un véhicule 20 comme le montre la .There is a schematic representation of part of a vehicle 20 with a device 22 according to one embodiment of the invention. The device 22 can be made like the device 22 of the . The device 22 can be installed in a vehicle 20 as shown in the .

A la différence on représente le symbole 36 sur le pare-brise 28. Dans cette réalisation avantageuse, le symbole 36 est une étoile. Le symbole 36 peut également avoir une autre forme. Le symbole 36 est représenté à une première position 38 sur le pare-brise 28. Puis le symbole 36 est déplacé selon la flèche 40 jusqu’à une seconde position 42. Pendant le déplacement, le symbole 36 continue d’être affiché ; en variante, le symbole 36 peut également disparaître et réapparaître à la seconde position 42. Ensuite, on déplace le symbole 36 de la seconde position 42 le long de la flèche 44 jusqu’à une troisième position 46. Pendant ce déplacement, le symbole 36 peut rester affiché ou en variante, le symbole 36 peut disparaître à la seconde position 42 pour réapparaître à la troisième position 46. Le symbole 36 peut, de la même manière, être représenté en différentes positions. La durée de la représentation du symbole 36 aux différentes positions, notamment à la première position 38, à la seconde position 42 ou à la troisième position 46 peut être identique ou différente. On a ainsi un chemin pour la représentation du symbole 36 sur le pare-brise 28. Le chemin peut également être différent et la représentation peut comporter plus ou moins de symboles ou de positions.Unlike the symbol 36 is represented on the windshield 28. In this advantageous embodiment, the symbol 36 is a star. The symbol 36 can also have another form. The symbol 36 is represented at a first position 38 on the windshield 28. Then the symbol 36 is moved according to the arrow 40 to a second position 42. During the movement, the symbol 36 continues to be displayed; alternatively, the symbol 36 can also disappear and reappear at the second position 42. Then, the symbol 36 is moved from the second position 42 along the arrow 44 to a third position 46. During this movement, the symbol 36 can remain displayed or alternatively, the symbol 36 can disappear at the second position 42 to reappear at the third position 46. The symbol 36 can, in the same way, be represented in different positions. The duration of the representation of the symbol 36 at the different positions, in particular at the first position 38, at the second position 42 or at the third position 46 can be identical or different. There is thus a path for the representation of the symbol 36 on the windshield 28. The path can also be different and the representation can comprise more or less symbols or positions.

La est une représentation schématique d’un procédé 50 pour déterminer l’attention d’un conducteur dans un véhicule circulant au moins partiellement en mode autonome correspondant à un mode de réalisation de la présente invention. Le procédé 50 peut être appliqué par un dispositif comme celui de la ou de la .There is a schematic representation of a method 50 for determining the attention of a driver in a vehicle circulating at least partially in autonomous mode corresponding to an embodiment of the present invention. The method 50 can be applied by a device like that of the or the .

Dans une première étape 52 du procédé 50, on représente, pour le conducteur, en différentes positions sur le pare-brise du véhicule, une suite pendant un mode de circulation autonome du véhicule ou pendant un mode de circulation manuelle du véhicule 20. Les symboles peuvent être affichés sur un chemin défini dans différentes positions. Selon une réalisation avantageuse, le procédé de détermination de l’attention du conducteur est lancé pendant le mode de circulation autonome du véhicule. Selon un autre développement, le démarrage du procédé peut également être combiné à des seuils différents tels que, par exemple, un seuil d’attention ou un seuil de fatigue du conducteur ; le procédé est alors autorisé si l’on reconnaît que le conducteur est fatigué. En variante ou en plus, le conducteur peut lui-même démarrer le procédé. Dans un autre développement, le procédé 50 ne sera démarré que si l’intervalle de temps par rapport à la dernière application du procédé dépasse un certain seuil. En d’autres termes, le procédé 50 peut être relancé après un certain temps. Une conduite de démarrage du procédé 50 est notamment la conduite en mode de circulation autonome ou au niveau 2 du mode de circulation autonome, c’est-à-dire au mode mains libres au niveau 2 (L2 HF).In a first step 52 of the method 50, there is represented, for the driver, in different positions on the windshield of the vehicle, a sequence during an autonomous circulation mode of the vehicle or during a manual circulation mode of the vehicle 20. The symbols can be displayed on a defined path in different positions. According to an advantageous embodiment, the method for determining the driver's attention is launched during the autonomous driving mode of the vehicle. According to another development, the start of the method can also be combined with different thresholds such as, for example, an attention threshold or a driver fatigue threshold; the process is then authorized if it is recognized that the driver is tired. Alternatively or additionally, the driver can start the process himself. In another development, the method 50 will only be started if the time interval with respect to the last application of the method exceeds a certain threshold. In other words, the process 50 can be restarted after a certain time. A way to start the method 50 is in particular driving in autonomous circulation mode or at level 2 of the autonomous circulation mode, that is to say in hands-free mode at level 2 (L2 HF).

Les symboles peuvent être représentés à l’aide d’un dispositif d’affichage. De manière avantageuse, les symboles sont représentés avec un dispositif de projection. Le symbole peut être représenté de préférence pendant une durée déterminée. A titre d’exemple, le symbole peut être représenté dans des conditions différentes pour une durée chaque fois différente. Selon un développement, on peut notamment représenter différents symboles dans différentes positions. Par exemple, les symboles peuvent être représentés dans des positions sur le pare-brise qui se combinent à d’autres participants à la circulation ou objets dans l’environnement du véhicule. De préférence, on peut représenter différents symboles simultanément en différentes positions. Selon un développement, on peut émettre un ou plusieurs signaux audios avec les symboles.Symbols can be represented using a display device. Advantageously, the symbols are represented with a projection device. The symbol can preferably be represented for a determined duration. For example, the symbol can be represented under different conditions for a different duration each time. According to a development, it is possible in particular to represent different symbols in different positions. For example, the symbols can be depicted in positions on the windshield that combine with other traffic participants or objects in the vehicle environment. Preferably, different symbols can be represented simultaneously in different positions. According to a development, one or more audio signals can be transmitted with the symbols.

Selon une seconde étape 54 du procédé, on fournit les données à un dispositif d’observation pour observer le conducteur. Pour cela, dans la seconde étape 54, on observe le conducteur avec un dispositif d’observation. En particulier, on observe ou on suit le regard du conducteur. Cela permet de prendre, par exemple, le mouvement du regard ou la trajectoire du regard.According to a second step 54 of the method, the data is supplied to an observation device to observe the driver. For this, in the second step 54, the driver is observed with an observation device. In particular, the gaze of the driver is observed or followed. This makes it possible to take, for example, the movement of the gaze or the trajectory of the gaze.

Dans une troisième étape 56 du procédé 50, on détermine à l’aide des données du dispositif d’observation, si le conducteur suit la suite de la représentation du symbole par son regard. On confirme (on constate) l’attention du conducteur si l’on détermine que le conducteur suit avec son regard la suite de la représentation du symbole. L’attention du regard du conducteur n’est pas constatée si l’on détermine que le conducteur ne suit pas avec son regard, la suite de la représentation du symbole. En particulier, on peut analyser la suite des regards du conducteur. On peut, par exemple, analyser le mouvement du regard ou la trajectoire du regard. Le mouvement du regard du conducteur peut être comparé au chemin des symboles affichés sur le pare-brise. Si le mouvement du regard du conducteur coïncide avec le chemin des symboles affichés sur le pare-brise jusqu’à un certain niveau ou degré du seuil, alors on peut estimer que le conducteur suit avec son regard la suite du symbole sur le chemin. On peut ainsi conclure que le conducteur a son attention. Si le mouvement du regard du conducteur ne coïncide pas avec le chemin du symbole représenté sur le pare-brise, jusqu’à un certain niveau ou degré ou seuil pour un seuil déterminé, on peut alors estimer que le conducteur ne suit pas avec son regard, la suite du symbole sur le chemin. On peut ainsi en conclure que le conducteur n’est pas en état d’attention.In a third step 56 of the method 50, it is determined using the data from the observation device, whether the driver follows the continuation of the representation of the symbol by his gaze. We confirm (we observe) the attention of the driver if we determine that the driver follows with his gaze the continuation of the representation of the symbol. The attention of the driver's gaze is not recognized if it is determined that the driver does not follow with his gaze the continuation of the representation of the symbol. In particular, it is possible to analyze the sequence of the driver's gaze. One can, for example, analyze the movement of the gaze or the trajectory of the gaze. The movement of the driver's gaze can be compared to the path of symbols displayed on the windshield. If the movement of the driver's gaze coincides with the path of the symbols displayed on the windshield up to a certain level or degree of the threshold, then it can be estimated that the driver is following with his gaze the continuation of the symbol on the path. We can thus conclude that the driver has his attention. If the movement of the driver's gaze does not coincide with the path of the symbol represented on the windshield, up to a certain level or degree or threshold for a determined threshold, it can then be estimated that the driver is not following with his gaze. , the continuation of the symbol on the path. It can therefore be concluded that the driver is not in a state of attention.

Dans une quatrième étape 58 du procédé 50, selon un développement avantageux, on émet un avertissement si l’on ne constate pas l’attention du conducteur. En variante ou en plus, on peut terminer le mode de conduite autonome du véhicule et exiger que le conducteur reprenne la conduite du véhicule si l’on ne constate pas l’attention du conducteur. Lorsque l’attention du conducteur est détectée, alors, au lieu d’émettre un avertissement, on termine le procédé 50. Le procédé 50 peut être repris ultérieurement.In a fourth step 58 of the method 50, according to an advantageous development, a warning is issued if the driver's attention is not observed. Alternatively or additionally, the autonomous driving mode of the vehicle may be terminated and the driver may be required to resume driving the vehicle if the driver's attention is not observed. When the driver's attention is detected, then, instead of issuing a warning, the method 50 is terminated. The method 50 can be resumed later.

En d’autres termes, le procédé 50 déclenche une projection animée sur le pare-brise et détermine comment le conducteur suit avec son regard la projection ou réagit à celle-ci. Si le regard du conducteur suit, dans une certaine mesure rapidement la projection ou dans une certaine mesure, le conducteur est en état d’attention. Si le regard du conducteur ne suit pas la projection, le conducteur n’est pas en état d’attention. Dans ce cas, le procédé 50 déclenche des avertissements, notamment une procédure d’escalade.In other words, the method 50 triggers an animated projection on the windshield and determines how the driver follows the projection with his gaze or reacts to it. If the driver's gaze follows the projection to some extent quickly or to some extent, the driver is in a state of attention. If the driver's gaze does not follow the projection, the driver is not in a state of attention. In this case, the method 50 triggers warnings, in particular an escalation procedure.

La montre un schéma par blocs d’un dispositif 22 pour déterminer l’attention d’un conducteur 24 dans un véhicule circulant au moins partiellement en mode autonome selon un mode de réalisation de la présente invention. Le dispositif 22 peut être réalisé comme le dispositif de la ou celui de la . Le dispositif 22 permet d’exécuter un procédé selon celui présenté à la .There shows a block diagram of a device 22 for determining the attention of a driver 24 in a vehicle circulating at least partially in autonomous mode according to an embodiment of the present invention. The device 22 can be made like the device of the or that of the . The device 22 makes it possible to execute a method according to that presented in .

Le procédé comprend notamment trois blocs fonctionnels. Un premier bloc est le dispositif d’affichage 30, par exemple un dispositif de projection 30 pour représenter un symbole, par exemple, une projection animée sur le pare-brise 28. Le conducteur 24 peut ou doit percevoir le symbole sur le pare-brise 28. Un second bloc fonctionnel est un dispositif d’observation 32, par exemple, une caméra, pour observer le conducteur 24. Le dispositif d’observation 32 réalisé sous la forme de caméras d’observation de conducteur ou de caméra d’observation de passager peut prendre des images ou des données vidéos et surveiller ainsi le conducteur 24.The method notably comprises three functional blocks. A first block is the display device 30, for example a projection device 30 to represent a symbol, for example, an animated projection on the windshield 28. The driver 24 can or must perceive the symbol on the windshield 28. A second functional block is an observation device 32, for example a camera, for observing the driver 24. The observation device 32 realized in the form of driver observation cameras or driver observation camera passenger can take images or video data and thus monitor the driver 24.

Un troisième bloc fonctionnel est sous la forme d’une unité de commande 34 pour déclencher et commander le dispositif d’affichage 30 et exploiter et analyser les données du dispositif d’observation 32. On peut alors comparer le chemin des symboles affichés sur le pare-brise 28 avec la poursuite du regard du conducteur 24. L’interaction des blocs fonctionnels entre eux et avec le conducteur 24 est schématisée par des flèches. En d’autres termes, l’unité de commande 34 compare les conditions de la commande du dispositif d’affichage 30 aux données de la poursuite du regard, analysée du conducteur 24. L’unité de commande 34 compare avantageusement la direction de la suite des symboles ou de l’animation avec la poursuite du regard ou du chemin de la poursuite du regard du conducteur 24. Si ceux-ci se correspondent à un certain degré, situés, par exemple, au-dessus d’un seuil défini, on peut en conclure que le conducteur suit avec son regard la suite des symboles. Le seuil peut correspondre, par exemple, à un pourcentage. On peut en conclure alors que l’attention du conducteur existe et qu’il répond à sa mission d’observation de l’environnement du véhicule. Si l’on ne constate pas d’attention du conducteur, on peut terminer l’affichage des symboles et l’observation du conducteur 24. A un instant ultérieur on peut renouveler l’opération. La reprise peut alors se faire après un certain temps de parcours ou en cas d’éventuelle inattention du conducteur 24.A third functional block is in the form of a control unit 34 for triggering and controlling the display device 30 and exploiting and analyzing the data from the observation device 32. It is then possible to compare the path of the symbols displayed on the screen. -breeze 28 with the continuation of the gaze of the driver 24. The interaction of the functional blocks between them and with the driver 24 is shown schematically by arrows. In other words, the control unit 34 compares the conditions of the control of the display device 30 with the analyzed tracking data of the driver 24. The control unit 34 advantageously compares the direction of the following symbols or animation with the tracking of the gaze or the path of the tracking of the driver's gaze 24. If these correspond to a certain degree, located, for example, above a defined threshold, one can conclude that the driver follows the sequence of symbols with his gaze. The threshold can correspond, for example, to a percentage. We can then conclude that the driver's attention exists and that he responds to his mission of observing the environment of the vehicle. If the driver's attention is not observed, the display of the symbols and the observation of the driver 24 can be terminated. At a later time, the operation can be repeated. The resumption can then take place after a certain travel time or in the event of possible inattention of the driver 24.

Si l’on constate que le conducteur 24 n’a pas d’attention, alors l’unité de commande 34 peut émettre un ou plusieurs avertissements. En particulier, on peut déclencher une cascade d’avertissements. On paeut, par exemple, commander alors des voyants qui clignoteront notamment. En variante ou en plus, les symboles peuvent être affichés de manière plus intense sur le pare-brise 28 ou clignoter. Si de nouveau on constate l’absence d’attention du conducteur, on peut, par exemple, déclencher d’autres niveaux d’avertissement avec, par exemple, un avertissement acoustique émis par un enregistrement audio. Comme dernier niveau de la cascade d’avertissements, on peut demander au conducteur de poursuivre la conduite du véhicule par sa commande manuelle et terminer le mode de conduite autonome. En d’autres termes, l’unité de commande 34 déclenche la requête de reprise de conduite (requête TOR). En variante ou en plus, le véhicule sera conduit à un arrêt garanti.If it is observed that the driver 24 is not paying attention, then the control unit 34 can issue one or more warnings. In particular, a cascade of warnings can be triggered. We can, for example, then order lights that will flash in particular. Alternatively or additionally, the symbols may be displayed more intensely on the windshield 28 or flash. If the driver's lack of attention is once again observed, it is possible, for example, to trigger other levels of warning with, for example, an acoustic warning emitted by an audio recording. As the last level of the cascade of warnings, the driver can be instructed to continue driving the vehicle through their manual control and end the autonomous driving mode. In other words, the control unit 34 triggers the request to resume driving (TOR request). Alternatively or additionally, the vehicle will be driven to a guaranteed stop.

Claims (15)

Procédé (50) pour déterminer l’attention d’un conducteur (24) dans un véhicule (20) circulant au moins en partie, de manière autonome comprenant les étapes consistant à :
- représenter au moins un symbole (36) pour le conducteur (24) dans différentes positions sur le pare-brise (28) du véhicule (20) dans une succession pendant un mode de conduite autonome du véhicule (20) ou pendant un mode de conduite manuel du véhicule (20),
- fournir des données d’un dispositif d’observation (32) pour observer le conducteur (24),
- déterminer à l’aide des données du dispositif d’observation (32) si le conducteur (24) suit du regard la succession de la représentation du symbole (36),
* on constate l’attention du conducteur (24) si l’on détermine que le conducteur (24) suit de son regard la succession de la représentation du symbole (26) et,
* on constate l’absence d’attention du conducteur (24) si l’on détermine que le conducteur (24) ne suit pas de son regard la suite de la représentation du symbole (36).Method (50) for determining the attention of a driver (24) in a vehicle (20) circulating at least in part, in an autonomous manner comprising the steps consisting in:
- representing at least one symbol (36) for the driver (24) in different positions on the windshield (28) of the vehicle (20) in succession during an autonomous driving mode of the vehicle (20) or during a mode of manual driving of the vehicle (20),
- providing data from an observation device (32) to observe the driver (24),
- determining with the help of the data from the observation device (32) whether the driver (24) is following the succession of the representation of the symbol (36) with his gaze,
* the attention of the driver (24) is observed if it is determined that the driver (24) follows with his gaze the succession of the representation of the symbol (26) and,
* the lack of attention of the driver (24) is observed if it is determined that the driver (24) does not follow with his gaze the continuation of the representation of the symbol (36). Procédé (50) selon la revendication 1, comprenant l’étape consistant à :
- démarrer le procédé (50) pour déterminer l’attention du conducteur (24) pendant un mode de conduite autonome du véhicule (20).A method (50) according to claim 1, comprising the step of:
- starting the method (50) for determining the attention of the driver (24) during an autonomous driving mode of the vehicle (20). Procédé (50) selon l’une des revendications précédentes,
caractérisé en ce que
- on observe le conducteur (24) à l’aide d’un dispositif d’observation (32).Method (50) according to one of the preceding claims,
characterized in that
- the conductor (24) is observed using an observation device (32). Procédé selon l’une des revendications précédentes,
caractérisé en ce que
le symbole (36) est représenté pendant une durée déterminée.Method according to one of the preceding claims,
characterized in that
the symbol (36) is represented for a determined duration. Procédé selon l’une des revendications précédentes,
caractérisé en ce que
le symbole (36) est représenté dans des positions différentes chaque fois pour une durée différente.Method according to one of the preceding claims,
characterized in that
the symbol (36) is represented in different positions each time for a different duration. Procédé selon l’une des revendications précédentes,
caractérisé en ce que
on représente différents symboles (36) dans des positions différentes.Method according to one of the preceding claims,
characterized in that
different symbols (36) are shown in different positions. Procédé selon l’une des revendications précédentes,
caractérisé en ce que
on représente les symboles (36) dans des positions sur le pare-brise (28) qui se superposent à d’autres participants à la circulation ou objets dans l’environnement du véhicule (20).Method according to one of the preceding claims,
characterized in that
the symbols (36) are shown in positions on the windshield (28) that overlap with other traffic participants or objects in the environment of the vehicle (20). Procédé selon l’une des revendications précédentes,
caractérisé en ce que
on représente les symboles (36) à l’aide d’un dispositif d’affichage (30).Method according to one of the preceding claims,
characterized in that
the symbols (36) are represented using a display device (30). Procédé selon la revendication 8,
caractérisé en ce que
le dispositif d’affichage (30) est un dispositif de projection (30).Method according to claim 8,
characterized in that
the display device (30) is a projection device (30). Procédé selon l’une des revendications précédentes,
caractérisé en ce que
on représente différents symboles (36) simultanément dans des positions différentes.Method according to one of the preceding claims,
characterized in that
different symbols (36) are represented simultaneously in different positions. Procédé selon l’une des revendications précédentes,
caractérisé en ce que
on émet un signal audio pour les symboles (36).Method according to one of the preceding claims,
characterized in that
transmitting an audio signal for the symbols (36). Procédé selon l’une des revendications précédentes,
caractérisé en ce que
on émet un avertissement si l’on ne constate pas l’attention du conducteur (24).Method according to one of the preceding claims,
characterized in that
a warning is issued if the attention of the driver (24) is not observed. Procédé selon l’une des revendications précédentes,
caractérisé en ce que
on termine le mode de conduite autonome du véhicule (20) et on demande au conducteur de reprendre la conduite du véhicule (20) si l’on constate l’absence d’attention du conducteur (24).Method according to one of the preceding claims,
characterized in that
the autonomous driving mode of the vehicle (20) is terminated and the driver is asked to resume driving the vehicle (20) if the lack of attention of the driver (24) is observed. Dispositif (22) pour déterminer l’attention d’un conducteur dans un véhicule (20) circulant au moins en partie de manière autonome,
le dispositif (22) comportant un dispositif d’affichage (30) pour représenter au moins un symbole (36) pour le conducteur (24) dans différentes positions sur le pare-brise (28) du véhicule (20) selon une suite pendant le mode de conduite autonome du véhicule (20) ou pendant le mode de conduite manuel du véhicule (20) et,
- le dispositif (22) a une unité de commande (34) pour recevoir les données d’un dispositif d’observation (32) et pour déterminer si le conducteur (24) suit la suite de la représentation du symbole (36) par son regard à l’aide des données du dispositif d’observation (32),
- on détermine l’attention du conducteur (24) si l’on détermine que le conducteur (24) suit la suite de la représentation du symbole (36) avec son regard, et
- on constate l’absence d’attention du conducteur (24) si l’on détermine que le conducteur (24) ne suit pas de son regard la suite de la représentation du symbole (36).Device (22) for determining the attention of a driver in a vehicle (20) traveling at least partly autonomously,
the device (22) comprising a display device (30) for representing at least one symbol (36) for the driver (24) in different positions on the windshield (28) of the vehicle (20) in sequence during the autonomous driving mode of the vehicle (20) or during the manual driving mode of the vehicle (20) and,
- the device (22) has a control unit (34) for receiving data from an observation device (32) and for determining whether the driver (24) follows the continuation of the symbol representation (36) by its gaze using data from the observation device (32),
- the attention of the driver (24) is determined if it is determined that the driver (24) follows the continuation of the representation of the symbol (36) with his gaze, and
- the lack of attention of the driver (24) is observed if it is determined that the driver (24) does not follow with his gaze the continuation of the representation of the symbol (36). Dispositif (22) selon la revendication 14,
comprenant un dispositif d’observation (32) pour observer le conducteur (24).Device (22) according to claim 14,
comprising an observation device (32) for observing the conductor (24).
FR2213724A 2021-12-20 2022-12-19 Method for determining the attention of a driver in a vehicle circulating in a partially autonomous manner Pending FR3130732A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021214751.8A DE102021214751A1 (en) 2021-12-20 2021-12-20 Method for determining the attention of a driver in an at least partially autonomously driving vehicle
DE102021214751.8 2021-12-20

Publications (1)

Publication Number Publication Date
FR3130732A1 true FR3130732A1 (en) 2023-06-23

Family

ID=86606702

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2213724A Pending FR3130732A1 (en) 2021-12-20 2022-12-19 Method for determining the attention of a driver in a vehicle circulating in a partially autonomous manner

Country Status (3)

Country Link
CN (1) CN116279515A (en)
DE (1) DE102021214751A1 (en)
FR (1) FR3130732A1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005098777A1 (en) 2004-03-22 2005-10-20 Volvo Technology Corporation Method and system for perceptual suitability test of a driver
JP4497305B2 (en) 2004-12-08 2010-07-07 株式会社デンソー Driver status determination device
DE102012221090B4 (en) 2011-11-17 2021-05-12 GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) Process for driver attention management as well as driver attention management system
JP5974915B2 (en) 2013-01-29 2016-08-23 株式会社デンソー Arousal level detection device and arousal level detection method
US11493918B2 (en) 2017-02-10 2022-11-08 Magna Electronics Inc. Vehicle driving assist system with driver attentiveness assessment
JP7092527B2 (en) 2018-03-15 2022-06-28 本田技研工業株式会社 Transport equipment and its travel control method

Also Published As

Publication number Publication date
CN116279515A (en) 2023-06-23
DE102021214751A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
FR2865307A1 (en) DEVICE FOR DETERMINING THE RISK OF COLLISION
US11535260B2 (en) Attention-based notifications
FR3068945B1 (en) ROAD VEHICLE AND METHOD OF REINSTATEMENT OF THE MANUAL DRIVE
JP2007249567A (en) Display device, method, and program
FR3030789A1 (en) METHOD FOR MANAGING A HIGH HEAD DISPLAY DEVICE AND DEVICE FOR IMPLEMENTING THE SAME
WO2018158163A1 (en) Device for determining the attentiveness of a driver of a vehicle, on-board system comprising such a device, and associated method
EP3448711B1 (en) Automated driving system for a motor vehicle provided with an advanced visual communication interface
US20160046295A1 (en) Method and device for determining a reaction time of a vehicle driver
FR3056535A1 (en) DYNAMIC LIGHT EFFECT LIGHTING DEVICE FOR A MOTOR VEHICLE HABITACLE
JP2016509763A (en) In-vehicle mobile device management
EP3482284A1 (en) Head-up display and method for controlling an image-generation device of a head-up display
FR2872745A1 (en) Control unit monitoring device for vehicle, has camera serving to capture control unit and display for providing image of actuation of control unit captured by camera that is installed at roof of vehicle
FR2800496A1 (en) System for assisting vehicle driver, comprises display in normal field of vision which shows symbol representing important information for time interval just above unconscious perception threshold
US20180022357A1 (en) Driving recorder system
WO2022079375A1 (en) Device and method for controlling the display of information in the field of vision of a driver of a vehicle
FR3130732A1 (en) Method for determining the attention of a driver in a vehicle circulating in a partially autonomous manner
WO2020120760A1 (en) Method for determining a drowsiness level of a motor vehicle driver
US20230159046A1 (en) Generation and Presentation of Stimuli
EP3286597A1 (en) Display device for a motor vehicle
FR3113016A1 (en) Method and device for supervising the provision of an autonomous driving mode of a moving vehicle driven by a driver.
FR3082490A1 (en) DEVICE FOR ASSISTING THE RESUMPTION IN MANUAL DRIVING OF A VEHICLE AFTER A PHASE IN AUTONOMOUS DRIVING MODE.
EP3867126B1 (en) Method and device for assisting with driving a motor vehicle during reversing
WO2024132690A1 (en) In-vehicle immersive-reality system
FR3136730A1 (en) Method for alerting a driver of a motor vehicle after determining areas not monitored by the driver
FR3086181A1 (en) ASSISTANCE PROCESS FOR THE PHYSICAL REMOBILIZATION OF MOBILE TERMINAL USERS DURING TRAVEL ON BOARD VEHICLES

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20230818

PLFP Fee payment

Year of fee payment: 2