FR3085927A1 - DEVICE, SYSTEM AND METHOD FOR DETECTING DISTRACTION OF A CONDUCTOR - Google Patents
DEVICE, SYSTEM AND METHOD FOR DETECTING DISTRACTION OF A CONDUCTOR Download PDFInfo
- Publication number
- FR3085927A1 FR3085927A1 FR1858392A FR1858392A FR3085927A1 FR 3085927 A1 FR3085927 A1 FR 3085927A1 FR 1858392 A FR1858392 A FR 1858392A FR 1858392 A FR1858392 A FR 1858392A FR 3085927 A1 FR3085927 A1 FR 3085927A1
- Authority
- FR
- France
- Prior art keywords
- driver
- gaze
- distraction
- dimensional
- absence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004020 conductor Substances 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims abstract description 5
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000005855 radiation Effects 0.000 claims description 6
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/26—Incapacity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Un dispositif de détection de la distraction d'un conducteur (40) comprend un module de détection d'une direction de regard du conducteur (10), un module de réception (20) de données représentatives de l'environnement du conducteur, et un module de traitement (30) conçu pour détecter, sur la base des données reçues, la présence ou l'absence d'un objet (P) dans la direction de regard détectée (D) et pour déterminer une information représentative du niveau de distraction (ND) dudit conducteur en fonction de la présence ou de l'absence d'un objet (P) dans la direction de regard (D) dudit conducteur. Un système (50) et un procédé de détection sont également proposés.A driver distraction detection device (40) includes a driver's gaze direction detection module (10), a receiving module (20) for data representative of the driver's environment, and a processing module (30) designed to detect, on the basis of the data received, the presence or absence of an object (P) in the detected direction of gaze (D) and to determine information representative of the level of distraction ( ND) of said conductor as a function of the presence or absence of an object (P) in the viewing direction (D) of said conductor. A detection system (50) and method are also provided.
Description
Domaine technique auquel se rapporte l'inventionTechnical field to which the invention relates
La présente invention concerne de manière générale le domaine des systèmes d’aide à la conduite.The present invention relates generally to the field of driver assistance systems.
Elle concerne plus particulièrement un dispositif, un système et un procédé de détection de la distraction d’un conducteur, disposés par exemple à l’intérieur d’un véhicule.It relates more particularly to a device, a system and a method for detecting the distraction of a driver, arranged for example inside a vehicle.
ARRIERE-PLAN TECHNOLOGIQUETECHNOLOGICAL BACKGROUND
Depuis plusieurs années, les véhicules dits « intelligents >> sont développés pour améliorer la sécurité ou le confort des conducteurs en intégrant divers systèmes d’aide à la conduite dans l’habitacle du véhicule.For several years, so-called "intelligent" vehicles have been developed to improve the safety or comfort of drivers by integrating various driver assistance systems in the vehicle interior.
On connaît par exemple des systèmes d’aide à la conduite permettant de détecter et de suivre la direction du regard d’un conducteur dans un véhicule. La direction du regard est ensuite exploitée pour évaluer la distraction du conducteur. Par exemple, le conducteur est considéré comme n’étant pas distrait lorsqu’il regarde la route ou son rétroviseur intérieur. Le conducteur est considéré comme distrait lorsqu’il regarde par exemple du côté du passager avant.Driver assistance systems are known, for example, for detecting and tracking the direction of gaze of a driver in a vehicle. The direction of gaze is then used to assess the driver's distraction. For example, the driver is considered not to be distracted when looking at the road or his rear view mirror. The driver is considered distracted when looking, for example, from the front passenger side.
Ces systèmes de détection de la distraction du conducteur ont pour avantage d’estimer si un conducteur est distrait lorsqu’un véhicule est en fonctionnement et ainsi améliorent considérablement les conditions de sécurité des conducteurs.These driver distraction detection systems have the advantage of assessing whether a driver is distracted when a vehicle is in operation and thus significantly improve driver safety conditions.
Objet de l’inventionObject of the invention
Dans ce contexte, la présente invention propose un dispositif de détection de la distraction d’un conducteur caractérisé par :In this context, the present invention provides a device for detecting the distraction of a driver characterized by:
- un module de détection d’une direction de regard du conducteur,- a module for detecting a driver's gaze direction,
- un module de réception de données représentatives de l’environnement du conducteur,- a module for receiving data representative of the driver's environment,
- un module de traitement conçu pour détecter, sur la base des données reçues, la présence ou l’absence d’un objet dans la direction de regard détectée par le module de détection et pour déterminer une information représentative du niveau de distraction dudit conducteur en fonction de la présence ou de l’absence d’un objet dans la direction de regard dudit conducteur.a processing module designed to detect, on the basis of the data received, the presence or absence of an object in the direction of gaze detected by the detection module and to determine information representative of the level of distraction of said driver in depending on the presence or absence of an object in the direction of gaze of said driver.
En combinant la direction de regard du conducteur et les informations relatives à son environnement, le module de traitement permet de déterminer clairement si un objet est présent ou absent dans la direction de regard.By combining the driver's gaze direction and information relating to his environment, the processing module makes it possible to clearly determine whether an object is present or absent in the gaze direction.
Le dispositif de détection offre ainsi l’avantage de lever les confusions pour estimer si un conducteur est concentré sur sa conduite ou bien s’il est distrait par un tiers ou un objet.The detection device thus offers the advantage of removing confusion to assess whether a driver is focused on his driving or if he is distracted by a third party or an object.
Le module de détection peut comprendre par exemple un module d’entrée conçu pour recevoir des données représentatives d’une partie au moins du visage du conducteur et/ou un module de traitement conçu pour analyser les données reçues de manière à déterminer la direction de regard dudit conducteur.The detection module can for example comprise an input module designed to receive data representative of at least part of the driver's face and / or a processing module designed to analyze the data received so as to determine the direction of gaze said conductor.
En pratique, le module de traitement peut par exemple être conçu pour générer, pour au moins une direction de regard, une information instantanée de distraction en cas de présence d'un objet dans la direction de regard et une information instantanée de concentration en cas d'absence d'un objet dans la direction de regard.In practice, the processing module can for example be designed to generate, for at least one gaze direction, instant distraction information in the event of the presence of an object in the gaze direction and instant concentration information in the event of absence of an object in the viewing direction.
On propose également un système de détection de la distraction d’un conducteur, comprenant le dispositif de détection de la distraction susmentionné, et un capteur tridimensionnel conçu pour acquérir les données représentatives de l’environnement dudit conducteur.A driver distraction detection system is also proposed, comprising the aforementioned distraction detection device, and a three-dimensional sensor designed to acquire data representative of the environment of said driver.
Le capteur tridimensionnel du système peut être une caméra tridimensionnelle infra-rouge capable d’acquérir des données tridimensionnelles représentatives de l’environnement du conducteur (par exemple une caméra tridimensionnelle à temps de vol ou une caméra stéréoscopique).The system's three-dimensional sensor can be a three-dimensional infrared camera capable of acquiring three-dimensional data representative of the driver's environment (for example a three-dimensional time-of-flight camera or a stereoscopic camera).
Le système peut comprendre par ailleurs un capteur bidimensionnel conçu pour acquérir les données représentatives d’une partie au moins du visage du conducteur.The system may further include a two-dimensional sensor designed to acquire data representative of at least part of the driver's face.
Le capteur bidimensionnel du système peut être une caméra bidimensionnelle infra-rouge capable d’acquérir des données bidimensionnelles représentatives d’au moins une partie du visage dudit conducteur.The system's two-dimensional sensor can be a two-dimensional infrared camera capable of acquiring two-dimensional data representative of at least part of the face of said driver.
En pratique, le système peut comprendre en outre une source de rayonnement infra-rouge, laquelle est orientée ici vers une partie au moins du visage du conducteur.In practice, the system may further comprise a source of infrared radiation, which is oriented here towards at least part of the driver's face.
L’invention propose également un procédé de détection de la distraction d’un conducteur caractérisé par les étapes suivantes :The invention also provides a method for detecting the distraction of a driver characterized by the following steps:
- détection d’une direction de regard du conducteur,- detection of a driver's gaze direction,
- réception de données représentatives de l’environnement du conducteur,- reception of data representative of the driver's environment,
- détection, sur la base des données reçues, de la présence ou de l'absence d'un objet dans la direction de regard détectée,- detection, on the basis of the data received, of the presence or absence of an object in the direction of gaze detected,
- détermination d’une information représentative du niveau de distraction dudit conducteur en fonction de la présence ou de l’absence d’un objet dans la direction de regard dudit conducteur.- determination of information representative of the distraction level of said driver as a function of the presence or absence of an object in the direction of gaze of said driver.
Description detaillee d’un exemple de realisationDetailed description of an example of realization
La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.The description which follows with reference to the appended drawings, given by way of nonlimiting examples, will make it clear what the invention consists of and how it can be carried out.
Sur les dessins annexés :In the accompanying drawings:
- la figure 1A représente schématiquement un conducteur dans un habitacle de véhicule observant différents éléments du véhicule dans une situation où ledit conducteur est considéré comme étant concentré sur sa conduite ;- Figure 1A schematically shows a driver in a passenger compartment observing different elements of the vehicle in a situation where said driver is considered to be focused on his driving;
- la figure 1B représente schématiquement un conducteur dans un habitacle de véhicule observant différents éléments du véhicule dans plusieurs situations : une situation où ledit conducteur est considéré comme étant distrait sur sa conduite et une situation où il est difficile de déterminer le niveau de distraction du conducteur ;- Figure 1B schematically represents a driver in a passenger compartment observing different elements of the vehicle in several situations: a situation where said driver is considered to be distracted while driving and a situation where it is difficult to determine the level of distraction of the driver ;
- la figure 2 représente schématiquement les éléments principaux d’un système conforme à l’invention ;- Figure 2 shows schematically the main elements of a system according to the invention;
- la figure 3 représente schématiquement un élément du système conforme à l’invention.- Figure 3 schematically shows an element of the system according to the invention.
Sur la figure 1A, on a représenté schématiquement un conducteur dans un habitacle observant différents éléments du véhicule dans une situation où ledit conducteur est considéré comme étant concentré sur sa conduite. La figure 1A illustre un conducteur 1 assis à l’avant du véhicule et un passager 2 assis à côté du conducteur. Le conducteur 1 et le passager 2 sont tous deux assis dans l’habitacle 3 du véhicule.In FIG. 1A, a driver is schematically represented in a passenger compartment observing different elements of the vehicle in a situation where said driver is considered to be focused on his driving. Figure 1A illustrates a driver 1 seated at the front of the vehicle and a passenger 2 seated next to the driver. Driver 1 and passenger 2 are both seated in the passenger compartment 3 of the vehicle.
Comme présenté sur la figure 1A, la direction du regard du conducteur 1 peut être orientée vers différentes zones du véhicule représentées par des plages angulaires dans lesquelles le conducteur 1 est considéré comme non distrait. Le conducteur 1 est par exemple non distrait lorsqu’il observe la route (plage angulaire a), le rétroviseur intérieur 6 (plage angulaire b), et/ou le rétroviseur extérieur gauche 4 (plage angulaire c). Les plages angulaires a, b et c représentant la direction du regard du conducteur correspondent aux zones où le conducteur effectue des opérations de contrôle de routine telles que l’observation de la route ou le contrôle des rétroviseurs intérieur et extérieur gauche. Ces plages angulaires de la direction de regard du conducteur sont donc considérées comme des zones sans danger pour le conducteur.As shown in FIG. 1A, the direction of gaze of the driver 1 can be oriented towards different areas of the vehicle represented by angular ranges in which the driver 1 is considered to be undistracted. The driver 1 is for example not distracted when he observes the road (angular range a), the interior mirror 6 (angular range b), and / or the left exterior mirror 4 (angular range c). The angular ranges a, b and c representing the direction of the driver's gaze correspond to the areas where the driver performs routine control operations such as observing the road or checking the interior and left exterior mirrors. These angular ranges of the driver's gaze direction are therefore considered to be zones which are safe for the driver.
La figure 1B est une représentation analogue à celle de la figure 1A, mais qui représente d’autres situations. Sur la figure 1B, on a représenté schématiquement un conducteur dans un habitacle de véhicule observant différents éléments du véhicule dans plusieurs situations : une situation où ledit conducteur est considéré comme étant distrait sur sa conduite et une situation où il est difficile de déterminer le niveau de distraction du conducteur.Figure 1B is a representation similar to that of Figure 1A, but showing other situations. In FIG. 1B, a driver has been shown diagrammatically in a passenger compartment observing different elements of the vehicle in several situations: a situation where said driver is considered to be distracted while driving and a situation where it is difficult to determine the level of driver distraction.
Par exemple, lorsque la direction du regard du conducteur 1 est orientée vers le passager 2 (plage angulaire f), le conducteur 1 est considéré comme étant distrait sur sa conduite. Cependant, lorsque la direction de regard du conducteur est orientée par exemple vers un écran d’affichage 7 (plage angulaire d) ou vers le rétroviseur extérieur droit 5 (plage angulaire e), il devient difficile de déterminer si le conducteur effectue une opération de contrôle de routine ou bien s’il est distrait par un objet ou un tiers. La solution décrite ci-après permet toutefois de lever une telle ambiguïté.For example, when the direction of gaze of the driver 1 is oriented towards the passenger 2 (angular range f), the driver 1 is considered to be distracted while driving. However, when the driver's direction of gaze is oriented for example towards a display screen 7 (angular range d) or towards the right exterior mirror 5 (angular range e), it becomes difficult to determine whether the driver is performing an operation of routine check or if it is distracted by an object or a third party. The solution described below, however, allows such ambiguity to be resolved.
Sur la figure 2, on a représenté schématiquement les éléments principaux d’un système 50 conforme à l’invention.In Figure 2, there is shown schematically the main elements of a system 50 according to the invention.
Un tel système 50 peut être par exemple intégré dans l’habitacle d’un véhicule automobile : il peut par exemple être intégré dans une région voisine d’une partie du tableau de bord du véhicule.Such a system 50 can for example be integrated into the passenger compartment of a motor vehicle: it can for example be integrated into a region close to a part of the dashboard of the vehicle.
Le système 50 de la figure 2 comprend un dispositif de détection de la distraction d’un conducteur 40, une source de rayonnement infra-rouge 110 (ou illuminateur), un capteur bidimensionnel 220, et un capteur tridimensionnel 330. Les différents éléments 110, 220, 330, 40 du système 50 sont reliés (par exemple pour une partie d’entre eux au moyen d’un bus informatique) afin de pouvoir échanger des données entre eux, notamment comme décrit ci-dessous.The system 50 of FIG. 2 comprises a device for detecting the distraction of a conductor 40, a source of infrared radiation 110 (or illuminator), a two-dimensional sensor 220, and a three-dimensional sensor 330. The different elements 110, 220, 330, 40 of the system 50 are connected (for example for a part of them by means of a computer bus) in order to be able to exchange data between them, in particular as described below.
La source de rayonnement infra-rouge 110 est disposée de manière émettre un rayonnement infra-rouge en direction de la position usuelle de la tête du conducteur. Le visage reçoit le rayonnement infra-rouge et le réfléchit (en partie au moins) en direction du capteur bidimensionnel, qui peut ainsi produire une image du visage du conducteur. Le capteur bidimensionnel 220 permet d’acquérir des images des yeux du conducteur. Le capteur bidimensionnel 220 est par exemple une caméra bidimensionnelle sensible à l’infra-rouge placé dans l’habitacle du véhicule.The infra-red radiation source 110 is arranged so as to emit infra-red radiation in the direction of the usual position of the conductor's head. The face receives the infrared radiation and reflects it (at least partially) towards the two-dimensional sensor, which can thus produce an image of the driver's face. The two-dimensional sensor 220 makes it possible to acquire images of the driver's eyes. The two-dimensional sensor 220 is for example a two-dimensional infrared-sensitive camera placed in the passenger compartment of the vehicle.
Le dispositif de détection 40 comprend un module de détection d’une direction de regard du conducteur 10, un module de réception 20 de données représentatives de l’environnement du conducteur et un module de traitement 30.The detection device 40 comprises a module for detecting a direction of gaze of the driver 10, a module 20 for receiving data representative of the environment of the driver and a processing module 30.
Le module de détection 10 reçoit les images bidimensionnelles détectées par le capteur bidimensionnel 220 (images référencées IMG2D en figure 2). Le module de détection 10 permet de déterminer au moins une direction de regard du conducteur sur la base des images bidimensionnelles IMG2D reçues. Le module de détection 10 comprend un module d’entrée 11 et un module d’analyse 12. Le module de détection met aussi en œuvre une étape de détection de la direction du regard du conducteur.The detection module 10 receives the two-dimensional images detected by the two-dimensional sensor 220 (images referenced IMG2D in FIG. 2). The detection module 10 makes it possible to determine at least one direction of gaze of the driver on the basis of the two-dimensional images IMG2D received. The detection module 10 comprises an input module 11 and an analysis module 12. The detection module also implements a step of detecting the direction of the driver's gaze.
Le module d’entrée 11 est conçu pour recevoir les données bidimensionnelles IMG2D représentatives d’au moins une partie du visage du conducteur. Les données bidimensionnelles sont reçues par le module d’entrée 11 en provenance du capteur bidimensionnel 220.The input module 11 is designed to receive two-dimensional IMG2D data representative of at least part of the driver's face. Two-dimensional data is received by the input module 11 from the two-dimensional sensor 220.
Le module d’entrée 11 transmet les images acquises IMG2D au module d’analyse 12. Le module d’analyse 12 reçoit les images acquises IMG2D par le module 11, et les analyse. Sur la base de cette analyse, le module d’analyse 12 détermine la direction de regard du conducteur. Le module d’analyse 12 est ainsi apte à délivrer les informations relatives à la direction de regard du conducteur, informations référencées D en figure 2.The input module 11 transmits the acquired IMG2D images to the analysis module 12. The analysis module 12 receives the images acquired IMG2D by the module 11, and analyzes them. Based on this analysis, the analysis module 12 determines the driver's gaze direction. The analysis module 12 is thus able to deliver the information relating to the driver's gaze direction, information referenced D in FIG. 2.
Le capteur tridimensionnel 330 est capable d’acquérir des données tridimensionnelles représentatives de l’environnement du conducteur. Le capteur tridimensionnel 330 peut prendre des images tridimensionnelles de l’environnement du conducteur appelées IMG3D. Le capteur tridimensionnel est donc apte à imager un objet en trois dimensions. Le capteur tridimensionnel 330 peut être par exemple une caméra tridimensionnelle infra-rouge placé dans l’habitacle du véhicule. Le capteur tridimensionnel 330 est par exemple une caméra tridimensionnelle à temps de vol ou une caméra stéréoscopique.The three-dimensional sensor 330 is capable of acquiring three-dimensional data representative of the driver's environment. The three-dimensional sensor 330 can take three-dimensional images of the driver's environment called IMG3D. The three-dimensional sensor is therefore able to image an object in three dimensions. The three-dimensional sensor 330 can for example be a three-dimensional infrared camera placed in the passenger compartment of the vehicle. The three-dimensional sensor 330 is for example a three-dimensional time-of-flight camera or a stereoscopic camera.
Le module de réception 20 des données est conçu pour recevoir les données tridimensionnelles représentatives de l’environnement du conducteur. Le module de réception 20 des données reçoit les données tridimensionnelles IMG3D détectées par le capteur tridimensionnel 330.The data reception module 20 is designed to receive three-dimensional data representative of the driver's environment. The data reception module 20 receives the three-dimensional data IMG3D detected by the three-dimensional sensor 330.
Le module de traitement 30 reçoit à la fois les informations tridimensionnelles représentatives de l’environnement du conducteur issues du module de réception 20 et les informations de la direction de regard du conducteur D déterminées par le module d’analyse 12. Le module de traitement 30 détermine si un objet est présent ou absent dans la direction de regard du conducteur en fonction des données tridimensionnelles représentatives de l’environnement du conducteur et de la direction de regard du conducteur. Sur la base de ces données notamment, le module de traitement 30 arrive ainsi à estimer le niveau de distraction du conducteur ND, comme expliqué plus en détail ci-après.The processing module 30 receives both the three-dimensional information representative of the driver's environment from the reception module 20 and the information from the viewing direction of the driver D determined by the analysis module 12. The processing module 30 determines whether an object is present or absent in the driver's gaze direction based on three-dimensional data representative of the driver's environment and the driver's gaze direction. On the basis of this data in particular, the processing module 30 thus arrives at estimating the level of distraction of the driver N D , as explained in more detail below.
Par exemple, le module de traitement 30 identifie des objets dans l’environnement du conducteur grâce aux données tridimensionnelles représentatives de l’environnement puis détermine si un de ces objets se situe dans la direction de regard du conducteur D et ainsi délivre une estimation du niveau de la distraction du conducteur.For example, the processing module 30 identifies objects in the driver's environment using three-dimensional data representative of the environment, then determines whether one of these objects is in the driver's gaze direction D and thus delivers an estimate of the level driver distraction.
Le module de traitement de données 30 comprend ici un premier élément 31 et un second élément 32 (les deux éléments étant liés entre eux).The data processing module 30 here comprises a first element 31 and a second element 32 (the two elements being linked together).
Le premier élément 31 reçoit à la fois les informations tridimensionnelles représentatives de l’environnement du conducteur (données tridimensionnelles IMG3D) et l’information D représentative de la direction de regard du conducteur. Le premier élément 31 est ainsi conçu pour analyser les informations recueillies par le module de réception 20 et par le module d’analyse 12. Le premier élément 31 recherche une intersection entre la direction de regard du conducteur D et les objets détectés dans l’habitacle (sur la base des données tridimensionnelles IMG3D comme indiqué ci-dessus). Sur la base de ces données, le premier élément 31 génère une information de présence ou d’absence d’un objet P dans la direction de regard du conducteur.The first element 31 receives both three-dimensional information representative of the driver's environment (three-dimensional data IMG3D) and information D representative of the driver's gaze direction. The first element 31 is thus designed to analyze the information collected by the reception module 20 and by the analysis module 12. The first element 31 searches for an intersection between the direction of gaze of the driver D and the objects detected in the passenger compartment (based on three-dimensional IMG3D data as indicated above). On the basis of these data, the first element 31 generates information of the presence or absence of an object P in the driver's gaze direction.
Le second élément 32 détermine le niveau de distraction du conducteur Nd en fonction de la direction de regard D du conducteur et de l’information de présence ou d’absence d’un objet P dans la direction de regard du conducteur. Le second élément 32 peut éventuellement déterminer le niveau de distraction du conducteur sur une période de temps donnée. Le second élément 32 reçoit à la fois les informations de la direction de regard D du conducteur issues du module d’analyse 12 et les informations de présence ou d’absence d’un objet P dans la direction de regard du conducteur issues du premier élément 31.The second element 32 determines the level of distraction of the driver Nd as a function of the direction of gaze D of the driver and of the information of presence or absence of an object P in the direction of gaze of the driver. The second element 32 can possibly determine the level of distraction of the driver over a given period of time. The second element 32 receives both the information from the driver's gaze direction D from the analysis module 12 and the information of presence or absence of an object P in the driver's gaze direction from the first element 31.
Par exemple, si le conducteur observe le rétroviseur extérieur droit et si un objet tel qu’un téléphone se trouve dans la direction du regard du conducteur, alors le module de traitement 30 détecte la présence d’un objet et le conducteur est considéré comme distrait. Dans le cas contraire, si le conducteur observe le rétroviseur extérieur droit et qu’aucun objet n’intercepte sa direction de regard, alors le module de traitement 30 détecte l’absence d’un objet et le conducteur est considéré comme non distrait.For example, if the driver observes the right exterior mirror and if an object such as a telephone is in the direction of the driver's gaze, then the processing module 30 detects the presence of an object and the driver is considered distracted . Otherwise, if the driver observes the right exterior mirror and no object intercepts its direction of gaze, then the processing module 30 detects the absence of an object and the driver is considered not distracted.
Sur la figure 3, on a représenté schématiquement une possibilité de réalisation du second élément 32 du module de traitement 30. Dans ce mode de réalisation, le second élément 32 est capable de déterminer le niveau de distraction Nd du conducteur en cas de présence ou d’absence d’un objet sur certaines directions de regard du conducteur. Les directions de regard les plus concernées sont celles pour lesquelles il est difficile de déterminer le niveau de distraction du conducteur : il s’agit par exemple du cas où le conducteur effectue des opérations de contrôle de routine telles que l’observation du rétroviseur extérieur droit 5, ou de l’écran d’affichage du tableau de bord 7 comme illustré dans la figure 1 B.In Figure 3, there is shown schematically a possibility of making the second element 32 of the processing module 30. In this embodiment, the second element 32 is capable of determining the level of distraction Nd of the driver in the event of the presence or absence of an object in certain driver's viewing directions. The directions of gaze most concerned are those for which it is difficult to determine the level of distraction of the driver: this is for example the case where the driver performs routine control operations such as observing the right exterior mirror 5, or the dashboard display screen 7 as illustrated in FIG. 1 B.
Le second élément 32 comprend une première unité 321 et une seconde unité 322 capables de communiquer entre elles.The second element 32 comprises a first unit 321 and a second unit 322 capable of communicating with each other.
La première unité 321 reçoit à la fois les informations de présence ou d’absence d’un objet P dans la direction de regard du conducteur issues du premier élément 31 et les informations de la direction de regard du conducteur D déterminées par le module d’analyse 12. Sur la base de ces données, la première unité 321 détermine à chaque instant une information instantanée de concentration ou une information instantanée de distraction.The first unit 321 receives both the information of the presence or absence of an object P in the driver's gaze direction from the first element 31 and the information from the driver's gaze direction D determined by the module analysis 12. On the basis of these data, the first unit 321 determines instantaneous concentration information or instant distraction information at each instant.
Par exemple, si la direction de regard du conducteur se situe dans les plages angulaires a, b ou c (comme présenté figure 1A), ou si la direction de regard du conducteur se situe dans les plages angulaires d ou e (comme présenté figure 1B), la première unité 321 analyse sur une pluralité d’instants successifs l’information de présence ou d’absence d’un objet dans la direction de regard du conducteur pour générer respectivement une information instantanée de concentration du conducteur en absence d’un objet ou une information instantanée de distraction du conducteur en présence d’un objet.For example, if the driver's gaze direction is in the angular ranges a, b or c (as shown in Figure 1A), or if the driver's gaze direction is in the angular ranges d or e (as shown in Figure 1B) ), the first unit 321 analyzes, over a plurality of successive instants, the information of the presence or absence of an object in the direction of gaze of the driver to respectively generate instantaneous information of concentration of the driver in the absence of an object or instant driver distraction information in the presence of an object.
Si la direction de regard du conducteur se situe dans la plage angulaire f (comme présenté figure 1B), la première unité 321 génère une information instantanée de distraction.If the driver's gaze direction is within the angular range f (as shown in FIG. 1B), the first unit 321 generates instant distraction information.
En variante, il est possible pour certaines plages angulaires comme par exemple les plages angulaires a, b ou c, de générer via la première unité 321 une information instantanée de concentration (sans avoir à générer dans ce cas l'information de présence ou d'absence d'un objet P dans la direction de regard du conducteur). Ainsi, cette variante permet d’économiser du temps de calcul lorsque la direction de regard du conducteur se situe dans ces plages angulaires a, b ou c.As a variant, it is possible for certain angular ranges such as for example the angular ranges a, b or c, to generate via the first unit 321 instantaneous information of concentration (without having to generate in this case the information of presence or of absence of an object P in the driver's gaze direction). Thus, this variant saves calculation time when the driver's gaze direction is within these angular ranges a, b or c.
La seconde unité 322 reçoit les informations instantanées de concentration ou de distraction déterminées par la première unité 321. La seconde unité 322 mémorise par exemple sur une durée inférieure à 20 s (par exemple comprise entre 2 s et 20 s) ces informations instantanées et ainsi, détermine (sur la base d’un nombre prédéterminé d’informations instantanées) quel est le niveau de distraction du conducteur.The second unit 322 receives instantaneous concentration or distraction information determined by the first unit 321. The second unit 322 stores, for example over a period of less than 20 s (for example between 2 s and 20 s), this instantaneous information and thus , determines (based on a predetermined number of instantaneous information) what is the driver's distraction level.
Par exemple, si sur une durée de 3 s, le nombre d’informations instantanées de distraction est plus grand que le nombre d’informations instantanées de concentration, alors le conducteur est considéré comme distrait. Dans le cas contraire, si sur une durée de 3 s le nombre d’informations instantanées de distraction est plus petit que le nombre d’informations instantanées de concentration, alors le conducteur est considéré comme non distrait.For example, if over a period of 3 s, the number of instant distraction information is greater than the number of instant concentration information, then the driver is considered distracted. Otherwise, if over a period of 3 s the number of instant distraction information is less than the number of instant concentration information, then the driver is considered undistracted.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1858392A FR3085927B1 (en) | 2018-09-18 | 2018-09-18 | DRIVER DISTRACTION DETECTION DEVICE, SYSTEM AND METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1858392A FR3085927B1 (en) | 2018-09-18 | 2018-09-18 | DRIVER DISTRACTION DETECTION DEVICE, SYSTEM AND METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3085927A1 true FR3085927A1 (en) | 2020-03-20 |
| FR3085927B1 FR3085927B1 (en) | 2023-04-14 |
Family
ID=65201485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1858392A Active FR3085927B1 (en) | 2018-09-18 | 2018-09-18 | DRIVER DISTRACTION DETECTION DEVICE, SYSTEM AND METHOD |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3085927B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117382644A (en) * | 2023-12-11 | 2024-01-12 | 安徽蔚来智驾科技有限公司 | Distraction driving detection method, computer device, storage medium and intelligent device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090303078A1 (en) * | 2006-09-04 | 2009-12-10 | Panasonic Corporation | Travel information providing device |
| GB2500690A (en) * | 2012-03-30 | 2013-10-02 | Jaguar Cars | Driver monitoring and vehicle control system |
| WO2014177758A1 (en) * | 2013-05-03 | 2014-11-06 | Jyväskylän Yliopisto | Method, device and computer program product for managing driver safety, method for managing user safety and method for defining a route |
| US20160167671A1 (en) * | 2013-07-05 | 2016-06-16 | Robert Bosch Gmbh | Method for ascertaining a degree of awareness of a vehicle operator |
| US20170108864A1 (en) * | 2015-10-16 | 2017-04-20 | Zf Friedrichshafen Ag | Vehicle system and method for enabling a device for autonomous driving |
| WO2018006019A1 (en) * | 2016-07-01 | 2018-01-04 | Itay Katz | System and method for driver monitoring |
| US20180129891A1 (en) * | 2016-11-08 | 2018-05-10 | Hyundai Motor Company | Apparatus for determining concentration of driver, system having the same, and method thereof |
| US20180154905A1 (en) * | 2016-12-07 | 2018-06-07 | Toyota Jidosha Kabushiki Kaisha | Sightline estimation system and sightline estimation method |
| FR3063557A1 (en) * | 2017-03-03 | 2018-09-07 | Valeo Comfort And Driving Assistance | DEVICE FOR DETERMINING THE ATTENTION STATUS OF A VEHICLE DRIVER, ONBOARD SYSTEM COMPRISING SUCH A DEVICE, AND ASSOCIATED METHOD |
-
2018
- 2018-09-18 FR FR1858392A patent/FR3085927B1/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090303078A1 (en) * | 2006-09-04 | 2009-12-10 | Panasonic Corporation | Travel information providing device |
| GB2500690A (en) * | 2012-03-30 | 2013-10-02 | Jaguar Cars | Driver monitoring and vehicle control system |
| WO2014177758A1 (en) * | 2013-05-03 | 2014-11-06 | Jyväskylän Yliopisto | Method, device and computer program product for managing driver safety, method for managing user safety and method for defining a route |
| US20160167671A1 (en) * | 2013-07-05 | 2016-06-16 | Robert Bosch Gmbh | Method for ascertaining a degree of awareness of a vehicle operator |
| US20170108864A1 (en) * | 2015-10-16 | 2017-04-20 | Zf Friedrichshafen Ag | Vehicle system and method for enabling a device for autonomous driving |
| WO2018006019A1 (en) * | 2016-07-01 | 2018-01-04 | Itay Katz | System and method for driver monitoring |
| US20180129891A1 (en) * | 2016-11-08 | 2018-05-10 | Hyundai Motor Company | Apparatus for determining concentration of driver, system having the same, and method thereof |
| US20180154905A1 (en) * | 2016-12-07 | 2018-06-07 | Toyota Jidosha Kabushiki Kaisha | Sightline estimation system and sightline estimation method |
| FR3063557A1 (en) * | 2017-03-03 | 2018-09-07 | Valeo Comfort And Driving Assistance | DEVICE FOR DETERMINING THE ATTENTION STATUS OF A VEHICLE DRIVER, ONBOARD SYSTEM COMPRISING SUCH A DEVICE, AND ASSOCIATED METHOD |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117382644A (en) * | 2023-12-11 | 2024-01-12 | 安徽蔚来智驾科技有限公司 | Distraction driving detection method, computer device, storage medium and intelligent device |
| CN117382644B (en) * | 2023-12-11 | 2024-02-27 | 安徽蔚来智驾科技有限公司 | Distraction driving detection method, computer device, storage medium and intelligent device |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3085927B1 (en) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964101B1 (en) | Virtual vehicle generation by multi-spectrum scanning | |
| EP3568803B1 (en) | Method for operating an autonomous vehicle | |
| FR3025898A1 (en) | METHOD AND SYSTEM FOR LOCALIZATION AND MAPPING | |
| EP3113980B1 (en) | Device and method for rear-view vision with electronic display for a vehicle | |
| EP2043044B1 (en) | Method and device for automobile parking assistance | |
| FR3085927A1 (en) | DEVICE, SYSTEM AND METHOD FOR DETECTING DISTRACTION OF A CONDUCTOR | |
| FR2942064A1 (en) | Method for alerting driver of motor vehicle e.g. bus, during event occurred on back side of vehicle, involves displaying pictogram in form of contour of visible part of reflection of vehicle on glass of rear-view mirrors | |
| FR2946936A1 (en) | DEVICE FOR DETECTING OBSTACLES HAVING A SOUND RESTITUTION SYSTEM | |
| FR3067999A1 (en) | METHOD FOR AIDING THE DRIVING OF A MOTOR VEHICLE | |
| FR3054673B1 (en) | MERGING DETECTION DATA AND FOLLOWING OBJECTS FOR MOTOR VEHICLE | |
| FR2936479A1 (en) | CONTROL METHOD AND DRIVING ASSISTANCE SYSTEM THEREFOR | |
| FR3079652A1 (en) | METHOD FOR EVALUATING A DISTANCE, ASSOCIATED EVALUATION SYSTEM AND SYSTEM FOR MANAGING AN INFLATABLE CUSHION | |
| KR102518537B1 (en) | Driver assist apparatus and method for providing lane line information thereof | |
| FR3062836A1 (en) | METHOD AND SYSTEM FOR DETERMINING A TRUST INDEX ASSOCIATED WITH AN OBJECT OF AN ENVIRONMENT OF A VEHICLE | |
| EP3867126B1 (en) | Method and device for assisting with driving a motor vehicle during reversing | |
| WO2020084232A1 (en) | Method for driving the display of information on a screen banner equipping a boat gangway | |
| FR3053293B1 (en) | DRIVER ASSISTANCE SYSTEM FOR A VEHICLE, RAILWAY VEHICLE AND METHOD OF USE THEREOF | |
| FR3072931A1 (en) | DATA PROCESSING METHOD FOR VEHICLE DRIVER ASSISTANCE SYSTEM AND DRIVING ASSISTANCE SYSTEM | |
| FR3057693A1 (en) | LOCATION DEVICE AND DEVICE FOR GENERATING INTEGRITY DATA | |
| FR3113390A1 (en) | Method for determining the posture of a driver | |
| EP2877979B1 (en) | Monocamera method of determining a direction of a solid | |
| FR3068158B1 (en) | ELECTRONIC DEVICE AND ON-BOARD EVALUATION SYSTEM OF A POSITION AND / OR AN ORIENTATION ASSOCIATED WITH AN ELEMENT LOCATED IN A VEHICLE CAR | |
| EP2193047B1 (en) | Assistance device for exiting a hidden lane | |
| FR3036204A1 (en) | ERROR COMPENSATION METHOD AND SYSTEM FOR AN INBOARD OBJECT DETECTION SYSTEM ON A MOTOR VEHICLE | |
| FR3146523A1 (en) | Method of estimating the speed of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200320 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |