FR3048175A1 - Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur - Google Patents
Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur Download PDFInfo
- Publication number
- FR3048175A1 FR3048175A1 FR1651663A FR1651663A FR3048175A1 FR 3048175 A1 FR3048175 A1 FR 3048175A1 FR 1651663 A FR1651663 A FR 1651663A FR 1651663 A FR1651663 A FR 1651663A FR 3048175 A1 FR3048175 A1 FR 3048175A1
- Authority
- FR
- France
- Prior art keywords
- driver
- face
- state
- movements
- cognitive distraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000005286 illumination Methods 0.000 claims description 4
- 239000004020 conductor Substances 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010040954 Skin wrinkling Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000011230 binding agent Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Abstract
L'invention porte sur un dispositif de détection d'un état de distraction cognitive du conducteur d'un véhicule (1), ledit dispositif comprenant : - au moins une caméra adaptée pour capturer des images du visage dudit conducteur, - un module de détection de mouvements unitaires du visage sur une succession de vues du visage du conducteur, - un module de détermination d'un état de distraction cognitive du conducteur à partir de la détection de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d'un état de distraction cognitive.
Description
DISPOSITIF ET PROCEDE DE DETECTION D’UN ETAT DE DISTRACTION COGNITIVE
D’UN CONDUCTEUR
[001] L'invention concerne, de façon générale, les interfaces homme-machine, en particulier dédiées aux véhicules automobiles, les systèmes de surveillance de l’état, en particulier de distraction cognitive, du conducteur d’un véhicule.
[002] L’invention porte plus particulièrement sur un dispositif permettant la détection d’un état de distraction cognitive du conducteur d’un véhicule automobile.
[003] Aujourd’hui, les véhicules automobiles comprennent de nombreuses aides à la conduite qui s’adaptent à l’état émotionnel et physiologique du conducteur afin d’augmenter la sécurité et le confort de conduite du conducteur.
[004] De telles aides peuvent être des interfaces Homme-machine adaptatives permettant de proposer différentes ambiances dans l’habitacle notamment pour relaxer le conducteur, un système d’aide à la conduite permettant d’ajuster les seuils de déclenchement des aides, notamment de freinage lorsque le conducteur est inattentif, un système de conduite autonome du véhicule permettant une transition du mode de conduite autonome au mode de conduite manuelle lorsque le conducteur est en état de conduire, etc.
[005] Il est connu de déterminer l’état émotionnel et physiologique du conducteur grâce à des capteurs placés sur le volant en vue de réaliser des mesures de paramètres physiologiques par contact, électrocardiogramme, mesure de la conductance cutanée, etc.
[006] On connaît en outre par le document US2015078632 un système de surveillance de l’état émotionnel du conducteur d’un véhicule automobile. Le système de surveillance selon ce document comprend une caméra d’acquisition d’images du visage du conducteur, et une unité de détection apte à détecter l’état émotionnel du conducteur à partir des images.
[007] Cependant, un tel système présente des inconvénients. Tout d’abord, un tel système ne permet pas de détecter de manière fiable un état de distraction cognitive du conducteur, autrement dit lorsque le conducteur pense à autre chose, dont les effets sur le visage et le regard sont difficilement perceptibles. De plus, la fiabilité du système dépendant du maintien de la position frontale du conducteur par rapport à la caméra, un conducteur déplaçant son visage durant la conduite, notamment pour regarder dans les rétroviseurs, peut empêcher la détection de l’état du conducteur [008] L’invention vise donc à résoudre ces inconvénients en proposant un dispositif de détection d’un état de distraction cognitive du conducteur d’un véhicule qui soit fiable, rapide et aisé à mettre en œuvre.
[009] Pour parvenir à ce résultat, la présente invention concerne un dispositif de détection d’un état de distraction cognitive du conducteur d’un véhicule, ledit dispositif comprenant: - au moins une caméra adaptée pour capturer des images du visage dudit conducteur, - un module de détection de mouvements unitaires du visage sur une succession de vues du visage du conducteur, et - un module de détermination d’un état de distraction cognitive du conducteur à partir de la détection de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
[0010] Grâce au dispositif selon l’invention, il est possible de détecter de manière fiable un état de distraction cognitive du conducteur du véhicule automobile grâce à la détection de mouvements et de corrélations de mouvements représentatifs d’une telle distraction. Ces mouvements et corrélations de mouvementés représentatifs permettent avantageusement de rendre fiable, rapide et aisée la détection d’un état de distraction cognitive lors de la conduite du véhicule par le conducteur. De plus, il n’est pas nécessaire de calibrer le dispositif de détection avec le visage du conducteur pour atteindre une fiabilité satisfaisante.
[0011] Avantageusement, le module de détermination est adapté pour communiquer avec une base de données de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
[0012] Avantageusement, le dispositif comprend des moyens d’illumination adaptés pour éclairer le visage du conducteur.
[0013] Avantageusement, les moyens d’illumination éclairent par de la lumière proche-infrarouge.
[0014] Avantageusement, le dispositif comprenant une pluralité de caméras adaptées pour capturer des images du visage dudit conducteur, chaque caméra étant disposée dans ledit véhicule de manière à capturer des images du visage selon différents angles de vue, le dispositif comprend : - un module de génération adapté pour générer un modèle en trois dimensions du visage du conducteur à partir des images capturées par lesdites caméras, et - un module de génération d’une vue frontale du visage à partir du modèle en trois dimensions afin de détecter des mouvements unitaires du visage et de déterminer un état de distraction cognitive du conducteur.
[0015] L’invention vise également un véhicule automobile comprenant un dispositif tel que décrit précédemment, de détection d’un état de distraction cognitive du conducteur dudit véhicule.
[0016] L’invention concerne en outre un procédé de détection d’un état de distraction cognitive du conducteur d’un véhicule, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant : - une étape de capture par la caméra d’images du visage dudit conducteur, - une étape de détection du visage du conducteur sur chaque image capturée, - une étape de détection des mouvements du visage sur une succession d’images capturées, et - une étape de détection d’un état de distraction cognitive du conducteur à partir de la détection de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
[0017] Avantageusement, le procédé comprend une étape de consultation d’une base de données de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
[0018] Avantageusement, le procédé comprend une étape initiale de détermination de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive [0019] Avantageusement, le véhicule comprenant au moins deux caméras, le procédé comprend : - une étape de génération d’un modèle en trois dimensions du visage du conducteur à partir des images capturées par les caméras, et - une étape de génération d’une vue frontale du visage du conducteur à partir du modèle en trois dimensions afin de détecter des mouvements unitaires du visage et de déterminer un état de distraction cognitive du conducteur.
[0020] D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée des modes de réalisation de l'invention, donnés à titre d'exemple uniquement, et en référence aux dessins qui montrent : • la figure 1, un schéma d’un habitacle de véhicule dans lequel est installé un dispositif selon l’invention, • les figures 2 à 6, des vues schématiques de différentes étapes du procédé selon l’invention.
[0021] Dans ce qui va suivre, les modes de réalisation décrits s’attachent plus particulièrement à une mise en œuvre du dispositif selon l’invention au sein d’un véhicule automobile. Cependant, toute mise en œuvre dans un contexte différent, en particulier dans tout type de véhicule, est également visée par la présente invention.
[0022] La figure 1 représente un véhicule 1 comprenant un dispositif de détection d’un état de distraction cognitive du conducteur (non représenté) dudit véhicule 1. Le dispositif de détection est placé dans l’habitacle du véhicule 1, dans lequel un conducteur est assis.
[0023] Le dispositif comprend au moins une caméra et des modules (non représentés) de traitements des images capturées par ladite caméra.
[0024] La caméra est disposée dans l’habitacle du véhicule 1 de manière à capturer des images du visage du conducteur assis dans ledit véhicule 1 se rapprochant au maximum d’une vue frontale du visage. Elle peut, par exemple, être placée au niveau du volant 11 du véhicule 1, du rétroviseur intérieur 12, de la partie haute du montant 13 du parebrise, sur le milieu du tableau de bord, etc.
[0025] Afin d’illuminer le visage du conducteur, le dispositif comprend en outre un illuminateur proche-infrarouge. De préférence, l’illuminateur proche-infrarouge est placé à proximité de la caméra. Cependant, pour des raisons d’encombrement, l’illuminateur peut être déporté par rapport à la caméra. L’illuminateur proche-infrarouge constitue un moyen d’illumination du visage du conducteur par de la lumière proche-infrarouge. Selon un mode de réalisation préféré de la présente invention, ladite lumière proche-infrarouge présente une longueur d’onde d’environ 850 nanomètres. Une telle lumière proche-infrarouge permet ainsi d’illuminer le visage du conducteur, notamment la nuit, sans gêner la vision du conducteur.
[0026] La caméra capture des images à une fréquence pouvant aller jusqu’à 60 images par seconde. L’illuminateur proche-infrarouge est synchronisé avec la caméra.
[0027] La caméra capture des images du visage du conducteur qui sont ensuite traitées par les modules afin de détecter un état de distraction cognitive du conducteur.
[0028] Par les termes « état de distraction cognitive du conducteur », on entend l’état de déconcentration du conducteur durant la conduite du véhicule 1. Un tel état intervient lorsque le conducteur est diverti ou distrait par une tâche à laquelle il pense et qui est autre que la conduite. Un tel état de distraction cognitive est complexe à détecter par des mouvements, par exemple de ses yeux ou de ses mains. Autrement dit, la distraction cognitive du conducteur correspond à l’inattention que porte le conducteur à la conduite. Ainsi, si son attention à la conduite n’est pas suffisante, cela peut représenter un danger.
[0029] Les modules de traitements d’images comprennent un module de détection du visage du conducteur sur lesdites images, un module de détection des mouvements du visage et un module de détermination d’un état de distraction cognitive du conducteur à partir des mouvements détectés. De tels modules sont compris dans un ordinateur de bord du véhicule 1.
[0030] La mise en œuvre du procédé selon l’invention de détection d’un état de distraction cognitive du conducteur va maintenant être décrite.
[0031] Lorsque le conducteur est assis dans le véhicule 1, l’illuminateur proche-infrarouge illumine le visage du conducteur et la caméra capture des images dudit visage, de préférence proche d’une vue frontale du visage. Les images sont alors envoyées à l’ordinateur de bord.
[0032] Le module de détection du visage détecte, sur chaque image capturée, une pluralité de points, de préférence 49, particuliers du visage tels que les extrémités des yeux, de la bouche, des sourcils, les contours du visage, ...etc., comme illustré sur la figure 2. 8 autres points particuliers, pas toujours visibles sur le visage mais représentatif de l’état émotionnel du conducteur, sont également utilisés. Il s’agit d’un point au niveau de la ride du lion, deux points au niveau des pattes d’oie, deux points au niveau des ailes du nez, deux points au niveau des sillons naso-géniens et un point au niveau du sillon mento-labial. De tels points correspondent à des marqueurs du visage, comme illustré aux figures 3 et 4, qui permettent de détecter et de suivre le visage entre une pluralité d’images capturées successivement. Les algorithmes de détection d’un visage dans une image sont connus, par exemple la méthode de Viola and Jones, et ne seront pas décrits plus en détail. Une méthode, appelée Supervised Descent Method ou SDM en langue anglaise, assure le suivi des marqueurs du visage entre les images successives d’une séquence d’images et ne sera pas décrite plus en détail. De même, il est connu des descripteurs locaux des trais du visage, tel que le Scale-lnvariant Feature Transform, également désigné SIFT, et des analyse en composantes principales, également désignées PCA, pour réduire la dimension des données extraites, qui ne seront pas décrits plus en détail.
[0033] Le module de détection des mouvements détecte alors les mouvements des parties du visage dans une séquence de vues du visage. Pour ce faire, le module de détection des mouvements détecte le déplacement des marqueurs du visage entre plusieurs images successives de la vue du visage. Les mouvements ainsi détectés sont comparés à une base de données de mouvements unitaires, également désignés Action Units en langue anglaise. De tels mouvements unitaires sont des composants de base d’une expression du visage et peuvent, par exemple, être l’étirement externe des lèvres, l’ouverture de la mâchoire, la remontée d’un sourcil, etc. Ainsi, le module de détection des mouvements fait correspondre chaque mouvement d’une partie du visage à un mouvement unitaire.
[0034] La base de données de mouvements unitaires comprend 46 mouvements unitaires déterminés à partir des marqueurs du visage. La base de données peut être complétée par environ 20 mouvements unitaires supplémentaires déterminés à partir de la pose de la tête et de la direction du regard.
[0035] Cependant, seuls certains de ces mouvements unitaires, de préférence 14, permettent détecter un état de distraction cognitive du conducteur. Ces mouvements unitaires, également désignés AU pour Action Unit, sont, par exemple : - AU1 : la levée intérieure du sourcil (également désignée inner brow raiser en langue anglaise), - AU2 : la levée extérieure du sourcil (outer brow raiser), - AU4 : la descente du sourcil (brow lowerer), - AU6 : la levée de la joue (cheek raiser), - AU7 : le mouvement d’une paupière (lid tightener), - AU10 : la levée d’une lèvre (lip raiser), - AU12 : le tirage du coin d’une lèvre (lip corner puller), - AU14 : la fossette (dimpler), - AU15 : le relâchement du coin d’une lèvre (lip corner depressor), - AU17 : la levée du menton (chin raiser), - AU23 : le serrage d’une lèvre (lip tightener), - AU25 : la séparation des lèvres (lips part), - AU28 : le pincement d’une lèvre (lip pucker), et - AU45 : un clin d’œil (blink).
[0036] Un procédé initial peut être utilisé pour déterminer les mouvements unitaires et/ou les corrélations de ces mouvements unitaires les plus représentatifs d’un état de distraction cognitive du conducteur parmi ces 14 mouvements unitaires ou les corrélations de ces 14 mouvements unitaires. La corrélation entre plusieurs mouvements unitaires peut être révélateur d’un état émotionnel entraînant, simultanément ou bien avec quelques secondes de décalage, deux ou plus mouvements unitaires. Notamment, les mouvements, souvent coordonnées, des muscles au niveau des yeux du conducteur manifestent un état de distraction cognitive. Les résultats de ce procédé initial peuvent être enregistrées dans une base de données, par exemple sous la forme d’un classificateur linéaire de type SVM L1-regularized.
[0037] Pour ce faire, le procédé initial comprend une étape initiale de mesure, pour chaque mouvement unitaire, de leur moyenne, variance, maximum et minimum lors d’un état de distraction cognitive. De même, pour chaque corrélation entre différents mouvements unitaires leur moyenne, variance, maximum et minimum sont mesurés lors d’un état de distraction cognitive, de préférence sur des séquences décalées de +/- 4sec.
[0038] Le procédé initial comprend ensuite une étape initiale de détermination des mouvements unitaires et des corrélations les plus pertinentes pour détecter un état de distraction cognitive.
[0039] Les mouvements unitaires les plus représentatifs d’un état de distraction cognitive sont, par exemple, les mouvements unitaires : - AU7, présent dans l’expression du visage d’un conducteur qui se concentre, - AU1 et AU2, présents lors d’une attitude d’éveil du conducteur, et - AU25 et AU17, indiquant un état de concentration du conducteur.
[0040] Les corrélations de mouvements unitaires les plus représentatives d’une distraction cognitive sont, par exemple, les couples de mouvements unitaires AU1-AU7, AU45-AU2, AU1-AU2, AU1-AU4, AU17-AU23 et AU2-AU17.
[0041] Durant l’utilisation du véhicule 1, le module de détermination détecte un état de distraction cognitive du conducteur à partir de l’analyse de mouvements unitaires détectés et/ou de corrélations entre plusieurs mouvements unitaires correspondant aux mouvements unitaires et à leurs corrélations présentent dans la base de données. Ainsi, la détection d’un état de distraction cognitive est rendue aisée par l’analyse d’un nombre limité de mouvements unitaires et de corrélations. De plus, la fiabilité de la détection est améliorée par l’utilisation de ces mouvements unitaires et corrélations qui sont les plus pertinents au regard d’un état de distraction cognitive.
[0042] Pour ce faire, le module de détermination consulte la base de données du classificateur linéaire. Grâce au procédé de détection selon l’invention, la performance de la détection d’un état de distraction cognitive atteint 95% si le classeur a été entraîné avec le visage du conducteur. Si le classeur n’a pas été entraîné avec le visage du conducteur, autrement dit s’il n’y a pas eu de calibrage du dispositif de détection avec le visage du conducteur, la performance est de l’ordre de 68%. Cette dernière performance peut aisément être améliorée par l’adaptation du classeur au conducteur durant un temps déterminé d’adaptation lorsque le conducteur est assis dans le véhicule 1.
[0043] Grâce au dispositif de détection selon l’invention, il est possible de détecter rapidement, notamment en environ 2 secondes, un état de distraction cognitive du conducteur et ce de manière fiable, avec notamment une performance supérieure à 68%. De plus, un tel dispositif est peu coûteux, ce qui est avantageux.
[0044] Lorsque le module de détermination a détecté un état de distraction cognitive du conducteur ne permettant pas au conducteur une conduite sans risque, le dispositif de détection selon l’invention envoie une alerte à d’autres composants du véhicule 1 afin d’aider le conducteur, par exemple en activant le freinage d’urgence, l’évitement de collision, ou bien afin de ramener le conducteur dans un état compatible avec la conduite, par exemple en modifiant l’ambiance au sein de l’habitacle pour favoriser la reprise de l’attention du conducteur sur la conduite.
[0045] Il a été présenté la détection d’un état de distraction cognitive à partir d’images capturées par une unique caméra. Cependant, afin d’améliorer la détection du visage du conducteur, notamment lorsque ce dernier tourne la tête ou bien garantir que la caméra ne gêne par le champ de vision du conducteur, le dispositif de détection pourrait comprendre une pluralité de caméras capturant des images du visage du conducteur selon une pluralité d’angles de vue.
[0046] Dans ce cas, le module de traitement du dispositif de détection comprend en outre un module de génération d’un modèle en trois dimensions du visage du conducteur grâce aux images capturées selon différents angles de vue et un module de génération d’une vue frontale dudit visage à partir du modèle en trois dimensions.
[0047] Au cours du procédé, les marqueurs du visage détectés par chacune des caméras sont utilisés par le module de génération d’un modèle en trois dimensions afin de générer un modèle en trois dimensions du visage du conducteur.
[0048] Afin d’optimiser le temps de calcul nécessaire pour générer un modèle en trois dimensions, le modèle généré est basé sur un modèle déformable selon deux dimensions, également désigné modèle bilinéaire, possédant deux jeux de paramètres wid et wexpr, contrôlant respectivement les différences entre les conducteurs et les variations d’expression du visage d’un conducteur. Le modèle déformable est issu d’une base de donnée pré-enregistrée et constituée de visages, mesurés en trois dimensions sur de nombreux individus différents, et d’expressions de chacun des visages.
[0049] A partir des mesures des marqueurs de visage provenant des caméras, le modèle bilinéaire est ajusté de manière à optimiser la correspondance entre les caractéristiques r des images en deux dimensions et leur projection sur le modèle bilinéaire en trois dimensions, selon l’équation :
[0050] Dans laquelle Cr est le modèle bilinéaire du visage en trois dimensions, P est l’opérateur de sélection des points du modèle en trois dimensions, L est l’opérateur de projection desdits points et T la valeur des pixels des images.
[0051] Une telle optimisation du modèle bilinéaire peut se faire par une méthode de descente de gradient, dans laquelle, pour chaque itération, un jeu de paramètre wid, wexpr est recherché pendant que l’autre wid, wexpr est fixé. Une itération typique est de rechercher l’optimum de l’opérateur de projection L, puis de déterminer l’opérateur de sélection P. Les jeux de paramètres d’identité wid et d’expression wexpr sont alors retrouvés l’un après l’autre.
[0052] Lorsqu’un marqueur n’est pas visible sur une image d’une caméra, le module de détection du visage peut placer un point ne correspondant pas au marqueur : c’est le cas pour le contour du visage lorsque le visage est en partie de profil. L’opérateur de sélection P permet ainsi, à partir des surfaces créées du visage, de sélectionner les marqueurs visibles et les marqueurs non visibles sur les images de chaque caméra afin de n’utiliser que les points correspondant à un marqueur.
[0053] Des paramètres de régularisation Μ, η sont ajoutés afin de garantir que les jeux de paramètres wid, wexpr soient dans le domaine de solution et qu’ils représentent bien un visage. Le problème d’optimisation s’écrit alors :
[0054] De telles équations sont alors étendues à des images capturées par un nombre K de caméras. Les équations de chaque jeu de paramètre wid, wexpr s’écrivent alors:
[0055] Un tel modèle en trois dimensions se présente sous la forme d’un maillage, comme illustré à la figure 5, représentant des surfaces représentatives du visage. Un nombre limité de marqueurs du visage permettent de reconstituer les surfaces représentatives du visage en trois dimensions et ce grâce à un nombre limité de calculs.
[0056] Le module de génération d’une vue frontale génère, à partir du modèle en trois dimensions, une vue, dite « virtuelle » car aucune caméra n’est positionnée pour l’observer, de face du conducteur. Pour ce faire, le module de génération d’une vue frontale détermine les points visibles sur la vue frontale en déterminant les directions normales des surfaces représentatives du visage. Les points visibles sur la vue frontale sont alors projetés sur le plan de l’image de la vue frontale. Il est à noter que la vue frontale n’est pas fixe mais est reliée au modèle en trois dimensions du visage. Ainsi, la vue frontale s’adapte au visage lorsque le conducteur tourne la tête.
[0057] Le module de génération d’une vue frontale extrait, des images capturées par les caméras, les informations de texture du visage afin de les projeter sur le maillage du modèle en trois dimensions du visage. De telles informations de texture peuvent être fournies par les images capturées par la caméra dont l’angle de vue est le plus proche de la vue frontale ou bien par une fusion des images de plusieurs caméras. L’image projetée et texturée forme ainsi une image frontale du conducteur, tel qu’illustré à la figure 6.
[0058] Les images frontales sont alors utilisées par le module de détection des mouvements de visage comme cela a été présenté précédemment.
Claims (10)
- Revendications :1. Dispositif de détection d’un état de distraction cognitive du conducteur d’un véhicule (1), ledit dispositif comprenant : - au moins une caméra adaptée pour capturer des images du visage dudit conducteur, - un module de détection de mouvements unitaires du visage sur une succession de vues du visage du conducteur, et - un module de détermination d’un état de distraction cognitive du conducteur à partir de la détection de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
- 2. Dispositif selon la revendication 1, dans lequel le module de détermination est adapté pour communiquer avec une base de données de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
- 3. Dispositif selon l’une des revendications précédentes, comprenant des moyens d’illumination adaptés pour éclairer le visage du conducteur.
- 4. Dispositif selon la revendication précédente, dans lequel les moyens d’illumination éclairent par de la lumière proche-infrarouge.
- 5. Dispositif selon l’une des revendications précédentes, comprenant une pluralité de caméras adaptées pour capturer des images du visage dudit conducteur, chaque caméra étant disposée dans ledit véhicule (1) de manière à capturer des images du visage selon différents angles de vue, le dispositif comprenant : - un module de génération adapté pour générer un modèle en trois dimensions du visage du conducteur à partir des images capturées par lesdites caméras, et - un module de génération d’une vue frontale du visage à partir du modèle en trois dimensions afin de détecter des mouvements unitaires du visage et de déterminer un état de distraction cognitive du conducteur.
- 6. Véhicule automobile (1) comprenant un dispositif selon l’une des revendications précédentes, de détection d’un état de distraction cognitive du conducteur dudit véhicule (1).
- 7. Procédé de détection d’un état de distraction cognitive du conducteur d’un véhicule (1), ledit véhicule (1) comprenant au moins une caméra, ledit procédé comprenant : - une étape de capture par la caméra d’images du visage dudit conducteur, - une étape de détection du visage du conducteur sur chaque image capturée, - une étape de détection des mouvements du visage sur une succession d’images capturée, et - une étape de détection d’un état de distraction cognitive du conducteur à partir de la détection de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
- 8. Procédé selon la revendication 7 comprenant une étape de consultation d’une base de données de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive.
- 9. Procédé selon l’une des revendications 7 à 8 comprenant une étape initiale de détermination de mouvements unitaires et/ou de corrélations de mouvements unitaires représentatifs d’un état de distraction cognitive
- 10. Procédé selon l’une des revendications 7 à 9, dans lequel, le véhicule (1) comprenant au moins deux caméras, le procédé comprenant : une étape de génération d’un modèle en trois dimensions du visage du conducteur à partir des images capturées par les caméras, et une étape de génération d’une vue frontale du visage du conducteur à partir du modèle en trois dimensions afin de détecter des mouvements unitaires du visage et de déterminer un état de distraction cognitive du conducteur.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1651663A FR3048175A1 (fr) | 2016-02-29 | 2016-02-29 | Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1651663A FR3048175A1 (fr) | 2016-02-29 | 2016-02-29 | Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3048175A1 true FR3048175A1 (fr) | 2017-09-01 |
Family
ID=56137438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1651663A Withdrawn FR3048175A1 (fr) | 2016-02-29 | 2016-02-29 | Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3048175A1 (fr) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005258820A (ja) * | 2004-03-11 | 2005-09-22 | Toyota Motor Corp | 感情誘導装置及び感情誘導方法 |
| JP2006069358A (ja) * | 2004-09-01 | 2006-03-16 | Fuji Heavy Ind Ltd | 車両の運転支援装置 |
| US20130073114A1 (en) * | 2011-09-16 | 2013-03-21 | Drivecam, Inc. | Driver identification based on face data |
| JP2013164664A (ja) * | 2012-02-09 | 2013-08-22 | Denso Corp | 情報出力装置 |
| US20150078632A1 (en) * | 2012-04-10 | 2015-03-19 | Denso Corporation | Feeling monitoring system |
-
2016
- 2016-02-29 FR FR1651663A patent/FR3048175A1/fr not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005258820A (ja) * | 2004-03-11 | 2005-09-22 | Toyota Motor Corp | 感情誘導装置及び感情誘導方法 |
| JP2006069358A (ja) * | 2004-09-01 | 2006-03-16 | Fuji Heavy Ind Ltd | 車両の運転支援装置 |
| US20130073114A1 (en) * | 2011-09-16 | 2013-03-21 | Drivecam, Inc. | Driver identification based on face data |
| JP2013164664A (ja) * | 2012-02-09 | 2013-08-22 | Denso Corp | 情報出力装置 |
| US20150078632A1 (en) * | 2012-04-10 | 2015-03-19 | Denso Corporation | Feeling monitoring system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3488382B1 (fr) | Procédé et système de contrôle de l'état du conducteur d'un véhicule | |
| JP6338701B2 (ja) | 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム | |
| FR2734701A1 (fr) | Systeme pour surveiller les yeux afin de detecter un comportement somnolent | |
| US7819525B2 (en) | Automatic direct gaze detection based on pupil symmetry | |
| US7810926B2 (en) | Lateral gaze angle estimation using relative eye separation | |
| EP3265334B1 (fr) | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile | |
| EP3271869B1 (fr) | Procédé de traitement d'un signal asynchrone | |
| Paone et al. | Baseline face detection, head pose estimation, and coarse direction detection for facial data in the SHRP2 naturalistic driving study | |
| FR3038770A1 (fr) | Systeme de surveillance de l'etat de vigilance d'un operateur | |
| WO2020161610A2 (fr) | Surveillance adaptative d'un véhicule à l'aide d'une caméra | |
| FR3028741B1 (fr) | Dispositif de mesure du rythme cardiaque du conducteur d’un vehicule | |
| WO2000024309A1 (fr) | Detection de somnolence d'un conducteur de vehicule | |
| EP2307948B1 (fr) | Dispositif interactif et procédé d'utilisation | |
| FR3048543A1 (fr) | Dispositif et methode de surveillance d'un conducteur d'un vehicule de transport | |
| CN113316805A (zh) | 使用红外线和可见光监视人的方法和系统 | |
| FR3040816A1 (fr) | Dispositif et procede de detection de l’etat emotionnel d’un conducteur | |
| FR3048175A1 (fr) | Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur | |
| FR3062977A1 (fr) | Dispositif de compression d'une sequence video et dispositif de surveillance d'un conducteur comprenant un tel dispositif de compression | |
| CN111688709A (zh) | 乘员观察装置 | |
| FR3079652A1 (fr) | Procede d'evaluation d'une distance, systeme d'evaluation associe et systeme de gestion d'un coussin gonflable | |
| FR3034215A1 (fr) | Procede de commande, dispositif de commande, systeme et vehicule automobile comprenant un tel dispositif de commande | |
| FR3066303B1 (fr) | Procede de calibration d'un dispositif de surveillance d'un conducteur dans un vehicule | |
| FR3034561A1 (fr) | Dispositif d’avertissement d’un conducteur de vehicule du niveau de son etat de somnolence et/ou du niveau de son etat de distraction au moyen d’imagette(s) | |
| Siwach et al. | A Practical Implementation of Driver Drowsiness Detection Using Facial Landmarks | |
| FR3107495A1 (fr) | Dispositif de surveillance pour surveiller une personne qui conduit un véhicule |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20170901 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| ST | Notification of lapse |
Effective date: 20221005 |