FR3040816A1

FR3040816A1 - Dispositif et procede de detection de l’etat emotionnel d’un conducteur

Info

Publication number: FR3040816A1
Application number: FR1558278A
Authority: FR
Inventors: Olivier Pajot; Estelle Chin; Patrick Bonhoure; Julien Moizard; Jean-Philippe Thiran; Anil Yuce; Hua Gao
Original assignee: Valeo Schalter und Sensoren GmbH; Peugeot Citroen Automobiles SA
Current assignee: Valeo Schalter und Sensoren GmbH; PSA Automobiles SA
Priority date: 2015-09-07
Filing date: 2015-09-07
Publication date: 2017-03-10
Anticipated expiration: 2035-09-07
Also published as: FR3040816B1

Abstract

L'invention porte sur un dispositif de détection de l'état émotionnel du conducteur d'un véhicule (1), ledit dispositif comprenant une pluralité de caméras adaptées pour capturer des images du visage dudit conducteur, chaque caméra étant disposée dans ledit véhicule (1) de manière à capturer des images du visage selon différents angles de vue, un module de génération adapté pour générer un modèle en trois dimensions du visage du conducteur à partir des images capturées par lesdites caméras, un module de génération d'une vue frontale du visage à partir du modèle en trois dimensions, et un module de détection de l'état émotionnel du conducteur à partir des mouvements du visage sur la vue frontale.

Description

DISPOSITIF ET PROCEDE DE DETECTION DE L’ETAT EMOTIONNEL D’UN

CONDUCTEUR

[001] L'invention concerne, de façon générale, les interfaces homme-machine, en particulier dédiées aux véhicules automobiles, les systèmes de surveillance de l’état, en particulier physiologique et émotionnel, du conducteur d’un véhicule.

[002] L’invention porte plus particulièrement sur un dispositif permettant la détection de l’état physiologique et émotionnel du conducteur d’un véhicule automobile.

[003] Aujourd’hui, les véhicules automobiles comprennent de nombreuses aides à la conduite qui s’adaptent à l’état émotionnel et physiologique du conducteur afin d’augmenter la sécurité et le confort de conduite du conducteur.

[004] De telles aides peuvent être des interfaces Homme-machine adaptatives permettant de proposer différentes ambiances dans l’habitacle notamment pour relaxer le conducteur, un système d’aide à la conduite permettant d’ajuster les seuils de déclenchement des aides, notamment de freinage lorsque le conducteur est inattentif, un système de conduite autonome du véhicule permettant une transition du mode de conduite autonome au mode de conduite manuelle lorsque le conducteur est en état de conduire, etc.

[005] Il est connu de déterminer l’état émotionnel et physiologique du conducteur grâce à des capteurs placés sur le volant en vue de réaliser des mesures de paramètres physiologiques par contact, électrocardiogramme, mesure de la conductance cutanée, etc. Cependant de tels capteurs nécessitent un contact permanent entre la peau du conducteur et les capteurs. De plus, lors de la conduite autonome, le conducteur peut ne pas avoir à toucher le volant, ce qui présente un inconvénient pour la détermination de l’état physiologique du conducteur par de tels capteurs.

[006] On connaît en outre par le document US2015078632 un système de surveillance de l’état émotionnel du conducteur d’un véhicule automobile. Le système de surveillance selon ce document comprend une caméra d’acquisition d’images du visage du conducteur, et une unité de détection apte à détecter l’état émotionnel du conducteur à partir des images.

[007] Cependant, il est connu par la communauté scientifique, par exemple dans l’article « static and dynamic 3D facial expression récognition : a comprehensive survey » de Georgia Sandbach, Stéfanis Zafeiriou, Maja Pantic, Lijun Yin, que de tels systèmes ne fonctionnent de manière fiable que si le conducteur maintient une position frontale par rapport à la caméra. Or un conducteur étant amené à déplacer son visage durant la conduite, notamment pour regarder dans les rétroviseurs, le visage peut ne pas être en face de la caméra, voir ne pas être visible dans les images prises par la caméra, ce qui peut empêcher la détection de l’état du conducteur.

[008] De plus, le visage du conducteur étant principalement orienté face à la route lors d’une phase de conduite manuelle, la caméra devrait idéalement être placée au milieu du pare-brise du véhicule, soit dans le champ de vision du conducteur lorsque ce dernier conduit, ce qui représente un inconvénient majeur.

[009] L’invention vise donc à résoudre ces inconvénients en proposant un dispositif de détection de l’état émotionnel du conducteur d’un véhicule afin de permettre d’observer le conducteur sans gêner sa conduite.

[0010] Pour parvenir à ce résultat, la présente invention concerne un dispositif de détection de l’état émotionnel du conducteur d’un véhicule, ledit dispositif comprenant : - au moins une première et une deuxième caméras adaptées pour capturer des images du visage dudit conducteur, chaque caméra étant disposée dans ledit véhicule de manière à capturer des images du visage selon différents angles de vue, - un module de génération adapté pour générer un modèle en trois dimensions du visage du conducteur à partir des images capturées par lesdites caméras, - un module de génération d’une vue frontale du visage à partir du modèle en trois dimensions, et - un module de détection de l’état émotionnel du conducteur à partir des mouvements du visage sur une succession de vues frontales.

[0011] Grâce au dispositif selon l’invention, il est possible de détecter l’état émotionnel et physiologique d’un conducteur sans contact grâce à l’utilisation de caméra. De plus, l’utilisation d’une pluralité de caméras permet de détecter l’état du conducteur quelle que soit la position du visage du conducteur. Enfin, la génération d’une vue frontale permet d’optimiser la détection de l’état du conducteur sans gêner le champ de vision dudit conducteur.

[0012] Avantageusement, le dispositif comprend une base de données de visages préenregistrée.

[0013] De manière préférée, le dispositif comprend des moyens d’illumination adaptés pour éclairer le visage du conducteur, de préférence par de la lumière proche-infrarouge.

[0014] L’invention concerne en outre un procédé de détection de l’état émotionnel du conducteur d’un véhicule, ledit véhicule comprenant au moins une première et une deuxième caméras, ledit procédé comprenant : - une étape de capture par les caméras d’images du visage dudit conducteur d’images, - une étape de détection du visage du conducteur sur chaque image capturée, - une étape de génération d’un modèle en trois dimensions du visage du conducteur à partir des images des caméras, - une étape de génération d’une vue frontale du visage du conducteur à partir du modèle en trois dimensions, - une étape de détection des mouvements du visage sur une succession de vues frontales, et - une étape de détermination de l’état émotionnel du conducteur à partir des mouvements détectés.

[0015] Avantageusement, l’étape de détection des mouvements du visage comprend une sous-étape de détection de mouvements unitaires du visage.

[0016] De préférence, l’étape de détermination de l’état émotionnel comprend une sous-étape de combinaison d’une pluralité de mouvements unitaires détectés correspondant à un état émotionnel du conducteur.

[0017] De manière préférée, l’étape de détermination de l’état émotionnel du conducteur comprend une sous étape de consultation d’une base de données de correspondance de mouvements unitaires du visage à un état émotionnel du conducteur.

[0018] D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée des modes de réalisation de l'invention, donnés à titre d'exemple uniquement, et en référence aux dessins qui montrent : • la figure 1, un schéma d’un habitacle de véhicule dans lequel est installé un dispositif selon l’invention, • les figures 2 à 6, des vues schématiques de différentes étapes du procédé selon l’invention.

[0019] Dans ce qui va suivre, les modes de réalisation décrits s’attachent plus particulièrement à une mise en œuvre du dispositif selon l’invention au sein d’un véhicule automobile. Cependant, toute mise en œuvre dans un contexte différent, en particulier dans tout type de véhicule, est également visée par la présente invention.

[0020] La figure 1 représente un véhicule 1 comprenant un dispositif de détection de l’état émotionnel du conducteur (non représenté) dudit véhicule 1. Le dispositif de détection est placé dans l’habitacle du véhicule 1, dans lequel un conducteur est assis.

[0021] Le dispositif comprend une pluralité de caméras et des modules (non représentés) de traitements des images capturées par lesdites caméras.

[0022] Le dispositif comprend de préférence trois caméras mais il pourrait en comprendre deux ou plus de trois. Chaque caméra est disposée dans l’habitacle du véhicule 1 de manière à capturer des images du visage du conducteur assis dans ledit véhicule 1 selon différents angles de vue. De telles caméras peuvent, par exemple, être placées au niveau du volant 11 du véhicule 1, du rétroviseur intérieur 12, de la partie haute du montant 13 du parebrise, etc. L’emplacement des caméras permet ainsi de ne pas bloquer le champ de vision du conducteur.

[0023] Il a été présenté un dispositif comprenant une pluralité de caméras, mais il va de soi que toute autre solution permettant de capturer des images du visage du conducteur selon différents angles de vue pourrait convenir. Par exemple, le dispositif pourrait comprendre au moins une caméra comprenant un système optique adapté pour permettre de multiplier les angles de vues d’une même caméra, tel que des lentilles anamorphiques, des renvois d'images par miroir ou par fibres optiques, etc.

[0024] Afin d’illuminer le visage du conducteur, le dispositif comprend en outre des illuminateurs proche-infrarouges. De préférence, un illuminateur proche-infrarouge est placé à proximité de chaque caméra. Cependant, pour des raisons d’encombrement, les illuminateurs peuvent être déportés par rapport aux caméras. Les illuminateurs proche-infrarouges constituent des moyens d’illumination du visage du conducteur par de la lumière proche-infrarouge. Selon un mode de réalisation préféré de la présente invention, ladite lumière proche-infrarouge présente une longueur d’onde d’environ 850 nanomètres.

Une telle lumière proche-infrarouge permet ainsi d’illuminer le visage du conducteur, notamment la nuit, sans gêner la vision du conducteur. Chaque caméra capture alors des images du visage du conducteur à travers un filtre proche-infrarouge.

[0025] Les caméras capturent des images à une fréquence pouvant aller jusqu’à 60 images par seconde. Les illuminateurs proche-infrarouges sont synchronisés avec les caméras.

[0026] Les caméras capturent des images du visage du conducteur selon une pluralité d’angles de vue, lesdites images étant ensuite traitées par les modules afin de déterminer l’état physiologique et émotionnel du conducteur.

[0027] Les modules de traitements d’images comprennent un module de détection du visage du conducteur sur lesdites images, un module de génération d’un modèle en trois dimensions du visage du conducteur grâce aux images capturées selon différents angles de vue, un module de génération d’une vue frontale dudit visage à partir du modèle en trois dimensions, un module de détection des mouvements du visage et un module de détermination de l’état physiologique et émotionnel du conducteur à partir des mouvements détectés. De tels modules sont compris dans un ordinateur de bord du véhicule 1.

[0028] La mise en œuvre du procédé selon l’invention de détection de l’état émotionnel du conducteur va maintenant être décrite.

[0029] Lorsque le conducteur est assis dans le véhicule 1, les illuminateurs proche-infrarouges illuminent le visage du conducteur et les caméras capturent des images dudit visage selon différents angles de vue. Les images sont alors envoyées à l’ordinateur de bord.

[0030] Le module de détection du visage détecte, sur chaque image capturée, une pluralité de points, de préférence 68, particuliers du visage tels que les extrémités des yeux, de la bouche, des sourcils, les contours du visage, ...etc., comme illustré sur la figure 2. De tels points correspondent à des marqueurs du visage, comme illustré aux figures 3 et 4, qui permettent de détecter et de suivre le visage entre une pluralité d’images capturées successivement. Les algorithmes de détection d’un visage dans une image sont connus, par exemple la méthode de Viola and Jones, et ne seront pas décrits plus en détail. Une méthode, appelée Supervised Descent Method ou SDM en langue anglaise, assure le suivi des marqueurs du visage entre les images successives d’une séquence d’images et ne sera pas décrite plus en détail.

[0031] Les marqueurs du visage détectés par chacune des caméras sont utilisés par le module de génération d’un modèle en trois dimensions afin de générer un modèle en trois dimensions du visage du conducteur.

[0032] Afin d’optimiser le temps de calcul nécessaire pour générer un modèle en trois dimensions, le modèle généré est basé sur un modèle déformable selon deux dimensions, également désigné modèle bilinéaire, possédant deux jeux de paramètres wid et wexpr, contrôlant respectivement les différences entre les conducteurs et les variations d’expression du visage d’un conducteur. Le modèle déformable est issu d’une base de donnée pré-enregistrée et constituée de visages, mesurés en trois dimensions sur de nombreux individus différents, et d’expressions de chacun des visages.

[0033] A partir des mesures des marqueurs de visage provenant des caméras, le modèle bilinéaire est ajusté de manière à optimiser la correspondance entre les caractéristiques r des images en deux dimensions et leur projection sur le modèle bilinéaire en trois dimensions, selon l’équation :

[0034] Dans laquelle Cr est le modèle bilinéaire du visage en trois dimensions, P est l’opérateur de sélection des points du modèle en trois dimensions, L est l’opérateur de projection desdits points et T la valeur des pixels des images.

[0035] Une telle optimisation du modèle bilinéaire peut se faire par une méthode de descente de gradient, dans laquelle, pour chaque itération, un jeu de paramètre wid, wexpr est recherché pendant que l’autre wid, wexpr est fixé. Une itération typique est de recherche l’optimum de l’opérateur de projection L, puis de déterminer l’opérateur de sélection P. Les jeux de paramètres d’identité wid et d’expression wexpr sont alors retrouvés l’un après l’autre.

[0036] Lorsqu’un marqueur n’est pas visible sur une image d’une caméra, le module de détection du visage peut placer un point ne correspondant pas au marqueur : c’est le cas pour le contour du visage lorsque le visage est en partie de profil. L’opérateur de sélection P permet ainsi, à partir des surfaces créées du visage, de sélectionner les marqueurs visibles et les marqueurs non visibles sur les images de chaque caméra afin de n’utiliser que les points correspondant à un marqueur.

[0037] Des paramètres de régularisation Μ, η sont ajoutés afin de garantir que les jeux de paramètres wid, wexpr soient dans le domaine de solution et qu’ils représentent bien un visage. Le problème d’optimisation s’écrit alors :

[0038] De telles équations sont alors étendues à des images capturées par un nombre K de caméras. Les équations de chaque jeu de paramètre wid, wexpr s’écrivent alors:

[0039] Un tel modèle en trois dimensions se présente sous la forme d’un maillage, comme illustré à la figure 5, représentant des surfaces représentatives du visage. Un nombre limité de marqueurs du visage permettent de reconstituer les surfaces représentatives du visage en trois dimensions et ce grâce à un nombre limité de calculs.

[0040] Le module de génération d’une vue frontale génère, à partir du modèle en trois dimensions, une vue, dite « virtuelle » car aucune caméra n’est positionnée pour l’observer, de face du conducteur. Pour ce faire, le module de génération d’une vue frontale détermine les points visibles sur la vue frontale en déterminant les directions normales des surfaces représentatives du visage. Les points visibles sur la vue frontale sont alors projetés sur le plan de l’image de la vue frontale. Il est à noter que la vue frontale n’est pas fixe mais est reliée au modèle en trois dimensions du visage. Ainsi, la vue frontale s’adapte au visage lorsque le conducteur tourne la tête.

[0041] Le module de génération d’une vue frontale extrait, des images capturées par les caméras, les informations de texture du visage afin de les projeter sur le maillage du modèle en trois dimensions du visage. De telles informations de texture peuvent être fournies par les images capturées par la caméra dont l’angle de vue est le plus proche de la vue frontale ou bien par une fusion des images de plusieurs caméras. L’image projetée et texturée forme ainsi une image frontale du conducteur, tel qu’illustré à la figure 6.

[0042] Le module de détection de mouvements détecte alors les mouvements des parties du visage dans une séquence de vues frontales. Pour ce faire, le module de détection détecte le déplacement des points particuliers du visage entre plusieurs images successives de la vue frontale. Les mouvements ainsi détectés sont comparés à une base de données de mouvements unitaires, également désignés Action Units en langue anglaise. De tels mouvements unitaires sont des composants de base d’une expression du visage et peuvent, par exemple, être l’étirement externe des lèvres, l’ouverture de la mâchoire, la remontée d’un sourcil, etc. Ainsi, le module de détection fait correspondre chaque mouvement d’une partie du visage à un mouvement unitaire.

[0043] Le module de détermination de l’état du conducteur détermine l’état physiologique et émotionnel du conducteur à partir de l’analyse des mouvements unitaires détectés. En effet, la combinaison d’une pluralité de mouvements unitaires correspond à un état émotionnel et physiologique. Par exemple la combinaison des mouvements unitaires d’étirement externe des lèvres, d’ouverture de la mâchoire et de remontée des sourcils correspond à un état de peur du conducteur. La correspondance entre l’état du conducteur et la combinaison des mouvements unitaires correspondant est effectuée grâce à la base de données pré-enregistrée comprenant différentes expressions d’un visage.

[0044] Lorsque le module de détermination de l’état du conducteur a déterminé un état émotionnel ou physiologique du conducteur ne permettant pas au conducteur une conduite sans risque, le dispositif de détection selon l’invention envoie une alerte à d’autres composants du véhicule 1 afin d’aider le conducteur, par exemple en activant le freinage d’urgence, l’évitement de collision, ou bien afin de ramener le conducteur dans un état compatible avec la conduite, par exemple éveil du conducteur, apaisement, etc.

[0045] En résumé, la présente invention vise un dispositif de détection de l’état émotionnel du conducteur à partir d’une vue générée frontale du visage du conducteur afin de détecter l’état émotionnel et physiologique du conducteur sans gêner le champ de vision du conducteur.

[0046] Il est précisé, en outre, que la présente invention n’est pas limitée aux exemples décrits ci-dessus et est susceptible de nombreuses variantes accessibles à l’homme de l’art.

[0047] Grâce au dispositif de détection de l’état du conducteur, il est possible de détecter des états émotionnels ou physiologique du conducteur tels que l’inattention, la distraction visuelle ou cognitive, ou un début de malaise et ainsi d’anticiper l’éventuelle activation d’aides à la conduite. Il est ainsi possible de détecter rapidement un comportement critique du véhicule lorsque le conducteur n’est plus en état de conduire. Le dispositif selon l’invention permet en outre de détecter de manière optimale l’état du conducteur grâce à l’utilisation d’une vue frontale et ce sans gêner le champ de vision du conducteur.

[0048] Lorsque le conducteur bouge la tête, le dispositif génère une vue frontale du visage du conducteur quelle que soit l’orientation dudit visage grâce à l’utilisation d’une pluralité de caméra capturant des images du conducteur selon différents angles de vue.

Claims

Revendications :

1. Dispositif de détection de l’état émotionnel du conducteur d’un véhicule, ledit dispositif comprenant : - au moins une première et une deuxième caméras adaptées pour capturer des images du visage dudit conducteur, chaque caméra étant disposée dans ledit véhicule de manière à capturer des images du visage selon différents angles de vue, - un module de génération adapté pour générer un modèle en trois dimensions du visage du conducteur à partir des images capturées par lesdites caméras, - un module de génération d’une vue frontale du visage à partir du modèle en trois dimensions, et - un module de détection de l’état émotionnel du conducteur à partir des mouvements du visage sur une succession de vues frontales.
2. Dispositif selon la revendication 1, comprenant une base de données de visages préenregistrée.
3. Dispositif selon l’une des revendications précédentes, comprenant des moyens d’illumination adaptés pour éclairer le visage du conducteur.
4. Dispositif selon la revendication précédente, dans lequel les moyens d’illumination éclairent par de la lumière proche-infrarouge.
5. Procédé de détection de l’état émotionnel du conducteur d’un véhicule, ledit véhicule comprenant au moins une première et une deuxième caméras, ledit procédé comprenant : - une étape de capture par les caméras d’images du visage dudit conducteur d’images, - une étape de détection du visage du conducteur sur chaque image capturée, - une étape de génération d’un modèle en trois dimensions du visage du conducteur à partir des images des caméras, - une étape de génération d’une vue frontale du visage du conducteur à partir du modèle en trois dimensions, - une étape de détection des mouvements du visage sur une succession de vues frontales, et - une étape de détermination de l’état émotionnel du conducteur à partir des mouvements détectés.
6. Procédé selon la revendication précédente dans lequel l’étape de détection des mouvements du visage comprend une sous-étape de détection de mouvements unitaires du visage.
7. Procédé selon la revendication précédente, dans lequel l’étape de détermination de l’état émotionnel comprend une sous-étape de combinaison d’une pluralité de mouvements unitaires détectés correspondant à un état émotionnel du conducteur.
8. Procédé selon l’une des revendications 6 à 7, dans lequel l’étape de détermination de l’état émotionnel du conducteur comprend une sous étape de consultation d’une base de données de correspondance de mouvements unitaires du visage à un état émotionnel du conducteur.