FR3038770A1 - Systeme de surveillance de l'etat de vigilance d'un operateur - Google Patents

Abstract

La présente invention concerne un système de surveillance de l'état de vigilance d'un opérateur (2) comprenant : - une caméra (1) munie d'un capteur sensible dans le proche infrarouge, - un circuit de traitement en temps réel des signaux délivrés par ladite caméra (1), pour déterminer des points caractéristiques pour chacune desdites images et, par l'analyse desdits points caractéristiques, des informations relatives à une partie au moins des indicateurs comprenant : ○ l'inclinaison de la tête selon trois directions orthogonales, ○ la position de la pupille ○ l'ouverture de l'oeil ○ la configuration de la bouche - un calculateur commandé par un programme déterminant l'état de vigilance en fonction desdits indicateurs et de leur évolution temporelle.

Description

Titre : Système de surveillance de l'état de vigilance d'un opérateur

Domaine de 1'invention

La présente invention concerne le domaine de l'analyse automatique de l'état de vigilance d'un opérateur, notamment d'un conducteur d'un véhicule automobile, ferroviaire, maritime ou aérien, ou encore d'un opérateur pilotant ou surveillant un équipement ou un site industriel, maritime ou aérien.

Parmi les différentes solutions connues, l'invention concerne plus particulièrement celles basées sur l'analyse faciale pour détecter des évolutions représentatives d'une variation de l'état de vigilance ou de l'apparition de signes précurseurs de l'assoupissement.

Etat de la technique

On connaît dans l'état de la technique différentes solutions d'analyse automatique de la vigilance à partir de la reconnaissance faciale.

Le brevet US 6927694 décrit une méthode pour détecter la vigilance et vigilance de personnes dans des conditions de fatigue, manque de sommeil, et l'exposition à des substances psychotropes comme l'alcool et la drogue. En particulier, l'invention peut avoir des applications particulières pour les camionneurs, chauffeurs d'autobus, opérateurs de trains, les pilotes et les contrôleurs d'engins maritimes et les opérateurs d'équipement lourd stationnaires, et les étudiants et les employés au cours, soit de jour ou dans des conditions nocturnes. L'invention analyse la position de la tête d'une personne et les traits du visage avec une seule caméra à bord avec un système entièrement automatique, qui peut classer la rotation de la tête, détecter l'ouverture et la fermeture de l'œil et de la bouche, détecter les clignements des yeux. Les sorties peuvent être visuelle et sonore pour alarmer directement le conducteur.

Le brevet FR2773521 décrit un dispositif qui met en œuvre un ensemble de capteur optoélectronique et une unité électronique, disposée à l'intérieur du véhicule automobile, le capteur étant orienté vers la tête du conducteur en place dans celui-ci en même temps que le rétroviseur intérieur qui comporte un miroir sans tain derrière lequel est disposé le capteur. Ils réalisent, après détection de la présence d'un conducteur en place dans le véhicule, la cadrage d'abord du visage entier, puis des yeux, de celui-ci dans les trames du signal vidéo débité par le capteur, grâce à l'unité électronique, et ensuite la détermination des durées successives des clignements des yeux, celles-ci étant comparées à un seuil compris entre une telle durée pour une personne éveillée et une telle durée pour une personne somnolente et un signal (émis par une alarme) apte à éveiller le conducteur étant déclenché lorsque la durée de ses clignements dépasse ledit seuil.

La demande de brevet US20140375785 concerne un exemple de système qui peut surveiller le stress et la fatigue d'un sujet. Le système peut comprendre une source de lumière configurée pour diriger une lumière d'éclairage sur un visage du sujet. La lumière d'éclairage peut réfléchir le visage du sujet pour former une lumière réfléchie. Le système peut comprendre un processeur d'image configuré pour localiser un œil dans les images à vitesse vidéo, extraire des signes de fatigue de l'œil localisé, et déterminer un niveau de fatigue du sujet à partir, en partie, des signes de fatigue. Le processeur d'image peut également être configuré pour localiser une région faciale éloignée de l'œil dans les images à vitesse vidéo, extraire des signes de stress à partir de la région faciale localisée, et déterminer un niveau de stress du sujet à partir des signes de stress.

Inconvénients de l'art antérieur

Les solutions proposées dans l'art antérieur présentent un problème majeur pour une mise en œuvre dans des équipements embarqué ayant une capacité de traitement limitée. Le traitement en temps réel d'images présentant une résolution élevée pour permettre l'extraction des informations utiles selon les méthodes de l'art antérieur nécessitent une puissance de calcul importante, peu compatible avec des processeurs tels que ceux que l'on peut trouver sur un téléphone cellulaire ou un équipement embarqué.

Par ailleurs, les solutions de l'art antérieur ne sont pas très robustes par rapport à la direction de la captation d'image : lorsque l'opérateur tourne la tête et n'est plus en face de la caméra d'acquisition, les traitements d'analyse perdent leur efficacité. Les solutions de l'art antérieur sont très sensibles au positionnement précis de la caméra par rapport à l'opérateur.

Un autre inconvénient des solutions de l'art antérieur est la difficulté d'adapter et d'optimiser le traitement aux spécificités d'un opérateur donné. Même si les indices de perte de vigilance peuvent être classifiés de manière générique, un opérateur donné peut présenter des différences significatives et présenter des particularités en ce qui concerne ses signes précurseurs de l'endormissement ou de baisse de vigilance.

En dernier lieu, les solutions de l'art antérieur sont limitées à un traitement unipersonnel, et ne permettent pas de partager des informations générales sur les risques d'assoupissement ou de pertes de vigilance en fonction du temps ou de la géolocalisation.

Solution apportée par l'invention

Afin de remédier à ces inconvénients, la présente invention concerne selon son acception la plus générale un système de surveillance de l'état de vigilance d'un opérateur comprenant : une caméra munie d'un capteur sensible dans le proche infrarouge, orientée pour acquérir une image du visage occupant au moins 12% de la surface utile du capteur, un circuit de traitement en temps réel des signaux délivrés par ladite caméra, pour déterminer des points caractéristiques pour chacune desdites images et, par l'analyse desdits points caractéristiques, des informations relatives à une partie au moins des indicateurs comprenant : o l'inclinaison de la tête selon trois directions orthogonales, o la position de la pupille o l'ouverture de l'œil o la configuration de la bouche un calculateur commandé par un programme déterminant l'état de vigilance en fonction desdits indicateurs et de leur évolution temporelle ledit système comporte : o une première mémoire permanente pour l'enregistrement d'une pluralité de fichiers FD± obtenus par un traitement préalable sur un ensemble d'image IA± et d'indicateur de qualification de l'appartenance de chacune desdites images VA± à une classe prédéterminée [vrai visage, visage qui n'en est pas un] o une deuxième mémoire permanente pour l'enregistrement d'une pluralité de fichiers FC± obtenus par un traitement préalable sur un ensemble d'images de visages V± associées à des annotations ledit circuit de traitement réalisant une étape de localisation, dans l'image numérique délivrée par la caméra, des zones correspondant au visage, par application d'un traitement de détection à partir desdits fichiers IA± ledit traitement pour déterminer des points caractéristiques par application d'un traitement de détection à partir desdits fichiers V± les informations relatives à l'état de la tête dudit opérateur comprennent des indicateurs d'inclinaison de la tête selon trois directions orthogonales.

Selon une variante, ledit calculateur est en outre commandé par un programme pour la détection de la direction du regard et le calcul d'un indicateur additionnel.

De préférence, la fréquence d'acquisition et de traitement est supérieure à 30 images par seconde.

Selon un mode de mise en œuvre avantageux, on procède à un enregistrement horodaté desdites indicateurs et en ce que l'évolution temporelle est calculée en fonction desdits enregistrements, sur une plage temporelle d'au moins deux secondes.

Selon une variante, il comporte un moyen d'alerte commandé à distance par ledit calculateur, activant un moyen haptique.

Selon un mode de réalisation particulier, le système comporte un moyen d'alerte commandé par ledit calculateur, activant un moyen sonore.

Selon un autre mode de réalisation particulier, le système comporte un moyen d'alerte commandé par ledit calculateur, activant un moyen lumineux.

Selon un autre mode de réalisation particulier, le système comporte en outre des capteurs d'environnement non liés audit opérateur délivrant un signal additionnel pour le calcul de l'état de vigilance.

Avantageusement, le système comporte en outre au moins un capteur physiologique lié audit opérateur délivrant un signal additionnel pour le calcul de l'état de vigilance.

Selon une variante, il comporte en outre des moyens de transmission desdites indicateurs à un serveur, et des moyens de calcul d'une information générique [non liée à un opérateur donné] sur des zones à risque.

Avantageusement il comporte en outre une troisième mémoire pour l'enregistrement de données provenant d'une pluralité d'équipements extérieurs et d'un serveur, pour l'enregistrement d'informations additionnelles pour le calcul de l'état de vigilance.

Selon un mode de mise en œuvre particulier, le serveur soit configuré pour recevoir en outre des données externes et pour transmettre des informations additionnelles à chaque équipement local.

De préférence, il comporte en outre des moyens pour transmettre à un serveur d'une partie au moins des images acquises par la caméra, afin de compléter les fichiers FC±

Selon un mode de réalisation préféré, le système comporte en outre une source émettant dans le proche infrarouge pour éclairer le visage de l'opérateur.

Selon une autre variante avantageuse, le système comporte en outre un circuit de télépéage.

Description détaillée d'un exemple non limitatif de réalisation de l'invention

La présente invention sera mieux comprise à la lecture de la description qui suit, concernant un exemple non limitatif de réalisation se référant aux dessins annexés où : la figure 1 représente une vue schématique de l'architecture matérielle de l'équipement la figure 2 représente une vue schématique de l'implantation de l'équipement dans un habitacle la figure 3 représente une vue schématique de l'architecture fonctionnelle de l'équipement la figure 4 représente une vue schématique de la nature des caractéristiques morphologiques détectées sur un visage la figure 5 représente une vue schématique des différents mouvements analysés.

Architecture matérielle

La figure 1 représente une vue schématique de l'architecture matérielle d'un équipement embarqué utilisable dans le poste de conduite d'un véhicule automobile ou d'un car ou camion, et la figure 2 un exemple d'installation dans un habitable d'un véhicule. L'équipement (19) comprend une caméra d'acquisition (1) positionnée dans l'habitacle du véhicule, face au conducteur (2), avec un léger décalage pour ne pas masquer le champ de vision. Elle peut notamment être maintenue par un bras fixé sur le tableau de bord ou sur le pare-brise.

Cette caméra (1) est montée dans un boitier comprenant également une source lumineuse ( 3 ) émettant une onde dans le proche infra-rouge émettant à 850 nm. La puissance d'émission est typiquement de 100 mW par stéradian (et de préférence entre 50 et 200 mW/str). L'émission IR est continue, ou peut être modulée en fonction de l'éclairage ambiant, de la fréquence d'acquisition.

Le capteur d'acquisition de la caméra (1) présente une résolution de 540x480 au moins (type VGA), à une fréquence d'acquisition de 100 images par secondes. Il est associé à un filtre passe-haut avec une longueur d'onde de coupure comprise entre 800 et 830 nm. L'optique de la caméra est déterminée, pour une application embarquée dans un poste de conduite automobile, pour fournir un champ de vision de 80x80cm à une distance d'un mètre.

La caméra (1) peut être associée à un capteur de luminosité (16) et à un support motorisé pour commander un suivi automatique des déplacements du visage.

La caméra (1) est reliée à un calculateur (4) comprenant un microprocesseur (5). Ce microprocesseur (5) intègre une unité de calcul multicoeur (6) ainsi qu'un processeur graphique (7), des mémoires ROM (8) et RAM ou flash (9) pour le stockage des données intermédiaires ainsi qu'un connecteur (19) pour recevoir une mémoire flash dans laquelle est enregistré le code du programme applicatif. Il intègre également de façon connue les interfaces d'entrée/sortie, la gestion de l'alimentation et les couches de protocole et de sécurité. L'équipement comprend également des boutons de commande (17) et un écran de visualisation (10) formant l'interface homme-machine permettant à l'opérateur de procéder aux paramétrages, et destiné également à afficher des alertes graphiques générées par le calculateur (4) ainsi que des représentations graphiques symbolisant l'état et le niveau de vigilance. Une source lumineuse extérieure, par exemple un bandeau lumineux ou un flash (14), commandé à distance par l'équipement, pour compléter les informations visuelles.

Optionnellement, le boîtier commande la visualisation d'un type d'alerte associé aux descripteurs qui ont conduit au déclenchement de cette alerte, par exemple un signal graphique symbolique de risque d'endormissement, associé à une information textuelle ou vocale sur le nombre de fermeture ou de clignement des yeux ou de bâillement.

Le boîtier peut déclencher, lors de l'initialisation, une séquence informative, éventuellement personnalisée en fonction des données historiques associées à l'opérateur, de l'heure et/ou de la localisation, ou encore de données extérieures (température, conditions météorologiques,...) . L'équipement (1) comprend également un haut-parleur (11) ou une interface commandant l'équipement de sonorisation du véhicule ainsi qu'une interface (12) de type Bluetooth (nom commercial) destiné à transmettre des signaux de commande à un bracelet ou à un objet vibrant connecté (13) destiné à transmettre à l'opérateur des alertes haptiques, sous forme de vibrations. L'équipement comprend encore des entrées pour des capteurs additionnels (15), par exemple un capteur d'ambiance sonore, un capteur de température ambiante, un accéléromètre, un gyroscope, les signaux de géolocalisation et de vitesse du véhicule fournis par un GPS, etc. L'équipement comprend également des moyens de radiocommunication (18) pour la transmission de données vers un serveur, et la réception de données extérieures, selon un protocole connu. L'alimentation est réalisée par branchement sur une prise d'accessoire du véhicule.

Description fonctionnelle

La figure 3 représente une vue générale de l'architecture fonctionnelle.

Elle comprend un premier bloc matériel (20) concernant la gestion de l'équipement (1) et de ses composants.

Le second bloc (21) correspond aux traitements du flux vidéo provenant de la caméra pour l'extraction des caractéristiques morphologiques CM± statiques. Ces traitements sont effectués sur des images en 256 niveaux de gris (8 bits).

Le troisième bloc (22) correspond aux traitements appliqués aux caractéristiques morphologiques CM± statiques pour calculer des indicateurs dynamiques liés au visage.

Le quatrième bloc (23) correspond aux traitements appliqués à ces indicateurs dynamiques ainsi qu'à des données additionnels provenant de capteurs internes et optionnellement d'un serveur.

Le cinquième bloc (24) correspond aux traitements effectués par un serveur en fonction des données provenant d'une pluralité d'équipement pour fournir des données générales et améliorer les modèles enregistrés dans chaque équipement.

Le fonctionnement de l'équipement est le suivant. On dispose l'équipement (1) face à l'opérateur. L'activation de l'équipement conduit de manière connue au chargement automatique du programme enregistré dans la mémoire flash (19). L'exécution du programme déclenche une première séquence de vérification et de dialogue avec l'opérateur.

Au cours de cette séquence, l'équipement (1) transmet des informations vocales et textuelles, par exemple les recommandations et consignes de sécurité pour l'utilisation du système. Elle permet éventuellement de demander à l'opérateur d'accepter formellement l'utilisation, afin de respecter les dispositions règlementaires locales, notamment en ce qui concerne des questions de responsabilités ou de protection des données personnelles.

Cette séquence permet également de vérifier le fonctionnement des interfaces vibrantes, sonores et visuelles, de sélectionner celles que l'opérateur souhaite activer, et procéder aux réglages par exemple du niveau ou du mode de ces alertes pour le trajet.

Après cette séquence d'initialisation, l'équipement procède à différents traitements en temps réel. Détection des visages - bloc (21)

Ce traitement concerne la reconnaissance, dans les images acquises à une fréquence de 100 images par seconde, du visage dans le champ optique, pour deux finalités qui seront développées ci-après : la recherche dans une base historique des données associées à un visage reconnu les traitements d'analyse morphologiques pour le calcul de l'état de vigilance.

La détection du visage dans l'image acquise par la caméra est réalisée selon la méthode Viola-Jones décrite par exemple dans l'article Paul Viola et Michael Jones, « Robust Real-time Face Détection », IJCV, 2004, p. 137-154.

Cette étape permet d'isoler dans l'ensemble de l'image la zone contenant le visage. Cette zone représente un sous-ensemble d'au moins 12% de la totalité de l'image dans le champ optique, ce qui permet de réduire la puissance de calcul nécessaire pour les traitements ultérieurs. L'étape suivante consiste à appliquer des traitements pour calculer des caractéristiques morphologiques statiques du visage dans la zone délimitée précédemment.

Ces caractéristiques morphologiques CM± illustrés par la figure 4 comprennent par exemple : les points caractéristiques de l'œil et de la paupière, pour chacun des yeux : o centre de la partie supérieure-extérieure de la paupière droite (30) o centre de la partie supérieure-intérieur de la paupière droite (34) o coin extérieur de l'œil droit (32) o coin intérieur de l'œil droit (33) o centre de la partie inférieure-intérieure de la paupière droite (31) o centre de la pupille de l'œil droit (35) o et différents autres points caractéristiques de l'œil les points caractéristiques de la bouche : o le coin droit de l'extérieur de la lèvre (36) o le coin gauche de l'extérieur de la lèvre (37) o le point le plus haut de l'extérieur droit de la lèvre (38) o le point le plus haut de l'extérieur gauche de la lèvre (39) o le point central de l'extérieur de la lèvre supérieure (40) o le point d'inflexion de la partie droite de la lèvre inférieure (41) o le point d'inflexion de la partie gauche de la lèvre inférieure (42) o le coin droit de l'intérieur de la lèvre (43) o le coin gauche de l'intérieur de la lèvre (44) o le point central sur la partie supérieure de la lèvre intérieure (45) o le point central sur la partie inférieure de la lèvre intérieure (46) o et le cas échéant d'autres points caractéristiques des lèvres... les points caractéristiques du nez : o la base de la cloison inter-narines du nez (47) o le centre de la narine droite (48) o le centre de la narine gauche (49).

Construction d'un modèle déformable

Le traitement effectué dans le bloc (21) est réalisé en fonction de modèles préalablement générés et enregistrées dans le mémoire ROM (8). Un exemple de traitement pour la construction du modèle déformable sera présenté plus avant.

Un modèle est généré à partir d'une séquence d'une pluralité d'images de visages, sur lesquels on a procédé à une caractérisation manuelle.

Cette caractérisation consiste à désigner, sur chacune des images, de manière manuelle ou automatique, les points caractéristiques CMi susvisés. On construit ainsi un ensemble de données (CMi, xcmi, yCmi) constituées par des coordonnées (xcmi, ycmi) associées à leur qualificatif CM±. A partir de ces données, on construit un modèle de forme constituant un gabarit de référence. Pour chacun des points caractéristiques, on définit sur ce gabarit la distribution des points issus des différents visages traités et la limite des variations.

La reconnaissance de ces points caractéristiques est réalisée par une analyse en composantes principales ACP, par un traitement de comparaison entre les caractéristiques CMRi sur un modèle de référence, et les décalages entre chacun des points CM±.

Les étapes menant à l'obtention d'un modèle mentionné précédemment correspondent à une méthode connue, par exemple dans l'article « Active Appearance Models Revisited » by Iain Matthews and Simon Baker.

Le traitement est basé sur l'exploitation de plusieurs modèles de visages, dont la prise de vue n'est pas constante mais varie en fonction de l'orientation du visage par rapport à la caméra. Après génération du modèle, à chaque point de l’ensemble CM± est associé une position de référence et les écarts, vis-à-vis de cette position, autorisés pour que l’ensemble représente un visage humain plausible.

Vignettes associées au modèle déformable

Ce modèle déformable est complété par des vignettes correspondant à des textures localisées autour des points caractéristiques représentatives du voisinage de ces points. Ces informations permettent de réaliser une validation des zones d'intérêt dans lesquelles se trouvent les points caractéristiques.

On construit ainsi un modèle déformable associé aux points caractéristiques CM± une vignette d'un nombre restreint de pixels entourant ces points caractéristiques.

Base de référence

Plusieurs modèles déformables sont générés en fonction des différentes variations sur la pluralité des images exploitables (grande diversité dans les poses et expressions des visages). Ces modèles sont enregistrés dans une base de référence qui servira au traitement en temps réel des images provenant de l'équipement (1)· Les modèles enregistrés comprennent : un modèle de référence de face un modèle de référence de quart de profil gauche un modèle de référence de quart de profil droit un modèle de référence de profil gauche un modèle de référence de profil droit À chaque modèle est associé son ensemble de vignettes propre.

Initialisation de la détection de visage

Lors des premières acquisitions, le traitement va sélectionner dans la base de modèles de référence l'un des modèles qui est le plus adapté.

Cette sélection est effectuée par calcul d'un score de concordance entre une image acquise par l'équipement (1) et les modèles de référence enregistrés dans la base de données, pour déterminer le modèle de référence pour lequel ce score est maximisé.

Le calculateur exécute un traitement d'identification du visage pour rechercher de l'historique d'utilisation. En fonction de l'identité reconnue, le calculateur charge les paramètres associés au profil reconnu. Si aucun visage n'est reconnu, le calculateur charge des paramètres standards, construit par apprentissage local ou étendu (à partir de données provenant d'un serveur).

Traitement sur chacune images transmises par l'équipement

Pour une image It, on procède à une sélection de la zone contenant les informations graphiques correspondant au visage, et on applique un traitement pour identifier les points caractéristiques CMit à partir des données du modèle de référence sélectionné. L'extraction de ces points caractéristiques CMit est réalisé de manière récurrente, avec une première étape de caractérisation grossière puis des étapes additionnelles de caractérisation fine et de validation des points identifiés.

Les points caractéristiques CMit sont suivis en se basant sur leur modèle déformable, leur vignette propre et les points à l'instant t-1 CMi^. Le modèle déformable permet de placer les points à des positions moyennes et à limiter leurs déformations dans la limite d'une forme de visage plausible. Les vignettes sont utilisées pour déterminer l'emplacement précis du point caractéristique, qui lui est associé, sur l'image à l'instant t. La position exacte résulte d'un calcul de corrélation entre ladite vignette et une zone de 1'image proche du point caractéristique.

Les étapes additionnelles consistent à vérifier la cohérence de la position relative de couples de points caractéristiques, valider les points dont l'indicateur de cohérence atteint une valeur seuil et retraiter les points résiduels.

Le résultat de cette étape est un ensemble de points horodatés CMit pour l'image traitée, associés : à un indicateur du degré de confiance, représentatif de la réalité de la qualification et de la position du point caractéristique associé optionnellement à des données de géolocalisation provenant d'un GPS.

Ce traitement est réalisé de manière parallèle, pour l'ensemble des points caractéristiques, par exemple 56 points, par une exécution sur le processeur couplé GPU (7).

Calcul d'indicateurs statiques

Ces données font l'objet d'un traitement pour calculer un indicateur représentatif : - De la position de la tête - De la pose Pt de tête (orientation statique selon 3 axes tangage, roulis, lacet) comme illustré par la figure 5 en fonction des points CMi; t dont le score de confiance est le plus élevé, ainsi que de l'historique de la pose de la tête pour vérifier la cohérence de la pose Pt. La pose Pt de la tête est calculée en fonction d'un modèle tridimensionnel d'un visage, dont les vertex sont associés aux points 2D du modèle de référence.

Le modèle tridimensionnel est généré en amont et est non déformable. Ce modèle est constitué par un maillage rigide, constitué par une pluralité de groupes de points (par exemple les points du maillage de la mâchoire, ou des yeux définissant la largeur et l'écartement des yeux). Les positions des points d'un groupe sont calculées lors de l'initialisation pour adapter un maillage générique prédéfini à la morphologie déterminée lors des premières acquisitions d'image de l'opérateur, pour adapter ce maillage standard à la morphologie d'un opérateur particulier.

Cette solution réduit significativement la puissance de calcul requise par rapport à des solutions où le modèle tridimensionnel est recalculé pour chaque nouvelle acquisition d'image du visage.

Ce modèle personnalisé peut être actualisé périodiquement, à une périodicité très supérieure à celle de l'acquisition, par exemple toutes les minutes ou dizaine de minutes alors que la périodicité d'acquisition des images de l'ordre de la centième de secondes. Le recalcule du modèle tridimensionnel peut être activé lors de la détection répétée de discordances entre les points 2D et les points du maillage 3D projetés sur l'image 2D.

Ce recalcul permet d'adapter le modèle tridimensionnel au cours d'un trajet long à la morphologie du conducteur. La rétroprojection des points 2D vers 3D à l'aide de paramètres intrinsèques (par exemple distorsions radiales) et extrinsèques (par exemple matrices de rotation, translation et mise à l'échelle) du système d'acquisition permet de maîtriser les propriétés de l’optique.

Un autre traitement statique concerne la détermination d'un indicateur représentatif de l'état de chaque œil (par exemple le pourcentage d'ouverture de l'œil), ainsi qu'un indicateur représentatif de la position de la pupille. Ce traitement consiste à réaliser un prétraitement d'image dans la zone d'intérêt autour de l'œil ; à modéliser l'œil et à prédire ses mouvements et sa position par rapport aux points caractéristiques (coin droit, gauche, haut, bas,...).

Un autre traitement statique concerne la détermination d'un indicateur représentatif de la direction du regard. Ce traitement réside au calcul du couplage entre la position de la tête et la direction du regard.

Un autre traitement statique concerne la détermination d'un indicateur représentatif de l'état de la bouche. Ce traitement consiste à isoler une partie de l'image dans la zone d'intérêt autour de la bouche puis à attribuer une classification d'état de la bouche : neutre — discussion — bâillement.

Ces différents indicateurs statiques sont enregistrés sous une forme horodatée et le cas échéant géolocalisés dans une base de données locale, et sont transmis périodiquement au serveur.

Calcul d'indicateurs dynamiques de l'évolution temporelle des indicateurs statiques

Ces indicateurs statiques font l'objet de traitements pour calculer des indicateurs dynamiques d'évolution temporel, par exemple : o Nombre de clignotements des paupières o Durée de fermeture des paupières o Durée de fermeture et/ou d'ouverture de la bouche o Répartition des durées du regard par catégories de zones

Calcul d'un ou plusieurs indicateurs qualitatifs ou quantitatifs de l'état de vigilance-bloc (23)

Les indicateurs statiques notamment la pose de la tête, ainsi que les indicateurs dynamiques, sont exploités périodiquement pour calculer des indicateurs quantitatifs et/ou qualitatifs représentatifs de l'état de vigilance ou de somnolence (micro sommeil, distraction, ...), et commander le déclenchement d'alerte et d'affichage en cas de dépassement de valeurs-seuil.

Ces indicateur sont également transmis, sous une forme horodatée et géolocalisée, au serveur, pour permettre des traitements globaux des informations transmises par plusieurs équipements, pendant des plages de temps étendues, et fournir des données tels que les périodes ou les zones générant des niveaux de perte de vigilance de somnolence atypiques. L'équipement commande également l'affichage de l'évolution de l'état de vigilance sur un écran de visualisation. Ces informations visualisées peuvent être complétées par des données externes venant du serveur, pour une prédiction de zones de pertes de vigilances en fonction des données du serveur.

Les données externes sont également exploitées pour paramétrer les alertes et les algorithmes de calcul des indicateurs, par exemple pour adapter le niveau de sensibilité ou la fréquence de traitement.

Traitements par le serveur

Les données provenant de plusieurs systèmes embarqués peuvent être collectées périodiquement par un serveur, de manière asynchrone par exemple, soit forme d'ensemble de données comprenant, pour un échantillonnage d'instant d'acquisition : les points caractéristiques calculés en sortie du bloc (21) à partir des acquises par la caméra, les données transmises par les capteurs additionnels (GPS, accéléromètre, luminosité, température,...) 1'horodatage de ces données et l'association d'un identifiant de l'opérateur optionnellement les données brutes acquises par la caméra, et à partir desquelles les points caractéristiques ont été calculées.

Ces ensembles de données sont exploités sur le serveur pour trois finalités : l'optimisation des modèles tridimensionnels et des modèles de calcul des variables de calcul la constitution d'une base de référence des signes précurseurs de la somnolence ou de 1'hypovigilance la constitution d'une base de référence des zones temporelles et géographiques où se produisent de manière répétée des pertes de vigilance.

Ces informations sont retransmises périodiquement aux différents équipements embarqués : pour actualiser les modèles et variables de calcul pour enrichir les données traitées dans des zones géographiques et à des périodes temporelles particulières, pour déclencher des alertes et/ou pour paramétrer les traitements, notamment la sensibilité des traitements.

Ces informations peuvent aussi être transmises à des équipements fixes, par exemple des panneaux de signalisation, dont l'état varie en fonction des données transmises par le serveur, et le cas échéant de la proximité d'équipements embarqués et des signaux transmis.

Apprentissage du modèle

La constitution du modèle déformable est réalisée à un stade initial à partir d'une collection d'image fixe de visages, prises avec des personnes de morphologies différentes, dans des conditions de prise de vue différentes, et des orientations différentes. A partir de ces images, on procède à un pointage automatique ou manuel, pour chacune de ces images, de chacun des points caractéristiques reconnus, de la position de la tête et de l'expression, pour construire une base d'apprentissage. Cet ensemble de données fait ensuite l'objet d'un traitement statistique de type analyse en composantes principales pour construire un gabarit moyen associé à des modes de variation avec un écart type donnés pour fournir modèle numérique de détermination automatique des points caractéristiques et des orientations de la tête à partir d'une image inconnue.

Boitier multifonction

Selon une implémentation particulière, le système selon l'invention est intégré dans un boitier unique comprenant en outre un circuit de télépéage autoroutier.

Ce boitier est fixé sur le pare-brise en zone centrale, ou le voile de l'habitacle, dans le cône de détection des équipements de télépéage. Cette position est particulièrement adaptée pour l'acquisition du visage, car l'espace séparant le boîtier ainsi positionné du conducteur est dépourvu d'éléments susceptibles de masquer le champ optique.

Un tel boîtier à double fonction permet d'améliorer la sécurité de l'opérateur mais aussi des autres usagers, en offrant la possibilité d'inciter un conducteur dont le système à enregistrer un taux anormalement élevé de signaux de perte de vigilance à se reposer ou à ne pas franchir un nouveau tronçon de circulation.

Claims (15)

1. Revendications

   1 - Système de surveillance de l'état de vigilance d'un opérateur (2) comprenant : une caméra (1) munie d'un capteur sensible dans le proche infrarouge, orientée pour acquérir une image du visage occupant au moins 12% de la surface utile du capteur, un circuit de traitement en temps réel des signaux délivrés par ladite caméra (1), pour déterminer des points caractéristiques pour chacune desdites images et, par l'analyse desdits points caractéristiques, des informations relatives à une partie au moins des indicateurs comprenant : o l'inclinaison de la tête selon trois directions orthogonales, o la position de la pupille o l'ouverture de l'œil o la configuration de la bouche un calculateur commandé par un programme déterminant l'état de vigilance en fonction desdits indicateurs et de leur évolution temporelle Caractérisée en ce qui ledit système comporte : o une première mémoire permanente pour l'enregistrement d'une pluralité de fichiers FD± obtenus par un traitement préalable sur un ensemble d'image IA± et d'indicateur de qualification de l'appartenance de chacune desdites images VA± à une classe prédéterminée [vrai visage, visage qui n'en est pas un] o une deuxième mémoire permanente pour l'enregistrement d'une pluralité de fichiers FC± obtenus par un traitement préalable sur un ensemble d'images de visages V± associées à des annotations ledit circuit de traitement réalisant une étape de localisation, dans l'image numérique délivrée par la caméra, des zones correspondant au visage, par application d'un traitement de détection à partir desdits fichiers IA± ledit traitement pour déterminer des points caractéristiques par application d'un traitement de détection à partir desdits fichiers V± les informations relatives à l'état de la tête dudit opérateur (2) comprennent des indicateurs d'inclinaison de la tête selon trois directions orthogonales.
2. 2 — Système de surveillance de l'état de vigilance d'un opérateur selon la revendication 1 caractérisé en ce que ledit calculateur est en outre commandé par un programme pour la détection de la direction du regard et le calcul d'un indicateur additionnel.
3. 3 — Système de surveillance de l'état de vigilance d'un opérateur selon la revendication 1 ou 2 caractérisé en ce que la fréquence d'acquisition et de traitement est supérieure à 30 images par seconde.
4. 4 — Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications 1 à 3 caractérisé en ce que l'on procède à un enregistrement horodaté desdites indicateurs et en ce que l'évolution temporelle est calculée en fonction desdits enregistrements, sur une plage temporelle d'au moins deux secondes.
5. 5 — Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte un moyen d'alerte commandé à distance par ledit calculateur, activant un moyen haptique.
6. 6 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte un moyen d'alerte commandé par ledit calculateur, activant un moyen sonore.
7. 7 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte un moyen d'alerte commandé par ledit calculateur, activant un moyen lumineux.
8. 8 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre des capteurs d'environnement non liés audit opérateur délivrant un signal additionnelle pour le calcul de l'état de vigilance.
9. 9 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisées en ce qu'il comporte en outre au moins un capteur physiologique lié audit opérateur délivrant un signal additionnel pour le calcul de l'état de vigilance.
10. 10 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre des moyens de transmission desdites indicateurs à un serveur, et des moyens de calcul d'une information générique [non liée à un opérateur donné] sur des zones à risque.
11. 11 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre une troisième mémoire pour l'enregistrement de données provenant d'une pluralité d'équipements extérieurs et d'un serveur, pour l'enregistrement d'informations additionnelles pour le calcul de l'état de vigilance.
12. 12 - Système de surveillance de l'état de vigilance d'un opérateur selon la revendication 10 ou 11 caractérisé en ce que le serveur soit configuré pour recevoir en outre des données externes et pour transmettre des informations additionnelles à chaque équipement local.
13. 13 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre des moyens pour transmettre à un serveur d'une partie au moins des images acquises par la caméra, afin de compléter les fichiers FC±
14. 14 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre une source émettant dans le proche infrarouge pour éclairer le visage de l'opérateur.
15. 15 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisées en ce qu'il comporte en outre un circuit de télépéage.