FR3090172A1 - Procédé de détermination d’un niveau de vigilance d’un conducteur - Google Patents
Procédé de détermination d’un niveau de vigilance d’un conducteur Download PDFInfo
- Publication number
- FR3090172A1 FR3090172A1 FR1872827A FR1872827A FR3090172A1 FR 3090172 A1 FR3090172 A1 FR 3090172A1 FR 1872827 A FR1872827 A FR 1872827A FR 1872827 A FR1872827 A FR 1872827A FR 3090172 A1 FR3090172 A1 FR 3090172A1
- Authority
- FR
- France
- Prior art keywords
- driver
- head
- movement
- detected
- conductor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000036626 alertness Effects 0.000 claims abstract description 23
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 238000010191 image analysis Methods 0.000 claims abstract description 5
- 239000004020 conductor Substances 0.000 claims description 30
- 230000004886 head movement Effects 0.000 claims description 19
- 206010041349 Somnolence Diseases 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 55
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 208000032443 Masked facies Diseases 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Emergency Alarm Devices (AREA)
Abstract
La présente invention a pour objet un procédé de détermination d’un état de vigilance d’un conducteur dans un véhicule (1) à partir d’un algorithme prédéterminé d’analyse d’images. Le procédé comprend notamment une étape d’exécution de l’algorithme prédéterminé sur ladite séquence d’images générée afin de détecter une série comprenant au moins un mouvement de la tête du conducteur (2), une étape de détermination de la vitesse et/ou de l’amplitude de chaque mouvement identifié ainsi que des périodes dynamiques et statiques de la tête du conducteur, une étape de détection des périodes dynamiques et statiques de la tête du conducteur et de mesure de la fréquence et de la durée de chaque période et une étape de détermination d’un état de vigilance du conducteur (2) à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée. Figure pour l’abrégé : Fig. 1
Description
Description
Titre de l'invention : Procédé de détermination d’un niveau de vigilance d’un conducteur
Domaine technique
[0001] L’invention se rapporte au domaine de l’assistance à la conduite, manuelle ou autonome, d’un véhicule automobile et concerne, plus particulièrement, un calculateur et un procédé de détermination d’un niveau de vigilance d’un conducteur de véhicule. Technique antérieure
[0002] De nos jours, il est connu d’équiper certains véhicules automobiles d’un dispositif permettant la surveillance de l’état du conducteur du véhicule afin notamment de le prévenir s’il apparaît distrait ou s’il sombre dans un état de somnolence. Ce type de dispositif de surveillance comprend une caméra et un calculateur, qui traite les images générées par la caméra afin de déterminer le niveau de vigilance du conducteur. Le calculateur peut par exemple analyser le mouvement des yeux, de la tête ou du haut du corps du conducteur, la taille ou la forme de son visage, l’orientation et la posture de sa tête ou une combinaison de certains ou de l’ensemble de ces paramètres.
[0003] Dans une solution connue, le calculateur analyse le mouvement des yeux du conducteur, il peut notamment déterminer la fréquence de battement des paupières, l’amplitude de battement des paupières, la durée des battements de paupière, etc. Il compare ensuite ces valeurs à des intervalles de valeurs prédéterminés caractérisant des niveaux de vigilance du conducteur afin d’en déduire si ledit conducteur est éveillé et attentif, éveillé mais distrait ou somnolent et de l’alerter le cas échéant.
[0004] Ainsi, dans cette solution existante, le dispositif de surveillance est basé sur des mesures directes des caractéristiques du visage du conducteur, lesdites mesures étant réalisées par le calculateur. Cependant, ce type de dispositif présente des limites concernant sa capacité à mesurer l’ouverture des yeux et à détecter les mouvements réalisés par les pupilles. En effet, dans certains cas, par exemple lorsque le conducteur porte une paire de lunettes de soleil ou encore une casquette ou lorsque la luminosité est élevée, les différentes parties du visage (les yeux, la bouche, les oreilles...) sont difficilement visibles et différenciables par le calculateur sur la séquence d’images générées par la caméra. Ainsi, dans certains cas, les mouvements réalisés par chaque partie du visage, et notamment par les yeux, ne sont pas visibles ni exploitables, et le dispositif de surveillance se révèle donc inefficace.
[0005] De ce fait, le dispositif peut ne pas déclencher d’alerte alors que le conducteur est dans un état distrait ou somnolent, ce qui présente alors un risque pour la sécurité du conducteur.
Exposé de l’invention
[0006] Il existe donc le besoin d’une solution simple et efficace permettant de remédier au moins en partie à ces inconvénients.
[0007] La présente invention vise à proposer une solution simple, fiable et efficace permettant de déterminer le niveau de vigilance d’un conducteur de véhicule.
[0008] A cette fin, l’invention a pour objet un procédé de détermination d’un niveau de vigilance d’un conducteur dans un véhicule, notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra et un calculateur, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur, le procédé comprenant les étapes de:
[0009] - génération par la caméra d’une séquence d’images de la tête du conducteur,
[0010] - exécution de l’algorithme prédéterminé sur ladite séquence d’images générée afin de détecter une série comprenant au moins un mouvement de la tête du conducteur, [0011] - détermination d’au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée,
[0012] - comparaison de l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête,
[0013] - identification de chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée,
[0014] - détermination de la vitesse et/ou de l’amplitude de chaque mouvement identifié,
[0015] - détection des périodes dynamiques et statiques de la tête du conducteur et de mesure de la fréquence et de la durée de chaque période détectée,
[0016] - détermination d’un niveau de vigilance du conducteur à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée.
[0017] Le procédé selon l’invention permet de déterminer efficacement le niveau de vigilance du conducteur à partir des mouvements de tête, notamment de leur vitesse et/ ou de leur amplitude, et de l’analyse de la fréquence et la durée de chaque période d’activité et de fixation basée sur les mouvements de la tête, et ainsi d’alerter le conducteur en cas de risque de signe de somnolence ou de distraction. Ceci permet notamment de détecter un état distrait ou de somnolence du conducteur lorsque ce dernier a le visage en partie masqué (lunettes, casquette, etc.) et/ou que la luminosité est élevée.
[0018] De manière préférée, l’au moins un paramètre mesuré lors de la mise en œuvre du procédé comprend un angle de rotation de la tête du conducteur par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur par rapport à l’horizontale terrestre.
[0019] De préférence, l’au moins un paramètre mesuré lors de la mise en œuvre du procédé comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur et/ou la vitesse de la rotation ou de l’inclinaison de la tête du conducteur et/ou la durée de chaque mouvement et/ou la fréquence de chaque mouvement.
[0020] Les caractéristiques des paramètres cités dans ci-avant permettent au procédé de déterminer avec précision à quel mouvement de tête correspond chaque mouvement de tête de la série de mouvements.
[0021] De manière avantageuse, un état de somnolence du conducteur est détecté lorsque la fréquence de mouvement de la tête du conducteur par rapport à la verticale ou à l’horizontale terrestre est inférieure à un seuil dynamique prédéterminé qui, par exemple, est à 1 par défaut pour une fenêtre prédéfinie, par exemple de 30 secondes, puis à 3 par la suite. Ce seuil est caractéristique et fiable avec une mise à jour dynamique basée sur les paramètres caractéristiques de chaque mouvement de tête identifié. Les paramètres caractéristiques de chaque mouvement permettent d’identifier l’activité et l’inactivité du conducteur dans une fenêtre de temps, par exemple inférieure à 10 minutes, pour caractériser un état de somnolence.
[0022] Avantageusement, un état de somnolence du conducteur est détecté lorsqu’au moins une inclinaison de la tête du conducteur vers le bas par rapport à l’horizontale terrestre, de préférence avec une accélération qui caractérise un mouvement libre de la tête pendant une durée inférieure à 2 secondes, est détectée. Ce seuil est un autre seuil caractéristique et fiable permettant de détecter un état de somnolence.
[0023] De manière préférée, un état éveillé du conducteur est détecté lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre est déterminée dans une fenêtre de temps prédéfinie, par exemple dans les dernières 30 secondes, sans dégradation notable des caractéristiques de mouvements dans la fenêtre de temps, c’est-à-dire avec des caractéristiques similaires aux mouvements détectés quand le conducteur est éveillé, par exemple lorsque la fréquence de rotation de la tête du conducteur reste supérieure à 1 rotation par minute. Cette combinaison de paramètres est caractéristique et fiable afin de détecter un état éveillé.
[0024] De manière préférée, un état distrait du conducteur est détecté par le procédé lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes. Ce type de seuil est caractéristique et fiable d’un état distrait du conducteur.
[0025] L’invention concerne également un calculateur pour véhicule, notamment automobile, pour la détermination d’un niveau de vigilance d’un conducteur dudit véhicule à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur et étant configuré pour :
[0026] - recevoir une séquence d’images de la tête du conducteur générée par la caméra,
[0027] - exécuter l’algorithme prédéterminé sur ladite séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur,
[0028] - déterminer au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée,
[0029] - comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête,
[0030] - identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée,
[0031] - déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié,
[0032] - détecter les périodes dynamiques et statiques de la tête du conducteur et mesurer la fréquence et la durée de chaque période détectée,
[0033] - déterminer un niveau de vigilance du conducteur à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée.
[0034] Avantageusement, l’au moins un paramètre mesuré par le calculateur comprend un angle de rotation de la tête du conducteur par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur par rapport à l’horizontale terrestre.
[0035] De manière avantageuse, l’au moins un paramètre mesuré par le calculateur comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur et/ou la durée de chaque mouvement et/ou la fréquence de chaque mouvement.
[0036] De manière préférée, le calculateur détecte un état de somnolence du conducteur lorsque la fréquence de rotation de la tête du conducteur par rapport à la verticale terrestre est faible et que les caractéristiques de chaque mouvement sont inférieures en vitesse et accélération comparées aux mêmes mouvements réalisés à l’état éveillé.
[0037] Avantageusement, le calculateur est configuré pour détecter un état éveillé du conducteur lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou une inclinaison de la tête par rapport à la l’horizontale terrestre est déterminée.
[0038] De manière avantageuse, le calculateur est configuré pour détecter un état distrait du conducteur lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou une inclinaison de la tête par rapport à la l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes.
[0039] De manière analogue, le calculateur permet de déterminer avec précision et fiabilité le niveau de vigilance du conducteur.
[0040] L’invention concerne également un véhicule automobile comprenant une caméra configurée pour générer une séquence d’images de la tête du conducteur dudit véhicule et un calculateur, tel que présenté ci-avant, connecté à ladite caméra afin de recevoir ladite séquence d’images.
[0041] L’ajout de données relatives au véhicule, notamment l’angle du volant, la vitesse, l’accélération, le freinage et la durée du trajet améliore et rend l’algorithme plus précis dans l’estimation du niveau de vigilance du conducteur.
[0042] De telles données permettent de calibrer le début de la conduite et suivre la dégradation du niveau de vigilance du conducteur dans le temps basé sur les caractéristiques des mouvements de tête détectés.
[0043] De préférence, la fenêtre d’enregistrement des mouvements et ses caractéristiques avec le période d’activités et de fixation est de 5 minutes minimum. L’apprentissage et l’évolution dynamique de seuils personnalisés pour déterminer le niveau de vigilance du conducteur nécessitent une historique de minimum 5 minutes pour avoir un diagnostic robuste.
[0044] Avantageusement, la fenêtre d’analyse peut varier en fonction de nombre de mouvements détectés dans les instants précédents, par exemple pendant la dernière minute.
Brève description des dessins
[0045] D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.
[0046] [fig.l] illustre schématiquement une forme de réalisation du véhicule selon l’invention.
[0047] [fig.2] illustre schématiquement les trois axes permettant de définir les mouvements de la tête d’un conducteur en trois dimensions.
[0048] [fig.3] représente un mode de réalisation du procédé selon l’invention.
Description des modes de réalisation
[0049] Le calculateur selon l’invention est destiné à être monté dans un véhicule, notamment automobile, à conduite manuelle ou autonome, afin de détecter un défaut de vigilance (i.e. un défaut d’attention) du conducteur dudit véhicule et d’alerter ou d’activer la conduite automatique si nécessaire.
[0050] On a représenté schématiquement à la figure 1 un exemple de véhicule 1 selon l’invention. Le véhicule 1 comprend une caméra 11, un calculateur 12 et une interface 13.
[0051] La caméra 11 est, par exemple, placée derrière le volant ou sur le pare-brise avant du véhicule 1. Toute position de la caméra 11 est possible tant que le visage du conducteur 2 reste visible dans le champ de vision de la caméra 11.
[0052] La caméra 11 est configurée pour générer une séquence d’images de manière périodique, par exemple à une fréquence variant entre 10 et 200 images par secondes, représentant la tête du conducteur 2, notamment son visage. La séquence d’images générée est envoyée en temps réel au calculateur 12.
[0053] Le calculateur 12 est configuré pour recevoir et traiter en temps réel la séquence d’images générée par la caméra 11. Plus précisément, le calculateur 12 est configuré pour mettre en œuvre un algorithme de traitement d’images prédéterminé sur ladite séquence d’images reçue afin de déterminer le niveau de vigilance du conducteur 2.
[0054] Le niveau de vigilance du conducteur 2 caractérise l’état plus ou moins alerte du conducteur 2, notamment un état éveillé, un état distrait ou un état de somnolence.
[0055] L’algorithme prédéterminé est stocké dans une zone mémoire du calculateur 12 et est mis en œuvre à partir d’un ensemble comprenant un ou plusieurs paramètres relatifs à l’attitude du conducteur 2. Cet ensemble peut comprendre un ou plusieurs paramètres parmi : l’amplitude de rotation ou d’inclinaison de la tête du conducteur 2, la vitesse de rotation ou d’inclinaison de la tête du conducteur 2, la durée de chaque mouvement de la tête du conducteur 2 et la fréquence de chaque mouvement de la tête du conducteur 2, la durée de chaque période statique de la tête du conducteur 2 et leur fréquence.
[0056] Le véhicule 1 comprend en outre une interface 13, par exemple au niveau du tableau de bord du véhicule 1, permettant notamment d’afficher ou diffuser un message d’alerte à l’attention du conducteur lorsque son niveau de somnolence est supérieur à un seuil d’alerte prédéterminé.
[0057] En référence à la figure 2, par le terme « rotation », on entend la rotation de la tête du conducteur 2 par rapport à un axe X parallèle à la verticale terrestre (lacet). Par le terme « inclinaison », on entend l’inclinaison de la tête du conducteur 2 par rapport à un axe Y parallèle à l’horizontale terrestre (tangage) ou par rapport à un axe Z parallèle à la verticale terrestre (roulis).
[0058] L’algorithme prédéterminé permet de détecter, dans la séquence d’images reçue, une série comportant chaque mouvement de la tête du conducteur 2 puis de déterminer au moins une valeur pour chaque paramètre de l’ensemble de paramètre(s) relatif à chaque mouvement détecté dans la séquence d’images.
[0059] Le calculateur 12 est configuré pour comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête.
[0060] Le calculateur 12 est configuré pour identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée.
[0061] Le calculateur 12 est configuré pour déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié de la série.
[0062] Le calculateur 12 est configuré pour déterminer le niveau de vigilance du conducteur 2 à partir de la série détectée et de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement de la série.
[0063] Le calculateur 12 est configuré pour détecter les périodes dynamiques (activité) et statiques (fixation) de la tête du conducteur 2 et mesurer la fréquence et la durée de chaque période dynamique ou statique.
[0064] L’invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 3.
[0065] Tout d’abord, dans une étape E0, la caméra 12 génère une séquence d’images représentant la tête du conducteur 2 et envoie la séquence d’images générée au calculateur 12.
[0066] Le calculateur 12 exécute ensuite, dans une étape El, l’algorithme prédéterminé sur la séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur 2. L’algorithme détecte un mouvement basé sur le changement de l’angle de la tête comparé à l’horizontale et à la verticale terrestre. L’analyse de chaque mouvement permet de calculer les caractéristiques de chaque paramètre utilisé pour classifier le mouvement. Plus précisément, le calculateur 12 va caractériser chaque mouvement de tête du conducteur 2 dans la série détectée afin d’en identifier le type.
[0067] Ensuite, dans une étape E2, le calculateur 12 détermine au moins une valeur d’au moins un paramètre prédéterminé relatif à un mouvement de tête du conducteur 2. Autrement dit, le calculateur 12 détermine la valeur d’un ou de plusieurs paramètres de préférence parmi : l’angle de rotation de la tête du conducteur 2 par rapport à la verticale terrestre, l’angle d’inclinaison de la tête du conducteur 2 par rapport à l’horizontale terrestre, l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur 2, la vitesse de la rotation ou de l’inclinaison de la tête du conducteur 2, la durée de chaque mouvement et la fréquence de chaque mouvement, la durée par rapport au mouvement précèdent, la durée et l’accélération du front montant et descendant de la variation des angles pendant le mouvement, la durée totale du mouvement, la direction de la tête du conducteur 2 pendant le mouvement.
[0068] Une fois le ou les valeurs de paramètres déterminées, le calculateur 12 compare, dans une étape E3, la valeur déterminée pour chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre. Chaque intervalle prédéterminé de valeurs est caractéristique d’un type de mouvement de tête. Par exemple, la rotation de la tête du conducteur 2 lorsqu’il regarde le rétroviseur droit du véhicule 1 est caractérisée par un angle de rotation compris entre 30 et 60 degrés. Il en va de même pour tous les autres mouvements de tête (rotation et/ou inclinaison de la tête vers le rétroviseur gauche, vers le rétroviseur central, vers la fenêtre droite, vers la fenêtre gauche, vers le tableau de bord, etc.). On notera qu’un mouvement de tête donné peut être caractérisé par un ou plusieurs paramètres.
[0069] Après avoir réalisé ce ou ces comparaisons, le calculateur 12 identifie au fur et à mesure, dans une étape E4, chaque mouvement de tête effectué par le conducteur 2, c’est-à-dire détermine le type de mouvement effectué. De préférence, le calculateur 12 met à jour en parallèle l’historique de la série constituée des types de mouvements identifiés dans la séquence d’images reçue de la caméra 11, une telle séquence de type de mouvement traduisant le niveau de vigilance du conducteur 2.
[0070] Le calculateur 12 détermine, dans une étape E5, la vitesse et/ou de l’amplitude de chaque mouvement de tête identifié puis, dans une étape E6, détecte les périodes dynamiques et statiques de la tête du conducteur 2 et mesure la fréquence et la durée de chaque période détectée.
[0071] Dans une étape E7, le calculateur 12 détermine le niveau de vigilance du conducteur 2 à partir de la série de mouvements de tête identifiés et de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période dynamique ou statique détectée.
[0072] Les différents niveaux de vigilance sont définis de la façon suivante :
- un état de somnolence du conducteur 2 est détecté lorsque la fréquence de rotation de la tête du conducteur 2 par rapport à la verticale terrestre est très faible, par exemple inférieure à 1 rotation par minute, avec une dégradation des caractéristiques de vitesse et d’accélération pendant les mouvements visibles dans la fenêtre de temps étudiée,
- un état de somnolence du conducteur 2 est détecté lorsqu’au moins une inclinaison de la tête du conducteur 2 vers le bas (par rapport à l’horizontale terrestre) est détectée avec des paramètres spécifiques de mouvement libre des muscles de la tête quand le conducteur 2 est endormi (par exemple la vitesse, l’accélération, l’amplitude ou la durée des mouvements),
- un état éveillé du conducteur 2 est détecté lorsqu’au moins une rotation de la tête du conducteur 2 vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée dans les dernières 30 secondes et/ou que la fréquence de rotation de la tête du conducteur 2 reste supérieure à 1 rotation par minute sans dégradation visible des caractéristiques de mouvements dans la fenêtre de temps, un état distrait du conducteur 2 est détecté lorsqu’au moins une rotation de la tête du conducteur 2 vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes.
[0073] Enfin, le calculateur 12 alerte le conducteur 2, dans une étape E8, lorsqu’un état de somnolence ou de distraction du conducteur 2 est détecté. Par exemple, le calculateur 12 envoie une alerte sur l’interface 13. Cette alerte peut se présenter sous la forme d’un signal sonore ou d’un signal lumineux, par exemple un voyant. Cette étape permet de catégoriser l’attitude du conducteur 2 selon si le conducteur 2 est éveillé et attentif à la conduite, s’il est distrait ou s’il est en état de somnolence. Il peut y avoir plusieurs niveaux dans chaque catégorie.
[0074] Dans le cas où le véhicule 1 peut être piloté de manière automatique dans un mode autonome, le calculateur 12 pourrait commander le passage en mode de conduite autonome lorsque le conducteur 2 est distrait ou sombre dans un état de somnolence.
[0075] L’invention permet de déterminer le niveau de vigilance du conducteur 2 de manière fiable et efficace. L’invention permet notamment de s’adapter à chaque conducteur 2 de véhicule afin de déterminer son niveau de vigilance et de l’alerter en cas de problème le cas échéant.
Claims (1)
-
Revendications [Revendication 1] Procédé de détermination d’un niveau de vigilance d’un conducteur (2) dans un véhicule (1), notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule (1) comprenant une caméra (11) et un calculateur (12), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur (2), le procédé comprenant les étapes de : - génération (E0) par la caméra (11) d’une séquence d’images de la tête du conducteur (2), - exécution (El) de l’algorithme prédéterminé sur ladite séquence d’images générée afin de détecter une série comprenant au moins un mouvement de la tête du conducteur (2), - détermination (E2) d’au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée, - comparaison (E3) de l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête, - identification (E4) de chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée, - détermination (E5) de la vitesse et/ou de l’amplitude de chaque mouvement identifié, - détection (E6) des périodes dynamiques et statiques de la tête du conducteur (2) et de mesure de la fréquence et de la durée de chaque période détectée, - détermination (E7) d’un niveau de vigilance du conducteur (2) à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée. [Revendication 2] Procédé selon la revendication 1, dans lequel l’au moins un paramètre mesuré comprend un angle de rotation de la tête du conducteur (2) par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur (2) par rapport à l’horizontale terrestre. [Revendication 3] Procédé selon la revendication précédente, dans lequel l’au moins un paramètre mesuré comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur (2) et/ou la vitesse de la rotation ou de l’inclinaison de la tête du conducteur (2) et/ou la durée de chaque mouvement et/ou la fréquence de chaque mouvement. [Revendication 4] Procédé selon l’une quelconque des revendications précédentes, dans lequel un état de somnolence du conducteur (2) est détecté lorsque la fréquence de mouvement de la tête du conducteur (2) par rapport à la verticale ou à l’horizontale terrestre est inférieure à un seuil dynamique prédéterminé. [Revendication 5] Procédé selon quelconque l’une des revendications précédentes, dans lequel un état de somnolence du conducteur (2) est détecté lorsqu’au moins une inclinaison de la tête du conducteur (2) vers le bas par rapport à l’horizontale terrestre avec une accélération qui caractérise un mouvement libre de la tête pendant une durée inférieure à 2 secondes est détectée. [Revendication 6] Procédé selon l’une quelconque des revendications précédentes, dans lequel un état éveillé du conducteur (2) est détecté lorsqu’au moins une rotation de la tête du conducteur (2) vers la droite ou vers la gauche par rapport à la verticale terrestre est déterminée dans une fenêtre de temps prédéfinie sans dégradation notable des caractéristiques de mouvements. [Revendication 7] Procédé selon la revendication précédente, dans lequel un état distrait du conducteur (2) est détecté lorsqu’au moins une rotation de la tête du conducteur (2) vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée. [Revendication 8] Calculateur (12) de véhicule (1), notamment automobile, pour la détermination d’un niveau de vigilance d’un conducteur (2) dudit véhicule (1) à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule (1) comprenant une caméra (11), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur (2) et étant configuré pour : - recevoir une séquence d’images de la tête du conducteur (2) générée par la caméra (11), - exécuter l’algorithme prédéterminé sur ladite séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur (2), - déterminer au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée, - comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle pré- déterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête, - identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée, - déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié, - détecter les périodes dynamiques et statiques de la tête du conducteur (2) et mesurer la fréquence et la durée de chaque période détectée, - déterminer un niveau de vigilance du conducteur (2) à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée. [Revendication 9] Calculateur (12) selon la revendication précédente, dans lequel l’au moins un paramètre mesuré comprend un angle de rotation de la tête du conducteur (2) par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur (2) par rapport à l’horizontale terrestre. [Revendication 10] Véhicule (1) automobile comprenant une caméra (11) configurée pour générer une séquence d’images de la tête du conducteur (2) dudit véhicule (1) et un calculateur (12), selon l’une quelconque des revendications 8 ou 9, connecté à ladite caméra (11) afin de recevoir ladite séquence d’images. 1/3
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1872827A FR3090172B1 (fr) | 2018-12-13 | 2018-12-13 | Procédé de détermination d’un niveau de vigilance d’un conducteur |
| CN201980082492.4A CN113168757B (zh) | 2018-12-13 | 2019-12-13 | 确定驾驶者警惕水平的方法 |
| US17/297,750 US11893807B2 (en) | 2018-12-13 | 2019-12-13 | Method for determining a level of alertness of a driver |
| PCT/EP2019/085109 WO2020120751A1 (fr) | 2018-12-13 | 2019-12-13 | Procédé de détermination d'un niveau de vigilance d'un conducteur |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1872827A FR3090172B1 (fr) | 2018-12-13 | 2018-12-13 | Procédé de détermination d’un niveau de vigilance d’un conducteur |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3090172A1 true FR3090172A1 (fr) | 2020-06-19 |
| FR3090172B1 FR3090172B1 (fr) | 2020-11-20 |
Family
ID=66166249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1872827A Active FR3090172B1 (fr) | 2018-12-13 | 2018-12-13 | Procédé de détermination d’un niveau de vigilance d’un conducteur |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11893807B2 (fr) |
| CN (1) | CN113168757B (fr) |
| FR (1) | FR3090172B1 (fr) |
| WO (1) | WO2020120751A1 (fr) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1695310A1 (fr) * | 2003-11-30 | 2006-08-30 | Volvo Technology Corporation | Procede et systeme de reconnaissance de defaillances du conducteur |
| DE102016215291A1 (de) * | 2016-01-21 | 2017-07-27 | Robert Bosch Gmbh | Verfahren zur Klassifikation von Fahrerbewegungen |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59140134A (ja) | 1984-01-23 | 1984-08-11 | Seikosha Co Ltd | 居眠り防止装置 |
| FR2773521B1 (fr) | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
| JP2004017889A (ja) * | 2002-06-19 | 2004-01-22 | Advics:Kk | 自動ブレーキ装置 |
| EP2032034B1 (fr) | 2006-06-11 | 2020-04-01 | Volvo Truck Corporation | Procédé permettant de déterminer et d'analyser un emplacement d'intérêt visuel |
| US9292471B2 (en) * | 2011-02-18 | 2016-03-22 | Honda Motor Co., Ltd. | Coordinated vehicle response system and method for driver behavior |
| CN103442925B (zh) * | 2011-03-25 | 2016-08-17 | Tk控股公司 | 用于确定驾驶员警觉性的系统和方法 |
| CN103112352B (zh) | 2012-04-12 | 2016-05-04 | 重庆长安汽车股份有限公司 | 基于偏头监测的驾驶辅助系统 |
| TWI493511B (zh) | 2013-09-04 | 2015-07-21 | Ind Tech Res Inst | 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置 |
| KR101386823B1 (ko) | 2013-10-29 | 2014-04-17 | 김재철 | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 |
| JP6103383B2 (ja) | 2013-11-07 | 2017-03-29 | 株式会社デンソー | 車両運転評価システム |
| KR101483888B1 (ko) * | 2013-12-27 | 2015-01-16 | 현대다이모스(주) | 운전자 졸음 방지장치 |
| US20150346813A1 (en) * | 2014-06-03 | 2015-12-03 | Aaron Michael Vargas | Hands free image viewing on head mounted display |
| WO2017040519A1 (fr) * | 2015-08-31 | 2017-03-09 | Sri International | Procédé et système pour surveiller des comportements de conduite |
| JP6730096B2 (ja) | 2016-06-02 | 2020-07-29 | 株式会社Ｓｕｂａｒｕ | 乗員状態監視装置 |
| US10433094B2 (en) * | 2017-02-27 | 2019-10-01 | Philip Scott Lyren | Computer performance of executing binaural sound |
| CN106965675B (zh) * | 2017-04-26 | 2019-02-05 | 华迅金安（北京）科技有限公司 | 一种货车集群智能安全作业系统 |
| GB2576155A (en) | 2018-08-06 | 2020-02-12 | Ford Global Tech Llc | Obstacle detection systems |
-
2018
- 2018-12-13 FR FR1872827A patent/FR3090172B1/fr active Active
-
2019
- 2019-12-13 CN CN201980082492.4A patent/CN113168757B/zh active Active
- 2019-12-13 US US17/297,750 patent/US11893807B2/en active Active
- 2019-12-13 WO PCT/EP2019/085109 patent/WO2020120751A1/fr active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1695310A1 (fr) * | 2003-11-30 | 2006-08-30 | Volvo Technology Corporation | Procede et systeme de reconnaissance de defaillances du conducteur |
| DE102016215291A1 (de) * | 2016-01-21 | 2017-07-27 | Robert Bosch Gmbh | Verfahren zur Klassifikation von Fahrerbewegungen |
Non-Patent Citations (2)
| Title |
|---|
| HUABIAO QIN ET AL: "Detecting driver drowsiness and distraction via FFT", SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC), 2011 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 14 September 2011 (2011-09-14), pages 1 - 3, XP032065712, ISBN: 978-1-4577-0893-0, DOI: 10.1109/ICSPCC.2011.6061676 * |
| MITTAL AJAY ET AL: "Head movement-based driver drowsiness detection: A review of state-of-art techniques", 2016 IEEE INTERNATIONAL CONFERENCE ON ENGINEERING AND TECHNOLOGY (ICETECH), IEEE, 17 March 2016 (2016-03-17), pages 903 - 908, XP032962298, DOI: 10.1109/ICETECH.2016.7569378 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113168757B (zh) | 2022-12-20 |
| US11893807B2 (en) | 2024-02-06 |
| WO2020120751A1 (fr) | 2020-06-18 |
| US20220044037A1 (en) | 2022-02-10 |
| FR3090172B1 (fr) | 2020-11-20 |
| CN113168757A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10569650B1 (en) | System and method to monitor and alert vehicle operator of impairment | |
| US10343520B1 (en) | Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology | |
| US8930269B2 (en) | System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment | |
| FR3090171A1 (fr) | Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule | |
| EP3265334B1 (fr) | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile | |
| FR3010941A1 (fr) | Dispositif et procede d'aide a la conduite | |
| BRPI0712837A2 (pt) | mÉtodo e aparelho para determinaÇço e anÁlise de uma localizaÇço de interesse visual. | |
| FR3030789A1 (fr) | Procede de gestion d'un dispositif d'affichage tete haute et dispositif pour sa mise en oeuvre | |
| FR3048543A1 (fr) | Dispositif et methode de surveillance d'un conducteur d'un vehicule de transport | |
| FR3089328A1 (fr) | Dispositif et procédé de détection de la distraction d’un conducteur d’un véhicule | |
| FR2784887A1 (fr) | Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule | |
| KR102433668B1 (ko) | 운전자 모니터링 시스템 및 그 방법 | |
| FR3090172A1 (fr) | Procédé de détermination d’un niveau de vigilance d’un conducteur | |
| EP3000395B1 (fr) | Système et procédé de surveillance de l'oeil d'un sujet | |
| EP3409198B1 (fr) | Procédée pour la détection d'une situation à risque et d'alerte | |
| FR3012029A1 (fr) | Procede de detection de la baisse de vigilance du conducteur d'un vehicule automobile | |
| FR3054356A1 (fr) | Procede de determination d'un niveau d'eblouissement d'un conducteur de vehicule automobile | |
| EP3867126B1 (fr) | Procédé et dispositif d'aide à la conduite d'un véhicule automobile en phase de recul | |
| FR3080697B1 (fr) | Procede et dispositif de detection d'un clignement d'une paupiere | |
| EP3495998B1 (fr) | Procédé de détermination de l état d'un individu à partir du traitement d'images de sa tête et dispositif associé | |
| FR3065305A1 (fr) | Systeme d'aide a la conduite comportemental | |
| EP3465535B1 (fr) | Dispositif et méthode de surveillance d'un conducteur d'un véhicule de transport | |
| WO2024088981A1 (fr) | Procédé de détection d'un mouvement d'un corps | |
| FR3048175A1 (fr) | Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur | |
| FR3013002A1 (fr) | Procede d'aide a la decision par approche empirique et matricielle dans un systeme de surveillance de la pression des pneumatiques d'un vehicule automobile. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200619 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |