FR3090172A1 - Procédé de détermination d’un niveau de vigilance d’un conducteur - Google Patents

Procédé de détermination d’un niveau de vigilance d’un conducteur Download PDF

Info

Publication number
FR3090172A1
FR3090172A1 FR1872827A FR1872827A FR3090172A1 FR 3090172 A1 FR3090172 A1 FR 3090172A1 FR 1872827 A FR1872827 A FR 1872827A FR 1872827 A FR1872827 A FR 1872827A FR 3090172 A1 FR3090172 A1 FR 3090172A1
Authority
FR
France
Prior art keywords
driver
head
movement
detected
conductor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1872827A
Other languages
English (en)
Other versions
FR3090172B1 (fr
Inventor
Martin PETROV
Alain Giralt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Priority to FR1872827A priority Critical patent/FR3090172B1/fr
Priority to CN201980082492.4A priority patent/CN113168757B/zh
Priority to US17/297,750 priority patent/US11893807B2/en
Priority to PCT/EP2019/085109 priority patent/WO2020120751A1/fr
Publication of FR3090172A1 publication Critical patent/FR3090172A1/fr
Application granted granted Critical
Publication of FR3090172B1 publication Critical patent/FR3090172B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

La présente invention a pour objet un procédé de détermination d’un état de vigilance d’un conducteur dans un véhicule (1) à partir d’un algorithme prédéterminé d’analyse d’images. Le procédé comprend notamment une étape d’exécution de l’algorithme prédéterminé sur ladite séquence d’images générée afin de détecter une série comprenant au moins un mouvement de la tête du conducteur (2), une étape de détermination de la vitesse et/ou de l’amplitude de chaque mouvement identifié ainsi que des périodes dynamiques et statiques de la tête du conducteur, une étape de détection des périodes dynamiques et statiques de la tête du conducteur et de mesure de la fréquence et de la durée de chaque période et une étape de détermination d’un état de vigilance du conducteur (2) à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée. Figure pour l’abrégé : Fig. 1

Description

Description
Titre de l'invention : Procédé de détermination d’un niveau de vigilance d’un conducteur
Domaine technique
[0001] L’invention se rapporte au domaine de l’assistance à la conduite, manuelle ou autonome, d’un véhicule automobile et concerne, plus particulièrement, un calculateur et un procédé de détermination d’un niveau de vigilance d’un conducteur de véhicule. Technique antérieure
[0002] De nos jours, il est connu d’équiper certains véhicules automobiles d’un dispositif permettant la surveillance de l’état du conducteur du véhicule afin notamment de le prévenir s’il apparaît distrait ou s’il sombre dans un état de somnolence. Ce type de dispositif de surveillance comprend une caméra et un calculateur, qui traite les images générées par la caméra afin de déterminer le niveau de vigilance du conducteur. Le calculateur peut par exemple analyser le mouvement des yeux, de la tête ou du haut du corps du conducteur, la taille ou la forme de son visage, l’orientation et la posture de sa tête ou une combinaison de certains ou de l’ensemble de ces paramètres.
[0003] Dans une solution connue, le calculateur analyse le mouvement des yeux du conducteur, il peut notamment déterminer la fréquence de battement des paupières, l’amplitude de battement des paupières, la durée des battements de paupière, etc. Il compare ensuite ces valeurs à des intervalles de valeurs prédéterminés caractérisant des niveaux de vigilance du conducteur afin d’en déduire si ledit conducteur est éveillé et attentif, éveillé mais distrait ou somnolent et de l’alerter le cas échéant.
[0004] Ainsi, dans cette solution existante, le dispositif de surveillance est basé sur des mesures directes des caractéristiques du visage du conducteur, lesdites mesures étant réalisées par le calculateur. Cependant, ce type de dispositif présente des limites concernant sa capacité à mesurer l’ouverture des yeux et à détecter les mouvements réalisés par les pupilles. En effet, dans certains cas, par exemple lorsque le conducteur porte une paire de lunettes de soleil ou encore une casquette ou lorsque la luminosité est élevée, les différentes parties du visage (les yeux, la bouche, les oreilles...) sont difficilement visibles et différenciables par le calculateur sur la séquence d’images générées par la caméra. Ainsi, dans certains cas, les mouvements réalisés par chaque partie du visage, et notamment par les yeux, ne sont pas visibles ni exploitables, et le dispositif de surveillance se révèle donc inefficace.
[0005] De ce fait, le dispositif peut ne pas déclencher d’alerte alors que le conducteur est dans un état distrait ou somnolent, ce qui présente alors un risque pour la sécurité du conducteur.
Exposé de l’invention
[0006] Il existe donc le besoin d’une solution simple et efficace permettant de remédier au moins en partie à ces inconvénients.
[0007] La présente invention vise à proposer une solution simple, fiable et efficace permettant de déterminer le niveau de vigilance d’un conducteur de véhicule.
[0008] A cette fin, l’invention a pour objet un procédé de détermination d’un niveau de vigilance d’un conducteur dans un véhicule, notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra et un calculateur, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur, le procédé comprenant les étapes de:
[0009] - génération par la caméra d’une séquence d’images de la tête du conducteur,
[0010] - exécution de l’algorithme prédéterminé sur ladite séquence d’images générée afin de détecter une série comprenant au moins un mouvement de la tête du conducteur, [0011] - détermination d’au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée,
[0012] - comparaison de l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête,
[0013] - identification de chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée,
[0014] - détermination de la vitesse et/ou de l’amplitude de chaque mouvement identifié,
[0015] - détection des périodes dynamiques et statiques de la tête du conducteur et de mesure de la fréquence et de la durée de chaque période détectée,
[0016] - détermination d’un niveau de vigilance du conducteur à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée.
[0017] Le procédé selon l’invention permet de déterminer efficacement le niveau de vigilance du conducteur à partir des mouvements de tête, notamment de leur vitesse et/ ou de leur amplitude, et de l’analyse de la fréquence et la durée de chaque période d’activité et de fixation basée sur les mouvements de la tête, et ainsi d’alerter le conducteur en cas de risque de signe de somnolence ou de distraction. Ceci permet notamment de détecter un état distrait ou de somnolence du conducteur lorsque ce dernier a le visage en partie masqué (lunettes, casquette, etc.) et/ou que la luminosité est élevée.
[0018] De manière préférée, l’au moins un paramètre mesuré lors de la mise en œuvre du procédé comprend un angle de rotation de la tête du conducteur par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur par rapport à l’horizontale terrestre.
[0019] De préférence, l’au moins un paramètre mesuré lors de la mise en œuvre du procédé comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur et/ou la vitesse de la rotation ou de l’inclinaison de la tête du conducteur et/ou la durée de chaque mouvement et/ou la fréquence de chaque mouvement.
[0020] Les caractéristiques des paramètres cités dans ci-avant permettent au procédé de déterminer avec précision à quel mouvement de tête correspond chaque mouvement de tête de la série de mouvements.
[0021] De manière avantageuse, un état de somnolence du conducteur est détecté lorsque la fréquence de mouvement de la tête du conducteur par rapport à la verticale ou à l’horizontale terrestre est inférieure à un seuil dynamique prédéterminé qui, par exemple, est à 1 par défaut pour une fenêtre prédéfinie, par exemple de 30 secondes, puis à 3 par la suite. Ce seuil est caractéristique et fiable avec une mise à jour dynamique basée sur les paramètres caractéristiques de chaque mouvement de tête identifié. Les paramètres caractéristiques de chaque mouvement permettent d’identifier l’activité et l’inactivité du conducteur dans une fenêtre de temps, par exemple inférieure à 10 minutes, pour caractériser un état de somnolence.
[0022] Avantageusement, un état de somnolence du conducteur est détecté lorsqu’au moins une inclinaison de la tête du conducteur vers le bas par rapport à l’horizontale terrestre, de préférence avec une accélération qui caractérise un mouvement libre de la tête pendant une durée inférieure à 2 secondes, est détectée. Ce seuil est un autre seuil caractéristique et fiable permettant de détecter un état de somnolence.
[0023] De manière préférée, un état éveillé du conducteur est détecté lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre est déterminée dans une fenêtre de temps prédéfinie, par exemple dans les dernières 30 secondes, sans dégradation notable des caractéristiques de mouvements dans la fenêtre de temps, c’est-à-dire avec des caractéristiques similaires aux mouvements détectés quand le conducteur est éveillé, par exemple lorsque la fréquence de rotation de la tête du conducteur reste supérieure à 1 rotation par minute. Cette combinaison de paramètres est caractéristique et fiable afin de détecter un état éveillé.
[0024] De manière préférée, un état distrait du conducteur est détecté par le procédé lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes. Ce type de seuil est caractéristique et fiable d’un état distrait du conducteur.
[0025] L’invention concerne également un calculateur pour véhicule, notamment automobile, pour la détermination d’un niveau de vigilance d’un conducteur dudit véhicule à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur et étant configuré pour :
[0026] - recevoir une séquence d’images de la tête du conducteur générée par la caméra,
[0027] - exécuter l’algorithme prédéterminé sur ladite séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur,
[0028] - déterminer au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée,
[0029] - comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête,
[0030] - identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée,
[0031] - déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié,
[0032] - détecter les périodes dynamiques et statiques de la tête du conducteur et mesurer la fréquence et la durée de chaque période détectée,
[0033] - déterminer un niveau de vigilance du conducteur à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée.
[0034] Avantageusement, l’au moins un paramètre mesuré par le calculateur comprend un angle de rotation de la tête du conducteur par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur par rapport à l’horizontale terrestre.
[0035] De manière avantageuse, l’au moins un paramètre mesuré par le calculateur comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur et/ou la durée de chaque mouvement et/ou la fréquence de chaque mouvement.
[0036] De manière préférée, le calculateur détecte un état de somnolence du conducteur lorsque la fréquence de rotation de la tête du conducteur par rapport à la verticale terrestre est faible et que les caractéristiques de chaque mouvement sont inférieures en vitesse et accélération comparées aux mêmes mouvements réalisés à l’état éveillé.
[0037] Avantageusement, le calculateur est configuré pour détecter un état éveillé du conducteur lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou une inclinaison de la tête par rapport à la l’horizontale terrestre est déterminée.
[0038] De manière avantageuse, le calculateur est configuré pour détecter un état distrait du conducteur lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou une inclinaison de la tête par rapport à la l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes.
[0039] De manière analogue, le calculateur permet de déterminer avec précision et fiabilité le niveau de vigilance du conducteur.
[0040] L’invention concerne également un véhicule automobile comprenant une caméra configurée pour générer une séquence d’images de la tête du conducteur dudit véhicule et un calculateur, tel que présenté ci-avant, connecté à ladite caméra afin de recevoir ladite séquence d’images.
[0041] L’ajout de données relatives au véhicule, notamment l’angle du volant, la vitesse, l’accélération, le freinage et la durée du trajet améliore et rend l’algorithme plus précis dans l’estimation du niveau de vigilance du conducteur.
[0042] De telles données permettent de calibrer le début de la conduite et suivre la dégradation du niveau de vigilance du conducteur dans le temps basé sur les caractéristiques des mouvements de tête détectés.
[0043] De préférence, la fenêtre d’enregistrement des mouvements et ses caractéristiques avec le période d’activités et de fixation est de 5 minutes minimum. L’apprentissage et l’évolution dynamique de seuils personnalisés pour déterminer le niveau de vigilance du conducteur nécessitent une historique de minimum 5 minutes pour avoir un diagnostic robuste.
[0044] Avantageusement, la fenêtre d’analyse peut varier en fonction de nombre de mouvements détectés dans les instants précédents, par exemple pendant la dernière minute.
Brève description des dessins
[0045] D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.
[0046] [fig.l] illustre schématiquement une forme de réalisation du véhicule selon l’invention.
[0047] [fig.2] illustre schématiquement les trois axes permettant de définir les mouvements de la tête d’un conducteur en trois dimensions.
[0048] [fig.3] représente un mode de réalisation du procédé selon l’invention.
Description des modes de réalisation
[0049] Le calculateur selon l’invention est destiné à être monté dans un véhicule, notamment automobile, à conduite manuelle ou autonome, afin de détecter un défaut de vigilance (i.e. un défaut d’attention) du conducteur dudit véhicule et d’alerter ou d’activer la conduite automatique si nécessaire.
[0050] On a représenté schématiquement à la figure 1 un exemple de véhicule 1 selon l’invention. Le véhicule 1 comprend une caméra 11, un calculateur 12 et une interface 13.
[0051] La caméra 11 est, par exemple, placée derrière le volant ou sur le pare-brise avant du véhicule 1. Toute position de la caméra 11 est possible tant que le visage du conducteur 2 reste visible dans le champ de vision de la caméra 11.
[0052] La caméra 11 est configurée pour générer une séquence d’images de manière périodique, par exemple à une fréquence variant entre 10 et 200 images par secondes, représentant la tête du conducteur 2, notamment son visage. La séquence d’images générée est envoyée en temps réel au calculateur 12.
[0053] Le calculateur 12 est configuré pour recevoir et traiter en temps réel la séquence d’images générée par la caméra 11. Plus précisément, le calculateur 12 est configuré pour mettre en œuvre un algorithme de traitement d’images prédéterminé sur ladite séquence d’images reçue afin de déterminer le niveau de vigilance du conducteur 2.
[0054] Le niveau de vigilance du conducteur 2 caractérise l’état plus ou moins alerte du conducteur 2, notamment un état éveillé, un état distrait ou un état de somnolence.
[0055] L’algorithme prédéterminé est stocké dans une zone mémoire du calculateur 12 et est mis en œuvre à partir d’un ensemble comprenant un ou plusieurs paramètres relatifs à l’attitude du conducteur 2. Cet ensemble peut comprendre un ou plusieurs paramètres parmi : l’amplitude de rotation ou d’inclinaison de la tête du conducteur 2, la vitesse de rotation ou d’inclinaison de la tête du conducteur 2, la durée de chaque mouvement de la tête du conducteur 2 et la fréquence de chaque mouvement de la tête du conducteur 2, la durée de chaque période statique de la tête du conducteur 2 et leur fréquence.
[0056] Le véhicule 1 comprend en outre une interface 13, par exemple au niveau du tableau de bord du véhicule 1, permettant notamment d’afficher ou diffuser un message d’alerte à l’attention du conducteur lorsque son niveau de somnolence est supérieur à un seuil d’alerte prédéterminé.
[0057] En référence à la figure 2, par le terme « rotation », on entend la rotation de la tête du conducteur 2 par rapport à un axe X parallèle à la verticale terrestre (lacet). Par le terme « inclinaison », on entend l’inclinaison de la tête du conducteur 2 par rapport à un axe Y parallèle à l’horizontale terrestre (tangage) ou par rapport à un axe Z parallèle à la verticale terrestre (roulis).
[0058] L’algorithme prédéterminé permet de détecter, dans la séquence d’images reçue, une série comportant chaque mouvement de la tête du conducteur 2 puis de déterminer au moins une valeur pour chaque paramètre de l’ensemble de paramètre(s) relatif à chaque mouvement détecté dans la séquence d’images.
[0059] Le calculateur 12 est configuré pour comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête.
[0060] Le calculateur 12 est configuré pour identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée.
[0061] Le calculateur 12 est configuré pour déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié de la série.
[0062] Le calculateur 12 est configuré pour déterminer le niveau de vigilance du conducteur 2 à partir de la série détectée et de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement de la série.
[0063] Le calculateur 12 est configuré pour détecter les périodes dynamiques (activité) et statiques (fixation) de la tête du conducteur 2 et mesurer la fréquence et la durée de chaque période dynamique ou statique.
[0064] L’invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 3.
[0065] Tout d’abord, dans une étape E0, la caméra 12 génère une séquence d’images représentant la tête du conducteur 2 et envoie la séquence d’images générée au calculateur 12.
[0066] Le calculateur 12 exécute ensuite, dans une étape El, l’algorithme prédéterminé sur la séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur 2. L’algorithme détecte un mouvement basé sur le changement de l’angle de la tête comparé à l’horizontale et à la verticale terrestre. L’analyse de chaque mouvement permet de calculer les caractéristiques de chaque paramètre utilisé pour classifier le mouvement. Plus précisément, le calculateur 12 va caractériser chaque mouvement de tête du conducteur 2 dans la série détectée afin d’en identifier le type.
[0067] Ensuite, dans une étape E2, le calculateur 12 détermine au moins une valeur d’au moins un paramètre prédéterminé relatif à un mouvement de tête du conducteur 2. Autrement dit, le calculateur 12 détermine la valeur d’un ou de plusieurs paramètres de préférence parmi : l’angle de rotation de la tête du conducteur 2 par rapport à la verticale terrestre, l’angle d’inclinaison de la tête du conducteur 2 par rapport à l’horizontale terrestre, l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur 2, la vitesse de la rotation ou de l’inclinaison de la tête du conducteur 2, la durée de chaque mouvement et la fréquence de chaque mouvement, la durée par rapport au mouvement précèdent, la durée et l’accélération du front montant et descendant de la variation des angles pendant le mouvement, la durée totale du mouvement, la direction de la tête du conducteur 2 pendant le mouvement.
[0068] Une fois le ou les valeurs de paramètres déterminées, le calculateur 12 compare, dans une étape E3, la valeur déterminée pour chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre. Chaque intervalle prédéterminé de valeurs est caractéristique d’un type de mouvement de tête. Par exemple, la rotation de la tête du conducteur 2 lorsqu’il regarde le rétroviseur droit du véhicule 1 est caractérisée par un angle de rotation compris entre 30 et 60 degrés. Il en va de même pour tous les autres mouvements de tête (rotation et/ou inclinaison de la tête vers le rétroviseur gauche, vers le rétroviseur central, vers la fenêtre droite, vers la fenêtre gauche, vers le tableau de bord, etc.). On notera qu’un mouvement de tête donné peut être caractérisé par un ou plusieurs paramètres.
[0069] Après avoir réalisé ce ou ces comparaisons, le calculateur 12 identifie au fur et à mesure, dans une étape E4, chaque mouvement de tête effectué par le conducteur 2, c’est-à-dire détermine le type de mouvement effectué. De préférence, le calculateur 12 met à jour en parallèle l’historique de la série constituée des types de mouvements identifiés dans la séquence d’images reçue de la caméra 11, une telle séquence de type de mouvement traduisant le niveau de vigilance du conducteur 2.
[0070] Le calculateur 12 détermine, dans une étape E5, la vitesse et/ou de l’amplitude de chaque mouvement de tête identifié puis, dans une étape E6, détecte les périodes dynamiques et statiques de la tête du conducteur 2 et mesure la fréquence et la durée de chaque période détectée.
[0071] Dans une étape E7, le calculateur 12 détermine le niveau de vigilance du conducteur 2 à partir de la série de mouvements de tête identifiés et de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période dynamique ou statique détectée.
[0072] Les différents niveaux de vigilance sont définis de la façon suivante :
- un état de somnolence du conducteur 2 est détecté lorsque la fréquence de rotation de la tête du conducteur 2 par rapport à la verticale terrestre est très faible, par exemple inférieure à 1 rotation par minute, avec une dégradation des caractéristiques de vitesse et d’accélération pendant les mouvements visibles dans la fenêtre de temps étudiée,
- un état de somnolence du conducteur 2 est détecté lorsqu’au moins une inclinaison de la tête du conducteur 2 vers le bas (par rapport à l’horizontale terrestre) est détectée avec des paramètres spécifiques de mouvement libre des muscles de la tête quand le conducteur 2 est endormi (par exemple la vitesse, l’accélération, l’amplitude ou la durée des mouvements),
- un état éveillé du conducteur 2 est détecté lorsqu’au moins une rotation de la tête du conducteur 2 vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée dans les dernières 30 secondes et/ou que la fréquence de rotation de la tête du conducteur 2 reste supérieure à 1 rotation par minute sans dégradation visible des caractéristiques de mouvements dans la fenêtre de temps, un état distrait du conducteur 2 est détecté lorsqu’au moins une rotation de la tête du conducteur 2 vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes.
[0073] Enfin, le calculateur 12 alerte le conducteur 2, dans une étape E8, lorsqu’un état de somnolence ou de distraction du conducteur 2 est détecté. Par exemple, le calculateur 12 envoie une alerte sur l’interface 13. Cette alerte peut se présenter sous la forme d’un signal sonore ou d’un signal lumineux, par exemple un voyant. Cette étape permet de catégoriser l’attitude du conducteur 2 selon si le conducteur 2 est éveillé et attentif à la conduite, s’il est distrait ou s’il est en état de somnolence. Il peut y avoir plusieurs niveaux dans chaque catégorie.
[0074] Dans le cas où le véhicule 1 peut être piloté de manière automatique dans un mode autonome, le calculateur 12 pourrait commander le passage en mode de conduite autonome lorsque le conducteur 2 est distrait ou sombre dans un état de somnolence.
[0075] L’invention permet de déterminer le niveau de vigilance du conducteur 2 de manière fiable et efficace. L’invention permet notamment de s’adapter à chaque conducteur 2 de véhicule afin de déterminer son niveau de vigilance et de l’alerter en cas de problème le cas échéant.

Claims (1)

  1. Revendications [Revendication 1] Procédé de détermination d’un niveau de vigilance d’un conducteur (2) dans un véhicule (1), notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule (1) comprenant une caméra (11) et un calculateur (12), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur (2), le procédé comprenant les étapes de : - génération (E0) par la caméra (11) d’une séquence d’images de la tête du conducteur (2), - exécution (El) de l’algorithme prédéterminé sur ladite séquence d’images générée afin de détecter une série comprenant au moins un mouvement de la tête du conducteur (2), - détermination (E2) d’au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée, - comparaison (E3) de l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête, - identification (E4) de chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée, - détermination (E5) de la vitesse et/ou de l’amplitude de chaque mouvement identifié, - détection (E6) des périodes dynamiques et statiques de la tête du conducteur (2) et de mesure de la fréquence et de la durée de chaque période détectée, - détermination (E7) d’un niveau de vigilance du conducteur (2) à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée. [Revendication 2] Procédé selon la revendication 1, dans lequel l’au moins un paramètre mesuré comprend un angle de rotation de la tête du conducteur (2) par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur (2) par rapport à l’horizontale terrestre. [Revendication 3] Procédé selon la revendication précédente, dans lequel l’au moins un paramètre mesuré comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur (2) et/ou la vitesse de la rotation ou de l’inclinaison de la tête du conducteur (2) et/ou la durée de chaque
    mouvement et/ou la fréquence de chaque mouvement. [Revendication 4] Procédé selon l’une quelconque des revendications précédentes, dans lequel un état de somnolence du conducteur (2) est détecté lorsque la fréquence de mouvement de la tête du conducteur (2) par rapport à la verticale ou à l’horizontale terrestre est inférieure à un seuil dynamique prédéterminé. [Revendication 5] Procédé selon quelconque l’une des revendications précédentes, dans lequel un état de somnolence du conducteur (2) est détecté lorsqu’au moins une inclinaison de la tête du conducteur (2) vers le bas par rapport à l’horizontale terrestre avec une accélération qui caractérise un mouvement libre de la tête pendant une durée inférieure à 2 secondes est détectée. [Revendication 6] Procédé selon l’une quelconque des revendications précédentes, dans lequel un état éveillé du conducteur (2) est détecté lorsqu’au moins une rotation de la tête du conducteur (2) vers la droite ou vers la gauche par rapport à la verticale terrestre est déterminée dans une fenêtre de temps prédéfinie sans dégradation notable des caractéristiques de mouvements. [Revendication 7] Procédé selon la revendication précédente, dans lequel un état distrait du conducteur (2) est détecté lorsqu’au moins une rotation de la tête du conducteur (2) vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée. [Revendication 8] Calculateur (12) de véhicule (1), notamment automobile, pour la détermination d’un niveau de vigilance d’un conducteur (2) dudit véhicule (1) à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule (1) comprenant une caméra (11), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur (2) et étant configuré pour : - recevoir une séquence d’images de la tête du conducteur (2) générée par la caméra (11), - exécuter l’algorithme prédéterminé sur ladite séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur (2), - déterminer au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée, - comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle pré-
    déterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête, - identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée, - déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié, - détecter les périodes dynamiques et statiques de la tête du conducteur (2) et mesurer la fréquence et la durée de chaque période détectée, - déterminer un niveau de vigilance du conducteur (2) à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée. [Revendication 9] Calculateur (12) selon la revendication précédente, dans lequel l’au moins un paramètre mesuré comprend un angle de rotation de la tête du conducteur (2) par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur (2) par rapport à l’horizontale terrestre. [Revendication 10] Véhicule (1) automobile comprenant une caméra (11) configurée pour générer une séquence d’images de la tête du conducteur (2) dudit véhicule (1) et un calculateur (12), selon l’une quelconque des revendications 8 ou 9, connecté à ladite caméra (11) afin de recevoir ladite séquence d’images.
    1/3
FR1872827A 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de vigilance d’un conducteur Active FR3090172B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR1872827A FR3090172B1 (fr) 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de vigilance d’un conducteur
CN201980082492.4A CN113168757B (zh) 2018-12-13 2019-12-13 确定驾驶者警惕水平的方法
US17/297,750 US11893807B2 (en) 2018-12-13 2019-12-13 Method for determining a level of alertness of a driver
PCT/EP2019/085109 WO2020120751A1 (fr) 2018-12-13 2019-12-13 Procédé de détermination d'un niveau de vigilance d'un conducteur

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1872827A FR3090172B1 (fr) 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de vigilance d’un conducteur

Publications (2)

Publication Number Publication Date
FR3090172A1 true FR3090172A1 (fr) 2020-06-19
FR3090172B1 FR3090172B1 (fr) 2020-11-20

Family

ID=66166249

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1872827A Active FR3090172B1 (fr) 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de vigilance d’un conducteur

Country Status (4)

Country Link
US (1) US11893807B2 (fr)
CN (1) CN113168757B (fr)
FR (1) FR3090172B1 (fr)
WO (1) WO2020120751A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1695310A1 (fr) * 2003-11-30 2006-08-30 Volvo Technology Corporation Procede et systeme de reconnaissance de defaillances du conducteur
DE102016215291A1 (de) * 2016-01-21 2017-07-27 Robert Bosch Gmbh Verfahren zur Klassifikation von Fahrerbewegungen

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59140134A (ja) 1984-01-23 1984-08-11 Seikosha Co Ltd 居眠り防止装置
FR2773521B1 (fr) 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP2004017889A (ja) * 2002-06-19 2004-01-22 Advics:Kk 自動ブレーキ装置
EP2032034B1 (fr) 2006-06-11 2020-04-01 Volvo Truck Corporation Procédé permettant de déterminer et d'analyser un emplacement d'intérêt visuel
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
CN103442925B (zh) * 2011-03-25 2016-08-17 Tk控股公司 用于确定驾驶员警觉性的系统和方法
CN103112352B (zh) 2012-04-12 2016-05-04 重庆长安汽车股份有限公司 基于偏头监测的驾驶辅助系统
TWI493511B (zh) 2013-09-04 2015-07-21 Ind Tech Res Inst 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置
KR101386823B1 (ko) 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
JP6103383B2 (ja) 2013-11-07 2017-03-29 株式会社デンソー 車両運転評価システム
KR101483888B1 (ko) * 2013-12-27 2015-01-16 현대다이모스(주) 운전자 졸음 방지장치
US20150346813A1 (en) * 2014-06-03 2015-12-03 Aaron Michael Vargas Hands free image viewing on head mounted display
WO2017040519A1 (fr) * 2015-08-31 2017-03-09 Sri International Procédé et système pour surveiller des comportements de conduite
JP6730096B2 (ja) 2016-06-02 2020-07-29 株式会社Subaru 乗員状態監視装置
US10433094B2 (en) * 2017-02-27 2019-10-01 Philip Scott Lyren Computer performance of executing binaural sound
CN106965675B (zh) * 2017-04-26 2019-02-05 华迅金安(北京)科技有限公司 一种货车集群智能安全作业系统
GB2576155A (en) 2018-08-06 2020-02-12 Ford Global Tech Llc Obstacle detection systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1695310A1 (fr) * 2003-11-30 2006-08-30 Volvo Technology Corporation Procede et systeme de reconnaissance de defaillances du conducteur
DE102016215291A1 (de) * 2016-01-21 2017-07-27 Robert Bosch Gmbh Verfahren zur Klassifikation von Fahrerbewegungen

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUABIAO QIN ET AL: "Detecting driver drowsiness and distraction via FFT", SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC), 2011 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 14 September 2011 (2011-09-14), pages 1 - 3, XP032065712, ISBN: 978-1-4577-0893-0, DOI: 10.1109/ICSPCC.2011.6061676 *
MITTAL AJAY ET AL: "Head movement-based driver drowsiness detection: A review of state-of-art techniques", 2016 IEEE INTERNATIONAL CONFERENCE ON ENGINEERING AND TECHNOLOGY (ICETECH), IEEE, 17 March 2016 (2016-03-17), pages 903 - 908, XP032962298, DOI: 10.1109/ICETECH.2016.7569378 *

Also Published As

Publication number Publication date
CN113168757B (zh) 2022-12-20
US11893807B2 (en) 2024-02-06
WO2020120751A1 (fr) 2020-06-18
US20220044037A1 (en) 2022-02-10
FR3090172B1 (fr) 2020-11-20
CN113168757A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US10569650B1 (en) System and method to monitor and alert vehicle operator of impairment
US10343520B1 (en) Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology
US8930269B2 (en) System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
FR3090171A1 (fr) Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule
EP3265334B1 (fr) Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile
FR3010941A1 (fr) Dispositif et procede d'aide a la conduite
BRPI0712837A2 (pt) mÉtodo e aparelho para determinaÇço e anÁlise de uma localizaÇço de interesse visual.
FR3030789A1 (fr) Procede de gestion d'un dispositif d'affichage tete haute et dispositif pour sa mise en oeuvre
FR3048543A1 (fr) Dispositif et methode de surveillance d'un conducteur d'un vehicule de transport
FR3089328A1 (fr) Dispositif et procédé de détection de la distraction d’un conducteur d’un véhicule
FR2784887A1 (fr) Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
KR102433668B1 (ko) 운전자 모니터링 시스템 및 그 방법
FR3090172A1 (fr) Procédé de détermination d’un niveau de vigilance d’un conducteur
EP3000395B1 (fr) Système et procédé de surveillance de l'oeil d'un sujet
EP3409198B1 (fr) Procédée pour la détection d'une situation à risque et d'alerte
FR3012029A1 (fr) Procede de detection de la baisse de vigilance du conducteur d'un vehicule automobile
FR3054356A1 (fr) Procede de determination d'un niveau d'eblouissement d'un conducteur de vehicule automobile
EP3867126B1 (fr) Procédé et dispositif d'aide à la conduite d'un véhicule automobile en phase de recul
FR3080697B1 (fr) Procede et dispositif de detection d'un clignement d'une paupiere
EP3495998B1 (fr) Procédé de détermination de l état d'un individu à partir du traitement d'images de sa tête et dispositif associé
FR3065305A1 (fr) Systeme d'aide a la conduite comportemental
EP3465535B1 (fr) Dispositif et méthode de surveillance d'un conducteur d'un véhicule de transport
WO2024088981A1 (fr) Procédé de détection d'un mouvement d'un corps
FR3048175A1 (fr) Dispositif et procede de detection d'un etat de distraction cognitive d'un conducteur
FR3013002A1 (fr) Procede d'aide a la decision par approche empirique et matricielle dans un systeme de surveillance de la pression des pneumatiques d'un vehicule automobile.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20200619

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6