FR3090171A1 - Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule - Google Patents

Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule Download PDF

Info

Publication number
FR3090171A1
FR3090171A1 FR1872824A FR1872824A FR3090171A1 FR 3090171 A1 FR3090171 A1 FR 3090171A1 FR 1872824 A FR1872824 A FR 1872824A FR 1872824 A FR1872824 A FR 1872824A FR 3090171 A1 FR3090171 A1 FR 3090171A1
Authority
FR
France
Prior art keywords
driver
predetermined
parameter
computer
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1872824A
Other languages
English (en)
Other versions
FR3090171B1 (fr
Inventor
Alain Giralt
Martin PETROV
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Priority to FR1872824A priority Critical patent/FR3090171B1/fr
Priority to US17/296,783 priority patent/US20220027646A1/en
Priority to CN201980082525.5A priority patent/CN113168758B/zh
Priority to PCT/EP2019/085147 priority patent/WO2020120760A1/fr
Priority to EP19829064.5A priority patent/EP3895142A1/fr
Publication of FR3090171A1 publication Critical patent/FR3090171A1/fr
Application granted granted Critical
Publication of FR3090171B1 publication Critical patent/FR3090171B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

La présente invention a pour objet un procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule automobile à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra (11) et un calculateur (12), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le procédé, mis en œuvre par le calculateur (12), comprenant une phase d’apprentissage (PH1) et une phase de surveillance (PH2) de l’état du conducteur. Figure pour l’abrégé : Fig. 2

Description

Description
Titre de l'invention : Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule
Domaine technique
[0001] L’invention se rapporte au domaine de l’assistance à la conduite d’un véhicule automobile, à conduite manuelle ou autonome, et concerne, plus particulièrement, un dispositif et un procédé de surveillance d’un conducteur de véhicule afin notamment de déclencher une alerte ou d’activer un mode de conduite automatique en cas de somnolence ou de distraction.
Technique antérieure
[0002] De nos jours, il est connu d’équiper certains véhicules automobiles d’un dispositif de surveillance permettant d’alerter le conducteur s’il apparaît distrait ou s’il sombre dans un état de somnolence. Ce type de dispositif de surveillance comprend une caméra et un calculateur, qui traite les images générées par la caméra et alerte le conducteur en cas de somnolence ou de distraction. Le calculateur analyse par exemple le mouvement des yeux, de la tête ou du haut du corps du conducteur, les expressions de son visage, l’orientation de sa tête ou une combinaison de certains ou de l’ensemble de ces paramètres.
[0003] Dans une solution connue, le calculateur analyse ces paramètres pendant une durée donnée. Par exemple, lorsque le calculateur analyse les yeux du conducteur, il peut notamment déterminer la fréquence de clignement des paupières, l’amplitude des clignements de paupière, la durée des clignements des paupières, etc. Il compare ensuite ces valeurs à un seuil ou un intervalle de valeurs prédéterminés caractérisant un état éveillé afin d’en déduire si le conducteur est éveillé, distrait ou somnolent et de l’alerter le cas échéant. Par exemple, si la durée des clignements de paupières est inférieure à 350 ms, le calculateur en déduit que le conducteur est à l’état éveillé mais si la durée des clignements de paupières est supérieure à 350 ms, le calculateur en déduit que l’état de somnolence du conducteur augmente.
[0004] Dans les solutions existantes, les seuils ou intervalles de valeurs caractérisant un état éveillé sont prédéterminés en usine et stockés dans une zone mémoire du calculateur de sorte à être utilisés pour tous les conducteurs.
[0005] Cependant, on constate qu’il existe une disparité entre les réactions et attitudes de chaque conducteur, notamment par rapport à la somnolence. En effet, par exemple, la fréquence, l’amplitude et la durée des clignements des paupières peuvent être significativement différentes d’un conducteur à un autre.
[0006] De ce fait, le dispositif peut déclencher des alertes, ce qui présente un inconvénient notable, ou au contraire ne pas déclencher d’alerte alors que le conducteur est dans un état distrait ou somnolent, ce qui présente alors un inconvénient majeur.
[0007] Il existe donc le besoin d’une solution permettant de remédier au moins en partie à ces inconvénients.
Exposé de l’invention
[0008] La présente invention vise à proposer une solution simple, fiable et efficace de détection d’un niveau de somnolence d’un conducteur de véhicule.
[0009] A cette fin, l’invention a tout d’abord pour objet un procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule, notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra et un calculateur, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le procédé, mis en œuvre par le calculateur, comprenant :
- une phase d’apprentissage réalisée pendant une durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule, comprenant les étapes de :
• génération par la caméra d’une séquence d’images consécutives (par exemple 10, 15, 20, 25, 30, 45, 60 ... jusqu’à 200 images par seconde) du conducteur, • détermination d’au moins un point caractéristique, de préférence une pluralité de points caractéristiques (par exemple, le coin des yeux, la position de la pupille, etc.), des images de la séquence d’images générée, • exécution de l’algorithme prédéterminé sur l’au moins un point caractéristique des images de la séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle par le calculateur afin de réaliser une pluralité de diagnostics, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, • détermination d’un degré de pertinence différent pour chaque algorithme réalisé, les degrés de pertinence étant différents entre eux, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins, afin d’identifier les réactions et attitude du conducteur en question, notamment par rapport à la somnolence et fatigue,
- une fois la phase d’apprentissage terminée, une phase de surveillance de l’état du conducteur comprenant les étapes de:
• génération par la caméra d’une séquence d’images du conducteur, • exécution de l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre réalisée par le calculateur à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, • détermination d’un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre.
[0010] Par les termes « en parallèle », on entend ici, de manière connue, que les mises en œuvre sont réalisées simultanément.
[0011] Le procédé selon l’invention permet avantageusement de déterminer le niveau de somnolence d’un conducteur de véhicule (inversement proportionnel à son niveau d’attention), en fonction de paramètres et de valeurs de paramètres propres audit conducteur.
[0012] Selon un aspect de l’invention, le procédé comprend une étape d’alerte du conducteur lorsque le niveau de somnolence déterminé est supérieur à un seuil prédéterminé. Le procédé permet ainsi d’alerter le conducteur en cas de niveau de somnolence ou d’attention faible).
[0013] De manière préférée, le procédé comprend, une étape d’alerte, postérieurement à la détection d’un fort niveau de somnolence du conducteur.
[0014] Une telle alerte peut consister en l’une ou en une combinaison des moyens d’alerte suivants : signal lumineux, signal sonore (par exemple l’alarme du véhicule), message d’alerte diffusé sur un écran du véhicule ou envoyé à un dispositif externe, par exemple un smartphone, une vibration du siège ou des actionneurs (volant ou pédales).
[0015] De manière préférée, la durée prédéterminée de la phase d’apprentissage du procédé est comprise entre 5 et 20 minutes.
[0016] Une telle durée permet de générer par la caméra, une séquence d’images suffisamment fournie en images pour être analysée afin d’en retirer des informations fiables concernant le comportement du conducteur, et déterminer des ensembles de paramètres ou de valeurs de paramètres caractéristiques dudit conducteur.
[0017] De préférence, la durée prédéterminée de la phase d’apprentissage du procédé est in férieure à 20 minutes. Une telle durée est suffisante pour obtenir les informations souhaitées concernant le conducteur, autrement dit déterminer des ensembles de paramètres ou de valeurs de paramètres caractéristiques dudit conducteur, et commencer la phase de surveillance, pour déterminer le niveau de somnolence du conducteur en temps réel.
[0018] De manière avantageuse, l’au moins un paramètre de chaque ensemble utilisé dans le procédé, est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux. Ces paramètres sont des paramètres simples pour la détection de niveaux de somnolence du conducteur.
[0019] Avantageusement, l’exécution de l’algorithme prédéterminé réalisée dans la phase de surveillance, est réalisée selon une pluralité de mises en œuvre en parallèle. Chaque mise en œuvre de l’algorithme fournit des indicateurs et des analyses différentes qui complètent la majorité des états possibles chez les conducteurs. Une seule mise en œuvre de l’algorithme ne peut pas résoudre toutes les possibilités pour détecter le niveau de la somnolence du conducteur. La nécessité d’avoir une mise en œuvre en parallèle de l’algorithme avec des seuils et paramètres différents couvre la majorité des évènements et peut fournir la meilleure alerte en temps réel pour le conducteur.
[0020] De manière avantageuse, la phase de surveillance peut comprendre, une étape de mise à jour du degré de pertinence pour chaque mise en œuvre de l’algorithme réalisée, les degrés de pertinence restant différents entre eux, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins, afin d’identifier les réactions et attitude du conducteur en question, notamment par rapport à la somnolence et la fatigue.
[0021] L’invention concerne également un calculateur de véhicule, notamment automobile, permettant la détermination d’un niveau de somnolence d’un conducteur dudit véhicule à partir d’un algorithme prédéterminé d’analyse d’images, le véhicule comprenant une caméra, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le calculateur étant configuré pour :
- lors d’une phase d’apprentissage réalisée pendant une durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule :
• recevoir une séquence d’images du conducteur générée par la caméra, par exemple 10, 15, 20, 25, 30, 45, 60 ... jusqu’à 200 images par seconde, • exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, • déterminer un degré de pertinence différent pour chaque ensemble utilisé, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins,
- une fois la phase d’apprentissage terminée, lors d’une phase de surveillance de l’état du conducteur:
• recevoir une séquence d’images du conducteur générée par la caméra, • exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, • déterminer un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre.
[0022] Le calculateur selon l’invention permet avantageusement de déterminer le niveau de somnolence d’un conducteur de véhicule, en fonction de paramètres et de valeurs de paramètres propres audit conducteur. Le calculateur permet ainsi d’alerter le conducteur en cas de niveau de somnolence élevée dudit conducteur.
[0023] De manière préférée, la durée prédéterminée de la phase d’apprentissage est comprise entre 5 et 20 minutes.
[0024] Une telle durée est suffisante pour obtenir les informations souhaitées concernant le conducteur, autrement déterminer des ensembles de paramètres ou de valeurs de paramètres caractéristiques dudit conducteur, et commencer la phase de surveillance, pour déterminer le niveau de somnolence du conducteur en temps réel. Ces paramètres sont des paramètres simples pour la détection de niveaux de somnolence de conducteur.
[0025] De manière avantageuse, l’au moins un paramètre de chaque ensemble utilisé par le calculateur est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux.
[0026] De préférence, l’exécution de l’algorithme prédéterminé réalisée par le calculateur dans l’étape d’exécution de la phase de surveillance, est réalisée selon une pluralité de mises en œuvre en parallèle. Chaque mise en œuvre fournit des indicateurs et des analyses différentes qui complètent la majorité des états possibles chez les conducteurs. Une seule mise en œuvre ne peut pas résoudre toutes les possibilités pour détecter le niveau de la somnolence ou attention du conducteur. La nécessité d’avoir une mise en œuvre en parallèle de l’algorithme avec des seuils et des paramètres différents couvre la majorité des évènements et peut fournir la meilleure alerte en temps réel pour le conducteur.
[0027] L’invention concerne également un véhicule, notamment automobile, comprenant une caméra configurée pour générer une séquence d’images et un calculateur, tel que décrit précédemment, relié à ladite caméra afin de recevoir ladite séquence d’images. Brève description des dessins
[0028] D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.
[0029] [fig.l] illustre schématiquement une forme de réalisation du véhicule selon l’invention.
[0030] [fig.2] représente un mode de réalisation du procédé selon l’invention.
Description des modes de réalisation
[0031] Le calculateur selon l’invention est destiné à être monté dans un véhicule, notamment automobile, à conduite manuelle ou autonome, afin de déterminer un niveau de somnolence du conducteur dudit véhicule et l’alerter ou activer la conduite automatique si nécessaire. Le niveau de somnolence peut correspondre à un état (endormi, peu concentré, alerte...) ou un niveau quantifié, par exemple alphanumériquement, afin de définir des niveaux traduisant des granularités de somnolence (par exemple, niveau 1 pour un conducteur alerte, niveau 2 pour un conducteur peu concentré, niveau 3 pour un conducteur en cours d’endormissement, niveau 4 pour un conducteur endormi...).
[0032] En référence à la figure 1, le dispositif comprend une caméra 11 installée dans le véhicule 1, qui filme le conducteur et un calculateur 12, également embarqué dans le véhicule 1, qui traite les images générées par la caméra 11.
[0033] La caméra 11 est, par exemple, placée derrière le volant du conducteur et permet de générer une séquence d’images de manière périodique, par exemple 10, 15, 20, 25, 30, 45, 60 ... jusqu’à 200 images par seconde, représentant le conducteur, de préférence son visage. La séquence d’images est envoyée en temps réel au calculateur 12 afin que ledit calculateur 12 analyse lesdites images.
[0034] Le calculateur 12 est configuré pour mettre en œuvre un algorithme prédéterminé, sur ladite séquence d’images générée, notamment sur un ou plusieurs points caractéristiques (par exemple, le coin des yeux, la position de la pupille, etc.) des images de la séquence d’images reçue, qu’il a déterminés dans les images, afin de déterminer le niveau de somnolence du conducteur, c’est-à-dire, de déterminer si le conducteur est somnolent pendant la conduite du véhicule 1 et/ou s’il est en état de somnolence ou de distraction.
[0035] L’algorithme prédéterminé est mis en œuvre à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur au volant. Ce ou ces paramètres peuvent être par exemple la fréquence des clignements de paupières du conducteur, la durée des clignements des paupières du conducteur, la hauteur de l’ouverture des paupières du conducteur, la position de certains éléments du visage (comme par exemple les oreilles, la bouche, le nez, etc.), la forme ou la taille du contour du visage du conducteur (dans le cas où la taille du contour du visage est faible, cela signifie que le conducteur est de face, et importante, que le conducteur est de profil), l’activité du visage du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux etc. Par ailleurs, la valeur de chaque paramètre est aussi modifiable.
[0036] Chaque mise en œuvre de l’algorithme est exécutée en temps réel avec une configuration des valeurs différente pour les seuils décisionnels. Afin d’avoir une fonction robuste qui donnera l’alerte de somnolence du conducteur et rendre ainsi le procédé adaptatif à chaque conducteur, il faut regarder les sorties de qualité pour chaque configuration différente. En fonction des phases d’apprentissage, chaque seuil sera modifié et personnalisé pour le conducteur en question en fonction de son comportement. L’ouverture des yeux, la durée de ses clignements, la vitesse de fermeture et ouverture des yeux, l’amplitude et la vitesse des mouvements de tête sont quelques paramètres qui peuvent être utilisés et ajustés lors de la phase d’apprentissage.
[0037] La durée de la fenêtre temporelle d’analyse est de préférence fixe au début pour chaque mise en œuvre de l’algorithme et différentes configurations sont testées pendant la phase d’apprentissage. Le model décisionnel est de préférence basé sur les indicateurs de confiance pour chacune des mises en œuvre et entraîne une alerte plus robuste que les algorithmes classiques orientés sur une seule analyse.
[0038] Le calculateur 12 est configuré pour, lors d’une phase d’apprentissage réalisée pendant une durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule 1, recevoir une séquence d’images du conducteur générée par la caméra 11, exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, et déterminer un degré de pertinence différent pour chaque ensemble utilisé, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins.
[0039] Le calculateur 12 est configuré pour, une fois la phase d’apprentissage terminée, lors d’une phase de surveillance de l’état du conducteur, recevoir une séquence d’images du conducteur générée par la caméra 11, exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, et déterminer un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil d’attention prédéterminé relatif audit au moins un paramètre.
[0040] De préférence, le véhicule 1 comprend en outre une interface 13, par exemple au niveau du tableau de bord du véhicule 1, permettant notamment d’afficher ou diffuser un message d’alerte à l’attention du conducteur lorsque son niveau de somnolence est supérieur à un seuil d’alerte prédéterminé.
[0041] L’invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 2.
[0042] Tout d’abord, le procédé comprend une phase, dite « d’apprentissage » PHI. Cette phase d’apprentissage PHI est de préférence réalisée à chaque fois que le moteur du véhicule 1 est démarré.
[0043] La phase d’apprentissage PHI comprend une étape de génération E0 d’une séquence d’images par la caméra 11. Ladite séquence d’images générée, représentant le conducteur, est ensuite envoyée au calculateur 12.
[0044] Ensuite, dans une étape de détermination El, le calculateur 12 détermine un ou plusieurs points caractéristiques des images de la séquence d’images générée, par exemple le coin de l’œil, la position de la pupille, etc.
[0045] Puis, la phase d’apprentissage PHI comprend une étape E2 d’exécution par le cal culateur 12 de l’algorithme prédéterminé sur ladite séquence d’images générée par la caméra 11. L’algorithme est réalisé une pluralité de fois en parallèle et chaque mise en œuvre dudit algorithme utilise un ensemble différent de paramètres prédéterminés et/ ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer au moins une valeur pour chaque paramètre dudit ensemble. Ainsi, chaque mise en œuvre est unique car elle est réalisée à partir d’un ensemble prédéterminé de paramètres et/ou de valeurs de paramètres différent.
[0046] Enfin, la phase d’apprentissage PHI comprend une étape de détermination E3 d’un degré de pertinence pour chaque ensemble utilisé. Autrement dit, cette étape permet de classer le ou les ensembles, à partir des mises en œuvre réalisées lors de l’étape précédente, du plus pertinent au moins pertinent par rapport à 1‘attitude du conducteur, c’est-à-dire de prioriser le ou les ensembles qui permettent de décrire au mieux le niveau de somnolence ou d’attention du conducteur au volant du véhicule 1 à ce moment-là.
[0047] Par ailleurs, cette étape de détermination E3 comprend également optionnellement la sélection du ou des ensembles, parmi la pluralité d’ensembles, le ou les plus pertinents. Cette sélection permet soit de connaître le ou les ensembles pertinents à considérer par le procédé, soit de ne pas utiliser le ou les ensembles les moins pertinents, autrement dit le ou les ensembles qui, après leur mise en œuvre respective par l’algorithme, représentent de façon inexacte ou trop approximative le niveau de somnolence du conducteur.
[0048] Ainsi, lors de cette phase d’apprentissage PHI, qui dure de préférence entre 10 et 15 minutes, le procédé de détermination permet de déterminer le ou les ensembles, par leurs paramètres ou leurs valeurs de paramètres respectifs, le/les plus aptes à décrire le comportement d’un conducteur en particulier. En effet, chaque conducteur un ou plusieurs ensembles spécifiques permettant de décrire son comportement au volant. Ce ou ces ensembles seront donc utilisés postérieurement pour déterminer le niveau de somnolence du conducteur.
[0049] Ensuite, le procédé comprend une phase dite « de surveillance » PH2, postérieure à la phase d’apprentissage PHI, permettant d’utiliser l’algorithme prédéfini combiné avec le ou les ensembles les plus pertinents et/ou le ou les ensembles sélectionnés précédemment. La phase de surveillance PH2 peut durer tant que le moteur du véhicule 1 est démarré. Ladite phase de surveillance PH2 comprend une étape de génération E4 d’une séquence d’images du conducteur par la caméra 11. Ladite séquence d’images générée, représentant le conducteur, est ensuite envoyée au calculateur 12.
[0050] Ensuite, la phase de surveillance PH2 comprend une étape d’exécution E5 continue de l’algorithme prédéterminé à partir de ladite séquence d’images générée dans la phase de surveillance PH2 et du ou des ensembles les plus pertinents ou du ou des ensembles sélectionnés dans la phase d’apprentissage PHI. Ainsi, dans cette étape d’exécution E5, le calculateur 12 exécute l’algorithme prédéfini, permettant ainsi de catégoriser le comportement du conducteur en fonction de différents niveaux de somnolence, d’un niveau alerte vers un niveau non alerte et enfin un niveau somnolent.
[0051] Le fait d’avoir plus d’un ensemble de paramètres et/ou de valeur de paramètres adapté au comportement d’un conducteur au volant permet en cas d’incertitude d’utiliser plusieurs ensembles pour caractériser l’attitude dudit conducteur, et ainsi de déterminer avec précision son niveau de somnolence. Par exemple, si lorsque le conducteur conduit le véhicule 1 et qu’il y a beaucoup de soleil, cela forcera ledit conducteur à plisser les yeux, l’ouverture des yeux est donc plus faible que lorsqu’il n’y a pas de soleil, mais cela ne traduit pas un état de somnolence. D’autre part, une maladie pourrait forcer le conducteur à cligner des yeux plus fréquemment que d’habitude, ou encore lorsque le conducteur est à un feu rouge et qu’il souhaite fermer les yeux quelques secondes pour reposer ses yeux ou s’étirer, ceci ne traduit pas non plus un niveau de somnolence ou d’attention faible. Il y a donc un besoin d’utiliser l’algorithme prédéfini avec plusieurs ensembles, comprenant des paramètres utilisés différents, afin de confirmer ou d’infirmer le niveau de somnolence du conducteur.
[0052] Lors de l’étape d’exécution E5 de l’algorithme prédéterminé, ledit algorithme prédéterminé permet également de mettre à jour le ou les ensembles caractéristiques de chaque conducteur. En effet, par exemple, dans le cas où le conducteur s’endort quelques secondes au volant, puis se réveille suite à des stimuli externes (comme par exemple le bruit du klaxon d’un autre usager de la route) les paramètres ou les valeurs de paramètres caractéristiques du ou des ensembles pertinents, et donc adaptés au comportement du conducteur, seront différents avant et après son endormissement. L’étape d’exécution E5 permet donc de mettre à jour les ensembles les plus pertinents, notamment en modifiant l’ordre de pertinence des ensembles et également en mettant à jour des paramètres.
[0053] Dans ladite étape d’exécution E5 de l’algorithme prédéterminé, ledit algorithme prédéterminé, à partir des ensembles sélectionnés et mis à jour, détermine si le conducteur est en niveau de somnolence élevée (i.e. d’attention faible).
[0054] Ensuite, la phase de surveillance PH2 comprend une étape de détermination E6 d’un niveau de somnolence du conducteur, permettant de catégoriser ledit niveau de somnolence du conducteur. Grâce à la pluralité d’ensembles adaptés à chaque conducteur et au fait que la ou les ensembles soient mises à jour pendant l’utilisation du véhicule 1, il est plus simple d’obtenir un diagnostic propre au conducteur avec un meilleur niveau de précision.
[0055] Enfin, lorsqu’un niveau élevé de somnolence est détecté, un signal d’alerte est généré à l’attention du conducteurl dans une étape d’alerte E7, qui est en dehors de la phase de surveillance PH2. De préférence, le calculateur 12 envoie un message d’alerte à l’interface 13, afin de prévenir le conducteur. Cette alerte peut se présenter sous la forme d’un signal sonore ou d’un signal lumineux, par exemple une icône qui s’allume sur l’interface 13, une vibration du siège ou des actionneurs (volant, pédales). Cette étape permet de catégoriser l’attitude du conducteur selon si le conducteur est attentif à la conduite, s’il n’est pas attentif/distrait ou s’il est en état de somnolence. Il peut y avoir plusieurs niveaux dans chaque catégorie.
[0056] En variante, dans le cas où le véhicule 1 peut être piloté de manière automatique dans un mode autonome, le calculateur 12 pourrait commander le passage en mode de conduite autonome lorsque le conducteur est distrait ou sombre dans un état de somnolence. Dans le cas de passage en mode manuel quand le système ne peut pas continuer en mode autonome, l’état du conducteur joue un rôle important et le système peut décider de faire un manouvre d’arrêt d’urgence si le conducteur n’est pas dans un état de reprendre le contrôle.
[0057] Un exemple de mise en œuvre du procédé est décrit dans le paragraphe suivant. Tout d’abord, cet exemple comprend un algorithme prédéterminé exécuté, selon la phase d’apprentissage PHI, cinq fois par le calculateur 12, à partir d’une séquence d’images générées par la caméra 11 et de cinq ensembles prédéterminés de paramètres et/ou de valeurs de paramètres différents. Le premier ensemble comprend un paramètre concernant la fréquence de clignements des yeux avec un seuil à 200 ms, au-dessus duquel le risque que le conducteur soit dans un état somnolent est élevé. Le deuxième ensemble comprend un paramètre concernant la fréquence de clignement des yeux avec un seuil de 300 ms. Le troisième ensemble concerne la fréquence de clignements des yeux dont le seuil est de 350 ms. Le quatrième ensemble concerne un paramètre relatif à la fréquence de clignements des yeux dont le seuil est de 400 ms et un paramètre concernant l’ouverture des yeux, dont le calculateur 11 fait varier la valeur pour déterminer la plus adéquate et celle qui correspondra au mieux au conducteur du véhicule 1. Enfin le cinquième ensemble concerne un paramètre relatif à la taille de la tête, puisque de face la taille de la tête est moindre que lorsque la personne est de profil. Ainsi, à partir desdits premier, deuxième, troisième, quatrième et cinquième ensembles le procédé de détection permet d’obtenir respectivement les première, deuxième, troisième, quatrième et cinquième mises en œuvre, chaque premier, deuxième, troisième, quatrième et cinquième ensemble et chaque première, deuxième, troisième, quatrième et cinquième mise en œuvre étant unique et différente des autres.
[0058] Ensuite les cinq ensembles obtenus sont priorisés en fonction de leur degré de pertinence lors de l’étape de détermination E3 du degré de pertinence de la phase d’apprentissage PHI. On considère que l’ordre de pertinence déterminé dans cette étape, du plus pertinent au moins pertinent, est le suivant : deuxième ensemble, cinquième ensemble, troisième ensemble, quatrième ensemble, premier ensemble.
[0059] De plus, lors de cette étape, la sélection de certains ensembles peut être réalisé afin de n’utiliser lors du procédé que les ensembles les plus pertinentes, en rendant inactifs les ensembles non sélectionnés. Dans le cas présent, il est considéré que les deuxième, cinquième et troisième ensembles sont sélectionnés.
[0060] Suite à ceci, commence la phase de surveillance PH2, dans laquelle une séquence d’images est générée par la caméra 11, puis à partir de la séquence d’images et des deuxième, cinquième et troisième ensembles précédemment sélectionnés, le calculateur 12 détermine le niveau de somnolence du conducteur. Comme dit précédemment, il permet de déterminer si le conducteur est attentif à la conduite, s’il n’est pas attentif/distrait ou s’il est en état de somnolence.
[0061] Dans le cas où le conducteur n’est pas attentif à sa conduite et/ou s’il est en état confirmé de somnolence, un message d’alerte est envoyé par le calculateur 12 vers l’interface 13 qui alerte le conducteur de son niveau de somnolence par exemple grâce à une icône lumineuse, une alerte sonore ou un message de prévention. Cette alerte permet de stimuler le conducteur dans le cas où il serait endormi, et/ou de lui conseiller d’effectuer un arrêt. En variante, un mode de conduite autonome du véhicule 1 pourrait être activé.
[0062] L’invention permet donc de déterminer de manière précise un niveau de somnolence du conducteur de sorte à l’alerter ou à prendre le relais de la conduite automatiquement.

Claims (1)

  1. Revendications [Revendication 1] Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule (1), notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule (1) comprenant une caméra (11) et un calculateur (12), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le procédé, mis en œuvre par le calculateur (12), comprenant :
    a. une phase d’apprentissage (PHI) réalisée pendant une durée prédéterminée, comprenant les étapes de :
    i. génération (EO) par la caméra (11) d’une séquence d’images consécutives du conducteur,
    ü. détermination (El) d’au moins un point caractéristique des images de la séquence d’images générée, üi. exécution (E2) de l’algorithme prédéterminé sur l’au moins un point caractéristique des images de la séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle par le calculateur (12) afin de réaliser une pluralité de diagnostics, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, iv. détermination (E3) d’un degré de pertinence différent pour chaque algorithme réalisé, les degrés de pertinence étant différents entre eux, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins,
    b. une fois la phase d’apprentissage (PHI) terminée, une phase de surveillance (PH2) de l’état du conducteur comprenant les étapes de:
    i. génération (E4) par la caméra (11) d’une séquence d’images du conducteur,
    ii. exécution (E5) de l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre réalisée par le calculateur (12) à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, iii. détermination (E6) d’un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre. [Revendication 2] Procédé selon la revendication 1, dans lequel la durée prédéterminée de la phase d’apprentissage (PHI) est comprise entre 5 et 20 minutes. [Revendication 3] Procédé selon l’une quelconque des revendications précédentes, dans lequel la durée prédéterminée de la phase d’apprentissage (PHI) est inférieure à 20 minutes. [Revendication 4] Procédé selon l’une quelconque des revendications précédentes, dans lequel l’au moins un paramètre de chaque ensemble est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux. [Revendication 5] Procédé selon l’une quelconque des revendications précédentes, dans lequel l’exécution de l’algorithme prédéterminé est réalisée en phase de surveillance (PH2) dans une pluralité de mises en œuvre en parallèle. [Revendication 6] Calculateur (12) de véhicule (1), notamment automobile, permettant la détermination d’un niveau de somnolence d’un conducteur dudit véhicule (1) à partir d’un algorithme prédéterminé d’analyse d’images, le véhicule (1) comprenant une caméra (11), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le calculateur (12) étant configuré pour : a. lors d’une phase d’apprentissage (PHI) réalisée pendant une
    b.
    durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule (1) :
    i. recevoir une séquence d’images du conducteur générée par la caméra (11), ii. exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, iii. déterminer un degré de pertinence différent pour chaque ensemble utilisé, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins, une fois la phase d’apprentissage (PHI) terminée, lors d’une phase de surveillance (PH2) de l’état du conducteur: i. recevoir une séquence d’images du conducteur générée par la caméra (11), ii. exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, ii i. déterminer un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre.
    [Revendication 7] Calculateur (12), selon la revendication précédente, dans lequel la durée prédéterminée de la phase d’apprentissage (PHI) est comprise entre 5 et
    20 minutes. [Revendication 8] Calculateur (12), selon l’une des revendications 6 et 7, dans lequel l’au moins un paramètre de chaque ensemble est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux. [Revendication 9] Calculateur (12), selon l’une des revendications 6 à 8, dans lequel l’exécution de l’algorithme prédéterminé est réalisée en phase de surveillance (PH2) dans une pluralité de mises en œuvre en parallèle. [Revendication 10] Véhicule (1) comprenant une caméra (11) configurée pour générer une séquence d’images et un calculateur (12) selon l’une des revendications 6 à 9 reliée à ladite caméra (12).
    1/2
FR1872824A 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule Active FR3090171B1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
FR1872824A FR3090171B1 (fr) 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule
US17/296,783 US20220027646A1 (en) 2018-12-13 2019-12-13 Method for determining a drowsiness level of a motor vehicle driver
CN201980082525.5A CN113168758B (zh) 2018-12-13 2019-12-13 确定车辆驾驶者的困倦水平的方法
PCT/EP2019/085147 WO2020120760A1 (fr) 2018-12-13 2019-12-13 Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule
EP19829064.5A EP3895142A1 (fr) 2018-12-13 2019-12-13 Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1872824A FR3090171B1 (fr) 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule

Publications (2)

Publication Number Publication Date
FR3090171A1 true FR3090171A1 (fr) 2020-06-19
FR3090171B1 FR3090171B1 (fr) 2021-01-29

Family

ID=66166248

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1872824A Active FR3090171B1 (fr) 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule

Country Status (5)

Country Link
US (1) US20220027646A1 (fr)
EP (1) EP3895142A1 (fr)
CN (1) CN113168758B (fr)
FR (1) FR3090171B1 (fr)
WO (1) WO2020120760A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983921B2 (en) * 2021-07-26 2024-05-14 Ubkang (Qingdao) Technology Co., Ltd. Human abnormal behavior response method and mobility aid robot using the same
FR3141404A1 (fr) * 2022-10-31 2024-05-03 Alstom Holdings Dispositif de veille pour conducteur de véhicule ferroviaire, à confort amélioré

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3048542A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
WO2018118958A1 (fr) * 2016-12-22 2018-06-28 Sri International Système de réponse et de surveillance d'un conducteur

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5813993A (en) * 1996-04-05 1998-09-29 Consolidated Research Of Richmond, Inc. Alertness and drowsiness detection and tracking system
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
CN101030316B (zh) * 2007-04-17 2010-04-21 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN101593352A (zh) * 2009-06-12 2009-12-02 浙江大学 基于面部朝向和视觉焦点的驾驶安全监测系统
KR101327007B1 (ko) * 2011-10-17 2013-11-13 현대자동차주식회사 차량 운행상태 정보 기반 운전 집중도 판단 방법 및 그 시스템
US9471881B2 (en) * 2013-01-21 2016-10-18 International Business Machines Corporation Transductive feature selection with maximum-relevancy and minimum-redundancy criteria
CN105354988B (zh) * 2015-12-11 2018-02-27 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
US11341756B2 (en) * 2017-10-02 2022-05-24 Fotonation Limited Human monitoring system incorporating calibration methodology

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3048542A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
WO2018118958A1 (fr) * 2016-12-22 2018-06-28 Sri International Système de réponse et de surveillance d'un conducteur

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D'ORAZIO ET AL: "A visual approach for driver inattention detection", PATTERN RECOGNITION, ELSEVIER, GB, vol. 40, no. 8, 17 April 2007 (2007-04-17), pages 2341 - 2355, XP022031756, ISSN: 0031-3203, DOI: 10.1016/J.PATCOG.2007.01.018 *

Also Published As

Publication number Publication date
US20220027646A1 (en) 2022-01-27
FR3090171B1 (fr) 2021-01-29
CN113168758A (zh) 2021-07-23
WO2020120760A1 (fr) 2020-06-18
EP3895142A1 (fr) 2021-10-20
CN113168758B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
WO2017149047A1 (fr) Dispositif et méthode de surveillance d'un conducteur d'un véhicule automobile
JP5233322B2 (ja) 情報処理装置および方法、並びに、プログラム
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
US11587461B2 (en) Context-sensitive adjustment of off-road glance time
FR3048542A1 (fr) Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
WO2020120760A1 (fr) Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule
FR3048543A1 (fr) Dispositif et methode de surveillance d'un conducteur d'un vehicule de transport
US11148673B2 (en) Vehicle operator awareness detection
WO2017137612A1 (fr) Dispositif et méthode anti-collision pour un véhicule automobile
WO2016135391A1 (fr) Dispositif d'aide à la conduite d'un véhicule en fonction d'une estimation d'au moins un niveau de vigilance globale du conducteur
FR3012029A1 (fr) Procede de detection de la baisse de vigilance du conducteur d'un vehicule automobile
FR3057517A1 (fr) Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
FR3060505A1 (fr) Procede de controle de prise en main d’un organe de direction de vehicule
WO2020120751A1 (fr) Procédé de détermination d'un niveau de vigilance d'un conducteur
EP3867126B1 (fr) Procédé et dispositif d'aide à la conduite d'un véhicule automobile en phase de recul
US20230356736A1 (en) Systems and methods for driver state conditioned visual signals
FR3057516A1 (fr) Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
FR3129123A1 (fr) Activation automatique de clignotants d’un véhicule automobile
EP4296136A1 (fr) Procédé d'alerte d'un conducteur d'un véhicule automobile après détermination de zones non surveillées par le conducteur
FR3118444A1 (fr) Dispositif d’analyse de la perception d’un danger par un conducteur de véhicule et procédé associé
WO2021065002A1 (fr) Système de prévention de la somnolence d'un conducteur, ordinateur, terminal, procédé de prévention de la somnolence d'un conducteur et programme
FR3113881A1 (fr) Procédé d’affichage sécurisé d’informations dans un véhicule.
FR3130732A1 (fr) Procédé pour déterminer l’attention d’un conducteur dans un véhicule circulant de manière partiellement autonome
EP4041606A1 (fr) Détermination d'un état d'utilisateur conduisant activement ou non un véhicule automobile
CN114212093A (zh) 一种安全驾驶监控方法、系统及可存储介质

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20200619

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6