EP3895142A1 - Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule - Google Patents

Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule

Info

Publication number
EP3895142A1
EP3895142A1 EP19829064.5A EP19829064A EP3895142A1 EP 3895142 A1 EP3895142 A1 EP 3895142A1 EP 19829064 A EP19829064 A EP 19829064A EP 3895142 A1 EP3895142 A1 EP 3895142A1
Authority
EP
European Patent Office
Prior art keywords
driver
predetermined
parameter
computer
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19829064.5A
Other languages
German (de)
English (en)
Inventor
Alain Giralt
Martin PETROV
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Technologies GmbH
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Publication of EP3895142A1 publication Critical patent/EP3895142A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity

Definitions

  • TITLE Method for determining a drowsiness level of a vehicle driver
  • the invention relates to the field of assistance with driving a motor vehicle, manual or autonomous driving, and relates, more particularly, to a device and a method for monitoring a vehicle driver in particular trigger an alert or activate an automatic driving mode in the event of drowsiness or distraction.
  • This type of monitoring device includes a camera and a computer, which processes the images generated by the camera and alerts the driver in case of drowsiness or distraction.
  • the calculator analyzes, for example, the movement of the driver's eyes, head or upper body, facial expressions, head orientation or a combination of some or all of these parameters.
  • the computer analyzes these parameters for a given period of time. For example, when the computer analyzes the driver's eyes, it can in particular determine the frequency of blinking of the eyelids, the amplitude of the blinking of the eyelid, the duration of the blinking of the eyelids, etc. It then compares these values to a threshold or a range of predetermined values characterizing an awake state in order to deduce therefrom whether the driver is awake, distracted or drowsy and to alert him if necessary.
  • the computer deduces that the driver is in the awake state but if the duration of the blinking of the eyelids is greater than 350 ms, the calculator deduces that the driver drowsiness increases.
  • the thresholds or ranges of values characterizing an awake state are predetermined in the factory and stored in a memory area of the computer so as to be used for all conductors.
  • the device can trigger alerts, which has a significant drawback, or on the contrary does not trigger an alert while the driver is in a distracted or drowsy state, which then has a major drawback.
  • the present invention aims to provide a simple, reliable and effective solution for detecting a level of drowsiness in a vehicle driver.
  • the invention firstly relates to a method for determining a level of drowsiness of a driver of a vehicle, in particular a motor vehicle, from a predetermined image analysis algorithm.
  • said vehicle comprising a camera and a computer
  • said computer implementing said predetermined algorithm from a set comprising at least one parameter relating to the attitude of the driver, the method implemented by the computer, comprising:
  • a learning phase carried out for a predetermined period, preferably after each start of the vehicle engine, comprising the steps of:
  • a phase for monitoring the state of the driver comprising the steps of:
  • the method according to the invention advantageously makes it possible to determine the level of drowsiness of a vehicle driver (inversely proportional to his level of attention), as a function of parameters and parameter values specific to said driver.
  • the method comprises a step of alerting the driver when the determined level of drowsiness is greater than a predetermined threshold.
  • the process thus makes it possible to alert the driver in the event of a level of drowsiness or low attention).
  • the method comprises an alert step, after the detection of a high level of drowsiness of the driver.
  • Such an alert may consist of one or a combination of the following alert means: light signal, sound signal (for example the vehicle alarm), alert message broadcast on a vehicle screen or sent to an external device, for example a smartphone, a seat vibration or actuators (steering wheel or pedals).
  • alert means light signal, sound signal (for example the vehicle alarm), alert message broadcast on a vehicle screen or sent to an external device, for example a smartphone, a seat vibration or actuators (steering wheel or pedals).
  • the predetermined duration of the learning phase of the process is between 5 and 20 minutes.
  • Such a duration makes it possible to generate by the camera, a sequence of images sufficiently supplied in images to be analyzed in order to extract reliable information concerning the behavior of the driver, and to determine sets of parameters or parameter values. characteristics of said conductor.
  • the predetermined duration of the learning phase of the process is less than 20 minutes. Such a duration is sufficient to obtain the desired information concerning the driver, in other words to determine sets of parameters or parameter values characteristic of said driver, and to start the monitoring phase, to determine the level of drowsiness of the driver in real time.
  • the at least one parameter of each set used in the method is one of the driver's blinking frequency, the driver's blinking time, the blinking amplitude of the driver's eyelids, driver's face activity, size of driver's face contour, height of opening between eyelids of each driver's eye, head movements with amplitude and duration as indicators main.
  • These parameters are simple parameters for detecting driver drowsiness levels.
  • the execution of the predetermined algorithm carried out in the monitoring phase is carried out according to a plurality of implementations in parallel.
  • Each implementation of the algorithm provides different indicators and analyzes that complete the majority of possible states among drivers.
  • a single implementation of the algorithm cannot solve all the possibilities for detecting the level of driver drowsiness.
  • the need to have a parallel implementation of the algorithm with different thresholds and parameters covers the majority of events and can provide the best real-time alert for the driver.
  • the monitoring phase may include a step of updating the degree of relevance for each implementation of the algorithm performed, the degrees of relevance remaining different from each other, the degree of relevance the most high being attributed to the set of predetermined parameters and / or predetermined intervals of parameter values used for which the determined values of the parameters vary the least, in order to identify the reactions and attitude of the driver in question, in particular with regard to drowsiness and fatigue.
  • the invention also relates to a vehicle computer, in particular automobile, allowing the determination of a level of drowsiness of a driver of said vehicle from a predetermined image analysis algorithm, the vehicle comprising a camera.
  • said computer implementing said predetermined algorithm from a set comprising at least one parameter relating to the attitude of the driver, the computer being configured to: during a learning phase carried out for a predetermined period, preferably after each start of the vehicle engine:
  • o receive a sequence of images of the driver generated by the camera, for example 10, 15, 20, 25, 30, 45, 60 ... up to 200 images per second, o execute the predetermined algorithm on said sequence d images generated in a plurality of implementations carried out in parallel, each implementation using a different set of predetermined parameters and / or predetermined intervals of parameter values, so as to determine a plurality of values for each parameter of said set ,
  • o receive a sequence of images of the driver generated by the camera, o execute the predetermined algorithm on said sequence of images generated in at least one implementation from at least the set of parameters and / or values parameters having the highest degree of relevance, so as to determine a plurality of values for each parameter of said set,
  • o determine a level of drowsiness of the driver from at least one value determined for each parameter of said set and from at least a predetermined threshold relating to said at least one parameter.
  • the computer according to the invention advantageously makes it possible to determine the level of drowsiness of a vehicle driver, as a function of parameters and parameter values specific to said driver.
  • the computer thus makes it possible to alert the driver in the event of a high level of drowsiness of said driver.
  • the predetermined duration of the learning phase is between 5 and 20 minutes.
  • the at least one parameter from each set used by the computer is one of the driver's blinking frequency, the driver's blinking time, the blinking amplitude of the driver, the activity of the driver's face, the size of the outline of the driver's face, the height of the opening between the eyelids of each driver's eye, head movements with amplitude and duration as the main indicators .
  • the execution of the predetermined algorithm performed by the computer in the step of executing the monitoring phase is carried out according to a plurality of implementations in parallel.
  • Each implementation provides different indicators and analyzes that complete the majority of possible states among drivers.
  • a single implementation cannot resolve all possibilities for detecting the level of drowsiness or driver attention.
  • the need to have a parallel implementation of the algorithm with different thresholds and parameters covers the majority of events and can provide the best real-time alert for the driver.
  • the invention also relates to a vehicle, in particular a motor vehicle, comprising a camera configured to generate a sequence of images and a computer, as described above, connected to said camera in order to receive said sequence of images.
  • FIG. 1 schematically illustrates an embodiment of the vehicle according to the invention.
  • FIG. 2 represents an embodiment of the method according to the invention.
  • the computer according to the invention is intended to be mounted in a vehicle, in particular motor vehicle, with manual or autonomous driving, in order to determine a level of drowsiness of the driver of said vehicle and to alert or activate automatic driving if necessary.
  • the level of drowsiness can correspond to a state (asleep, poorly concentrated, alert ...) or a quantified level, for example alphanumerically, in order to define levels reflecting granularities of drowsiness (for example, level 1 for an alert driver, level 2 for a poorly concentrated driver, level 3 for a driver while falling asleep, level 4 for a sleeping driver ).
  • the device comprises a camera 11 installed in the vehicle 1, which films the driver and a computer 12, also on board the vehicle 1, which processes the images generated by the camera 11.
  • the camera 11 is, for example, placed behind the driver's steering wheel and makes it possible to generate a sequence of images periodically, for example 10, 15, 20, 25, 30, 45, 60 ... up to at 200 frames per second, representing the driver, preferably his face.
  • the sequence of images is sent in real time to the computer 12 so that said computer 12 analyzes said images.
  • the computer 12 is configured to implement a predetermined algorithm, on said sequence of images generated, in particular on one or more characteristic points (for example, the corner of the eyes, the position of the pupil, etc.) of the images of the sequence of images received, which he determined in the images, in order to determine the level of drowsiness of the driver, that is to say, to determine if the driver is drowsy while driving vehicle 1 and / or if he is drowsy or distracted.
  • characteristic points for example, the corner of the eyes, the position of the pupil, etc.
  • the predetermined algorithm is implemented from a set comprising at least one parameter relating to the attitude of the driver behind the wheel.
  • This or these parameters can be, for example, the frequency of the driver's blinking eyelids, the duration of the driver's blinking eyelids, the height of the driver's eyelid opening, the position of certain facial features (such as the ears , the mouth, the nose, etc.), the shape or the size of the outline of the driver's face (in the case where the size of the outline of the face is small, this means that the driver is facing, and important, that driver is in profile), activity of the driver's face, head movements with amplitude and duration as main indicators, etc.
  • the value of each parameter can also be modified.
  • Each implementation of the algorithm is executed in real time with a configuration of different values for the decision thresholds.
  • each threshold will be modified and personalized for the driver in question according to his behavior.
  • the opening of the eyes, the duration of its blinks, the speed of closing and opening of the eyes, the amplitude and the speed of the head movements are some parameters that can be used and adjusted during the learning phase.
  • the duration of the analysis time window is preferably fixed at the start for each implementation of the algorithm and different configurations are tested during the learning phase.
  • the decision-making model is preferably based on the confidence indicators for each of the implementations and gives rise to a more robust alert than the conventional algorithms oriented on a single analysis.
  • the computer 12 is configured to, during a learning phase carried out for a predetermined period, preferably after each start of the engine of the vehicle 1, receive a sequence of images of the driver generated by the camera 11, execute the predetermined algorithm on said sequence of images generated in a plurality of implementations carried out in parallel, each implementation using a different set of predetermined parameters and / or predetermined intervals of parameter values, so as to determine a plurality of values for each parameter of said set, and determining a different degree of relevance for each set used, the highest degree of relevance being assigned to the set of predetermined parameters and / or predetermined intervals of parameter values used for which the determined values of the parameters vary the least.
  • the computer 12 is configured to, once the learning phase is completed, during a phase of monitoring the state of the driver, receive a sequence of images of the driver generated by the camera 11, execute the predetermined algorithm on said sequence of images generated in at least one implementation from at least the set of parameters and / or parameter values having the highest degree of relevance, so as to determine a plurality of values for each parameter of said set, and determining a level of drowsiness of the driver from the at least one value determined for each parameter of said set and from at least a predetermined attention threshold relating to said at least one parameter.
  • the vehicle 1 further comprises an interface 13, for example at the level of the dashboard of the vehicle 1, making it possible in particular to display or broadcast an alert message for the attention of the driver when his level drowsiness is greater than a predetermined alert threshold.
  • an interface 13 for example at the level of the dashboard of the vehicle 1, making it possible in particular to display or broadcast an alert message for the attention of the driver when his level drowsiness is greater than a predetermined alert threshold.
  • the method comprises a phase, called "learning" PH1.
  • This learning phase PH1 is preferably carried out each time that the engine of the vehicle 1 is started.
  • the learning phase PH1 comprises a step E0 of generating a sequence of images by the camera 11. Said generated sequence of images, representing the driver, is then sent to the computer 12.
  • the computer 12 determines one or more characteristic points of the images of the sequence of images generated, for example the corner of the eye, the position of the pupil, etc.
  • the learning phase PH1 comprises a step E2 of execution by the computer 12 of the predetermined algorithm on said sequence of images generated by the camera 11.
  • the algorithm is performed a plurality of times in parallel and each implementation of said algorithm uses a different set of predetermined parameters and / or predetermined intervals of parameter values, so as to determine at least one value for each parameter of said set.
  • each implementation is unique because it is carried out from a predetermined set of parameters and / or values of different parameters.
  • the PH1 learning phase includes a step E3 of determining a degree of relevance for each set used.
  • this step makes it possible to classify the set or sets, from the implementations carried out during the previous step, from the most relevant to the least relevant with respect to the attitude of the driver, that is to say from prioritize the set or sets which best describe the level of drowsiness or attention of the driver behind the wheel of vehicle 1 at that time.
  • this determination step E3 also optionally comprises the selection of the set or sets, from among the plurality of sets, the one or the most relevant. This selection makes it possible either to know the relevant set or sets to be considered by the method, or to not use the least relevant set or sets, in other words the set or sets which, after their respective implementation by the algorithm, represent the driver’s drowsiness level is inaccurate or too rough.
  • the determination method makes it possible to determine the set or sets, by their parameters or their respective parameter values, the / most able to describe the behavior of a particular driver.
  • each driver has one or more specific sets which allow him to describe his driving behavior. This or these sets will therefore be used subsequently to determine the level of drowsiness of the driver.
  • the method comprises a phase called "monitoring" PH2, after the learning phase PH1, allowing the use of the predefined algorithm combined with the most relevant set (s) and / or the set (s) previously selected.
  • the monitoring phase PH2 can last as long as the engine of vehicle 1 is started.
  • Said monitoring phase PH2 comprises a step E4 of generating a sequence of images of the driver by the camera 11. Said generated sequence of images, representing the driver, is then sent to the computer 12.
  • the PH2 monitoring phase comprises a step of continuous execution E5 of the predetermined algorithm from said sequence of images generated in the PH2 monitoring phase and of the most relevant set or sets or of the sets selected in the PH1 learning phase.
  • the computer 12 executes the predefined algorithm, thus making it possible to categorize the behavior of the driver as a function of different levels of drowsiness, from an alert level to a non-alert level and finally a drowsy level .
  • Having more than one set of parameters and / or parameter value adapted to the behavior of a driver behind the wheel allows, in the event of uncertainty, to use several sets to characterize the attitude of said driver, and thus accurately determine his level of drowsiness. For example, if when the driver drives vehicle 1 and there is a lot of sun, this will force said driver to squint, the opening of the eyes is therefore smaller than when there is no sun , but that does not indicate a state of drowsiness. On the other hand, an illness could force the driver to blink more frequently than usual, or even when the driver is at a red light and wants to close his eyes for a few seconds to rest his eyes or stretch. , this also does not indicate a low level of drowsiness or attention. There is therefore a need to use the predefined algorithm with several sets, comprising different parameters used, in order to confirm or deny the level of drowsiness of the driver.
  • said predetermined algorithm also makes it possible to update the characteristic set or sets of each driver. Indeed, for example, in the case where the driver falls asleep for a few seconds at the wheel, then wakes up following external stimuli (such as the sound of the horn of another road user) the parameters or the values characteristic parameters of the relevant set or sets, and therefore adapted to the driver's behavior, will be different before and after falling asleep.
  • the execution step E5 therefore makes it possible to update the most relevant sets, in particular by modifying the order of relevance of the sets and also by updating parameters.
  • said predetermined algorithm from the selected and updated sets, determines whether the driver is in a level of high drowsiness (ie of low attention).
  • the PH2 monitoring phase comprises a step E6 of determining a level of driver drowsiness, making it possible to categorize said level of driver drowsiness. Thanks to the plurality of sets adapted to each driver and to the fact that the set or sets are updated during the use of the vehicle 1, it is easier to obtain a driver-specific diagnosis with a better level of precision.
  • an alert signal is generated for the attention of the driver in an alert step E7, which is outside of the PH2 monitoring phase.
  • the computer 12 sends a warning message to the interface 13, in order to warn the driver.
  • This alert can be in the form of an audible signal or a light signal, for example an icon which lights up on the interface 13, a vibration of the seat or of the actuators (steering wheel, pedals).
  • This step allows you to categorize the driver's attitude according to whether the driver is attentive to driving, if he is not attentive / distracted or if he is drowsy. There can be multiple levels in each category.
  • the computer 12 could control the change to autonomous driving mode when the driver is distracted or dark in a drowsy state.
  • the driver's condition plays an important role and the system can decide to make an emergency stop maneuver if the driver is not in a state to regain control.
  • this example comprises a predetermined algorithm executed, according to the learning phase PH1, five times by the computer 12, from a sequence of images generated by the camera 11 and from five predetermined sets of parameters and / or different parameter values.
  • the first set includes a parameter concerning the frequency of blinking of the eyes with a threshold at 200 ms, above which the risk that the driver is in a drowsy state is high.
  • the second set includes a parameter concerning the frequency of blinking of the eyes with a threshold of 300 ms.
  • the third set concerns the frequency of blinking of the eyes, the threshold of which is 350 ms.
  • the fourth set concerns a parameter relating to the frequency of blinking of the eyes whose threshold is 400 ms and a parameter concerning the opening of the eyes, whose computer 1 1 varies the value to determine the most adequate and that which will correspond best to the driver of the vehicle 1.
  • the fifth set concerns a parameter relating to the size of the head, since from the front the size of the head is less than when the person is in profile.
  • the five sets obtained are prioritized according to their degree of relevance during the step of determining E3 the degree of relevance of the learning phase PH1.
  • the order of relevance determined in this step is as follows: second set, fifth set, third set, fourth set, first set.
  • the selection of certain sets can be carried out in order to use during the process only the most relevant sets, making inactive the non-selected sets. In the present case, it is considered that the second, fifth and third sets are selected.
  • the computer 12 determines the driver's level of drowsiness. As said before, it allows you to determine if the driver is attentive to driving, if he is not attentive / distracted or if he is drowsy.
  • an alert message is sent by the computer 12 to the interface 13 which alerts the driver drowsiness level, for example thanks to a light icon, an audible alert or a prevention message.
  • This alert stimulates the driver if he is asleep, and / or advises him to make a stop.
  • an autonomous driving mode of the vehicle 1 could be activated.
  • the invention therefore makes it possible to precisely determine a level of drowsiness of the driver so as to alert him or take over from driving automatically.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

La présente invention a pour objet un procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule automobile à partir d'un algorithme prédéterminé d'analyse d'images, ledit véhicule comprenant une caméra (11) et un calculateur (12), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d'un ensemble comprenant au moins un paramètre relatif à l'attitude du conducteur, le procédé, mis en œuvre par le calculateur (12), comprenant une phase d'apprentissage (PH1) et une phase de surveillance (PH2) de l'état du conducteur.

Description

DESCRIPTION
TITRE : Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule
[Domaine technique]
[0001] L’invention se rapporte au domaine de l’assistance à la conduite d’un véhicule automobile, à conduite manuelle ou autonome, et concerne, plus particulièrement, un dispositif et un procédé de surveillance d’un conducteur de véhicule afin notamment de déclencher une alerte ou d’activer un mode de conduite automatique en cas de somnolence ou de distraction.
[Etat de la technique antérieure]
[0002] De nos jours, il est connu d’équiper certains véhicules automobiles d’un dispositif de surveillance permettant d’alerter le conducteur s’il apparaît distrait ou s’il sombre dans un état de somnolence. Ce type de dispositif de surveillance comprend une caméra et un calculateur, qui traite les images générées par la caméra et alerte le conducteur en cas de somnolence ou de distraction. Le calculateur analyse par exemple le mouvement des yeux, de la tête ou du haut du corps du conducteur, les expressions de son visage, l’orientation de sa tête ou une combinaison de certains ou de l’ensemble de ces paramètres.
[0003] Dans une solution connue, le calculateur analyse ces paramètres pendant une durée donnée. Par exemple, lorsque le calculateur analyse les yeux du conducteur, il peut notamment déterminer la fréquence de clignement des paupières, l’amplitude des clignements de paupière, la durée des clignements des paupières, etc. Il compare ensuite ces valeurs à un seuil ou un intervalle de valeurs prédéterminés caractérisant un état éveillé afin d’en déduire si le conducteur est éveillé, distrait ou somnolent et de l’alerter le cas échéant. Par exemple, si la durée des clignements de paupières est inférieure à 350 ms, le calculateur en déduit que le conducteur est à l’état éveillé mais si la durée des clignements de paupières est supérieure à 350 ms, le calculateur en déduit que l’état de somnolence du conducteur augmente.
[0004] Dans les solutions existantes, les seuils ou intervalles de valeurs caractérisant un état éveillé sont prédéterminés en usine et stockés dans une zone mémoire du calculateur de sorte à être utilisés pour tous les conducteurs.
[0005] Cependant, on constate qu’il existe une disparité entre les réactions et attitudes de chaque conducteur, notamment par rapport à la somnolence. En effet, par exemple, la fréquence, l’amplitude et la durée des clignements des paupières peuvent être significativement différentes d’un conducteur à un autre. [0006] De ce fait, le dispositif peut déclencher des alertes, ce qui présente un inconvénient notable, ou au contraire ne pas déclencher d’alerte alors que le conducteur est dans un état distrait ou somnolent, ce qui présente alors un inconvénient majeur.
[0007] Il existe donc le besoin d’une solution permettant de remédier au moins en partie à ces inconvénients.
[Exposé de l’invention]
[0008] La présente invention vise à proposer une solution simple, fiable et efficace de détection d’un niveau de somnolence d’un conducteur de véhicule.
[0009] A cette fin, l’invention a tout d’abord pour objet un procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule, notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra et un calculateur, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le procédé, mis en œuvre par le calculateur, comprenant :
une phase d’apprentissage réalisée pendant une durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule, comprenant les étapes de :
o génération par la caméra d’une séquence d’images consécutives (par exemple 10, 15, 20, 25, 30, 45, 60 ... jusqu’à 200 images par seconde) du conducteur, o détermination d’au moins un point caractéristique, de préférence une pluralité de points caractéristiques (par exemple, le coin des yeux, la position de la pupille, etc.), des images de la séquence d’images générée,
o exécution de l’algorithme prédéterminé sur l’au moins un point caractéristique des images de la séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle par le calculateur afin de réaliser une pluralité de diagnostics, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble,
o détermination d’un degré de pertinence différent pour chaque algorithme réalisé, les degrés de pertinence étant différents entre eux, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins, afin d’identifier les réactions et attitude du conducteur en question, notamment par rapport à la somnolence et fatigue, une fois la phase d’apprentissage terminée, une phase de surveillance de l’état du conducteur comprenant les étapes de:
o génération par la caméra d’une séquence d’images du conducteur,
o exécution de l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre réalisée par le calculateur à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble,
o détermination d’un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre.
Par les termes « en parallèle », on entend ici, de manière connue, que les mises en œuvre sont réalisées simultanément.
[0010] Le procédé selon l’invention permet avantageusement de déterminer le niveau de somnolence d’un conducteur de véhicule (inversement proportionnel à son niveau d’attention), en fonction de paramètres et de valeurs de paramètres propres audit conducteur.
[0011] Selon un aspect de l’invention, le procédé comprend une étape d’alerte du conducteur lorsque le niveau de somnolence déterminé est supérieur à un seuil prédéterminé. Le procédé permet ainsi d’alerter le conducteur en cas de niveau de somnolence ou d’attention faible).
[0012] De manière préférée, le procédé comprend, une étape d’alerte, postérieurement à la détection d’un fort niveau de somnolence du conducteur.
[0013] Une telle alerte peut consister en l’une ou en une combinaison des moyens d’alerte suivants : signal lumineux, signal sonore (par exemple l’alarme du véhicule), message d’alerte diffusé sur un écran du véhicule ou envoyé à un dispositif externe, par exemple un smartphone, une vibration du siège ou des actionneurs (volant ou pédales).
[0014] De manière préférée, la durée prédéterminée de la phase d’apprentissage du procédé est comprise entre 5 et 20 minutes.
[0015] Une telle durée permet de générer par la caméra, une séquence d’images suffisamment fournie en images pour être analysée afin d’en retirer des informations fiables concernant le comportement du conducteur, et déterminer des ensembles de paramètres ou de valeurs de paramètres caractéristiques dudit conducteur. [0016] De préférence, la durée prédéterminée de la phase d’apprentissage du procédé est inférieure à 20 minutes. Une telle durée est suffisante pour obtenir les informations souhaitées concernant le conducteur, autrement dit déterminer des ensembles de paramètres ou de valeurs de paramètres caractéristiques dudit conducteur, et commencer la phase de surveillance, pour déterminer le niveau de somnolence du conducteur en temps réel.
[0017] De manière avantageuse, l’au moins un paramètre de chaque ensemble utilisé dans le procédé, est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux. Ces paramètres sont des paramètres simples pour la détection de niveaux de somnolence du conducteur.
[0018] Avantageusement, l’exécution de l’algorithme prédéterminé réalisée dans la phase de surveillance, est réalisée selon une pluralité de mises en œuvre en parallèle. Chaque mise en œuvre de l’algorithme fournit des indicateurs et des analyses différentes qui complètent la majorité des états possibles chez les conducteurs. Une seule mise en œuvre de l’algorithme ne peut pas résoudre toutes les possibilités pour détecter le niveau de la somnolence du conducteur. La nécessité d’avoir une mise en œuvre en parallèle de l’algorithme avec des seuils et paramètres différents couvre la majorité des évènements et peut fournir la meilleure alerte en temps réel pour le conducteur.
[0019] De manière avantageuse, la phase de surveillance peut comprendre, une étape de mise à jour du degré de pertinence pour chaque mise en œuvre de l’algorithme réalisée, les degrés de pertinence restant différents entre eux, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins, afin d’identifier les réactions et attitude du conducteur en question, notamment par rapport à la somnolence et la fatigue.
[0020] L’invention concerne également un calculateur de véhicule, notamment automobile, permettant la détermination d’un niveau de somnolence d’un conducteur dudit véhicule à partir d’un algorithme prédéterminé d’analyse d’images, le véhicule comprenant une caméra, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le calculateur étant configuré pour : lors d’une phase d’apprentissage réalisée pendant une durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule :
o recevoir une séquence d’images du conducteur générée par la caméra, par exemple 10, 15, 20, 25, 30, 45, 60 ... jusqu’à 200 images par seconde, o exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble,
o déterminer un degré de pertinence différent pour chaque ensemble utilisé, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins, une fois la phase d’apprentissage terminée, lors d’une phase de surveillance de l’état du conducteur:
o recevoir une séquence d’images du conducteur générée par la caméra, o exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble,
o déterminer un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre.
[0021] Le calculateur selon l’invention permet avantageusement de déterminer le niveau de somnolence d’un conducteur de véhicule, en fonction de paramètres et de valeurs de paramètres propres audit conducteur. Le calculateur permet ainsi d’alerter le conducteur en cas de niveau de somnolence élevée dudit conducteur.
[0022] De manière préférée, la durée prédéterminée de la phase d’apprentissage est comprise entre 5 et 20 minutes.
[0023] Une telle durée est suffisante pour obtenir les informations souhaitées concernant le conducteur, autrement déterminer des ensembles de paramètres ou de valeurs de paramètres caractéristiques dudit conducteur, et commencer la phase de surveillance, pour déterminer le niveau de somnolence du conducteur en temps réel. Ces paramètres sont des paramètres simples pour la détection de niveaux de somnolence de conducteur. [0024] De manière avantageuse, l’au moins un paramètre de chaque ensemble utilisé par le calculateur est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux.
[0025] De préférence, l’exécution de l’algorithme prédéterminé réalisée par le calculateur dans l’étape d’exécution de la phase de surveillance, est réalisée selon une pluralité de mises en œuvre en parallèle. Chaque mise en œuvre fournit des indicateurs et des analyses différentes qui complètent la majorité des états possibles chez les conducteurs. Une seule mise en œuvre ne peut pas résoudre toutes les possibilités pour détecter le niveau de la somnolence ou attention du conducteur. La nécessité d’avoir une mise en œuvre en parallèle de l’algorithme avec des seuils et des paramètres différents couvre la majorité des évènements et peut fournir la meilleure alerte en temps réel pour le conducteur.
[0026] L’invention concerne également un véhicule, notamment automobile, comprenant une caméra configurée pour générer une séquence d’images et un calculateur, tel que décrit précédemment, relié à ladite caméra afin de recevoir ladite séquence d’images.
[Description des dessins]
[0027] D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.
[Fig. 1] illustre schématiquement une forme de réalisation du véhicule selon l’invention. [Fig. 2] représente un mode de réalisation du procédé selon l’invention.
[Description des modes de réalisation]
[0028] Le calculateur selon l’invention est destiné à être monté dans un véhicule, notamment automobile, à conduite manuelle ou autonome, afin de déterminer un niveau de somnolence du conducteur dudit véhicule et l’alerter ou activer la conduite automatique si nécessaire. Le niveau de somnolence peut correspondre à un état (endormi, peu concentré, alerte... ) ou un niveau quantifié, par exemple alphanumériquement, afin de définir des niveaux traduisant des granularités de somnolence (par exemple, niveau 1 pour un conducteur alerte, niveau 2 pour un conducteur peu concentré, niveau 3 pour un conducteur en cours d’endormissement, niveau 4 pour un conducteur endormi... ). [0029] En référence à la figure 1 , le dispositif comprend une caméra 11 installée dans le véhicule 1 , qui filme le conducteur et un calculateur 12, également embarqué dans le véhicule 1 , qui traite les images générées par la caméra 11.
[0030] La caméra 11 est, par exemple, placée derrière le volant du conducteur et permet de générer une séquence d’images de manière périodique, par exemple 10, 15, 20, 25, 30, 45, 60 ... jusqu’à 200 images par seconde, représentant le conducteur, de préférence son visage. La séquence d’images est envoyée en temps réel au calculateur 12 afin que ledit calculateur 12 analyse lesdites images.
[0031] Le calculateur 12 est configuré pour mettre en œuvre un algorithme prédéterminé, sur ladite séquence d’images générée, notamment sur un ou plusieurs points caractéristiques (par exemple, le coin des yeux, la position de la pupille, etc.) des images de la séquence d’images reçue, qu’il a déterminés dans les images, afin de déterminer le niveau de somnolence du conducteur, c’est-à-dire, de déterminer si le conducteur est somnolent pendant la conduite du véhicule 1 et/ou s’il est en état de somnolence ou de distraction.
[0032] L’algorithme prédéterminé est mis en œuvre à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur au volant. Ce ou ces paramètres peuvent être par exemple la fréquence des clignements de paupières du conducteur, la durée des clignements des paupières du conducteur, la hauteur de l’ouverture des paupières du conducteur, la position de certains éléments du visage (comme par exemple les oreilles, la bouche, le nez, etc.), la forme ou la taille du contour du visage du conducteur (dans le cas où la taille du contour du visage est faible, cela signifie que le conducteur est de face, et importante, que le conducteur est de profil), l’activité du visage du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux etc. Par ailleurs, la valeur de chaque paramètre est aussi modifiable.
[0033] Chaque mise en œuvre de l’algorithme est exécutée en temps réel avec une configuration des valeurs différente pour les seuils décisionnels. Afin d’avoir une fonction robuste qui donnera l’alerte de somnolence du conducteur et rendre ainsi le procédé adaptatif à chaque conducteur, il faut regarder les sorties de qualité pour chaque configuration différente. En fonction des phases d’apprentissage, chaque seuil sera modifié et personnalisé pour le conducteur en question en fonction de son comportement. L’ouverture des yeux, la durée de ses clignements, la vitesse de fermeture et ouverture des yeux, l’amplitude et la vitesse des mouvements de tête sont quelques paramètres qui peuvent être utilisés et ajustés lors de la phase d’apprentissage. [0034] La durée de la fenêtre temporelle d’analyse est de préférence fixe au début pour chaque mise en œuvre de l’algorithme et différentes configurations sont testées pendant la phase d’apprentissage. Le model décisionnel est de préférence basé sur les indicateurs de confiance pour chacune des mises en œuvre et entraîne une alerte plus robuste que les algorithmes classiques orientés sur une seule analyse.
[0035] Le calculateur 12 est configuré pour, lors d’une phase d’apprentissage réalisée pendant une durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule 1 , recevoir une séquence d’images du conducteur générée par la caméra 11, exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, et déterminer un degré de pertinence différent pour chaque ensemble utilisé, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins.
[0036] Le calculateur 12 est configuré pour, une fois la phase d’apprentissage terminée, lors d’une phase de surveillance de l’état du conducteur, recevoir une séquence d’images du conducteur générée par la caméra 11 , exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, et déterminer un niveau de somnolence du conducteur à partir de l’au moins une valeur déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil d’attention prédéterminé relatif audit au moins un paramètre.
[0037] De préférence, le véhicule 1 comprend en outre une interface 13, par exemple au niveau du tableau de bord du véhicule 1 , permettant notamment d’afficher ou diffuser un message d’alerte à l’attention du conducteur lorsque son niveau de somnolence est supérieur à un seuil d’alerte prédéterminé.
[0038] L’invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 2.
[0039] Tout d’abord, le procédé comprend une phase, dite « d’apprentissage » PH1. Cette phase d’apprentissage PH1 est de préférence réalisée à chaque fois que le moteur du véhicule 1 est démarré. [0040] La phase d’apprentissage PH1 comprend une étape de génération E0 d’une séquence d’images par la caméra 11. Ladite séquence d’images générée, représentant le conducteur, est ensuite envoyée au calculateur 12.
[0041] Ensuite, dans une étape de détermination E1 , le calculateur 12 détermine un ou plusieurs points caractéristiques des images de la séquence d’images générée, par exemple le coin de l’œil, la position de la pupille, etc.
[0042] Puis, la phase d’apprentissage PH1 comprend une étape E2 d’exécution par le calculateur 12 de l’algorithme prédéterminé sur ladite séquence d’images générée par la caméra 11. L’algorithme est réalisé une pluralité de fois en parallèle et chaque mise en œuvre dudit algorithme utilise un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer au moins une valeur pour chaque paramètre dudit ensemble. Ainsi, chaque mise en œuvre est unique car elle est réalisée à partir d’un ensemble prédéterminé de paramètres et/ou de valeurs de paramètres différent.
[0043] Enfin, la phase d’apprentissage PH1 comprend une étape de détermination E3 d’un degré de pertinence pour chaque ensemble utilisé. Autrement dit, cette étape permet de classer le ou les ensembles, à partir des mises en œuvre réalisées lors de l’étape précédente, du plus pertinent au moins pertinent par rapport à l'attitude du conducteur, c’est-à-dire de prioriser le ou les ensembles qui permettent de décrire au mieux le niveau de somnolence ou d’attention du conducteur au volant du véhicule 1 à ce moment-là.
[0044] Par ailleurs, cette étape de détermination E3 comprend également optionnellement la sélection du ou des ensembles, parmi la pluralité d’ensembles, le ou les plus pertinents. Cette sélection permet soit de connaître le ou les ensembles pertinents à considérer par le procédé, soit de ne pas utiliser le ou les ensembles les moins pertinents, autrement dit le ou les ensembles qui, après leur mise en œuvre respective par l’algorithme, représentent de façon inexacte ou trop approximative le niveau de somnolence du conducteur.
[0045] Ainsi, lors de cette phase d’apprentissage PH1 , qui dure de préférence entre 10 et 15 minutes, le procédé de détermination permet de déterminer le ou les ensembles, par leurs paramètres ou leurs valeurs de paramètres respectifs, le/les plus aptes à décrire le comportement d’un conducteur en particulier. En effet, chaque conducteur un ou plusieurs ensembles spécifiques permettant de décrire son comportement au volant. Ce ou ces ensembles seront donc utilisés postérieurement pour déterminer le niveau de somnolence du conducteur.
[0046] Ensuite, le procédé comprend une phase dite « de surveillance » PH2, postérieure à la phase d’apprentissage PH1 , permettant d’utiliser l’algorithme prédéfini combiné avec le ou les ensembles les plus pertinents et/ou le ou les ensembles sélectionnés précédemment. La phase de surveillance PH2 peut durer tant que le moteur du véhicule 1 est démarré. Ladite phase de surveillance PH2 comprend une étape de génération E4 d’une séquence d’images du conducteur par la caméra 11. Ladite séquence d’images générée, représentant le conducteur, est ensuite envoyée au calculateur 12.
[0047] Ensuite, la phase de surveillance PH2 comprend une étape d’exécution E5 continue de l’algorithme prédéterminé à partir de ladite séquence d’images générée dans la phase de surveillance PH2 et du ou des ensembles les plus pertinents ou du ou des ensembles sélectionnés dans la phase d’apprentissage PH1. Ainsi, dans cette étape d’exécution E5, le calculateur 12 exécute l’algorithme prédéfini, permettant ainsi de catégoriser le comportement du conducteur en fonction de différents niveaux de somnolence, d’un niveau alerte vers un niveau non alerte et enfin un niveau somnolent.
[0048] Le fait d’avoir plus d’un ensemble de paramètres et/ou de valeur de paramètres adapté au comportement d’un conducteur au volant permet en cas d’incertitude d’utiliser plusieurs ensembles pour caractériser l’attitude dudit conducteur, et ainsi de déterminer avec précision son niveau de somnolence. Par exemple, si lorsque le conducteur conduit le véhicule 1 et qu’il y a beaucoup de soleil, cela forcera ledit conducteur à plisser les yeux, l’ouverture des yeux est donc plus faible que lorsqu’il n’y a pas de soleil, mais cela ne traduit pas un état de somnolence. D’autre part, une maladie pourrait forcer le conducteur à cligner des yeux plus fréquemment que d’habitude, ou encore lorsque le conducteur est à un feu rouge et qu’il souhaite fermer les yeux quelques secondes pour reposer ses yeux ou s’étirer, ceci ne traduit pas non plus un niveau de somnolence ou d’attention faible. Il y a donc un besoin d’utiliser l’algorithme prédéfini avec plusieurs ensembles, comprenant des paramètres utilisés différents, afin de confirmer ou d’infirmer le niveau de somnolence du conducteur.
[0049] Lors de l’étape d’exécution E5 de l’algorithme prédéterminé, ledit algorithme prédéterminé permet également de mettre à jour le ou les ensembles caractéristiques de chaque conducteur. En effet, par exemple, dans le cas où le conducteur s’endort quelques secondes au volant, puis se réveille suite à des stimuli externes (comme par exemple le bruit du klaxon d’un autre usager de la route) les paramètres ou les valeurs de paramètres caractéristiques du ou des ensembles pertinents, et donc adaptés au comportement du conducteur, seront différents avant et après son endormissement. L’étape d’exécution E5 permet donc de mettre à jour les ensembles les plus pertinents, notamment en modifiant l’ordre de pertinence des ensembles et également en mettant à jour des paramètres. [0050] Dans ladite étape d’exécution E5 de l’algorithme prédéterminé, ledit algorithme prédéterminé, à partir des ensembles sélectionnés et mis à jour, détermine si le conducteur est en niveau de somnolence élevée (i.e. d’attention faible).
[0051] Ensuite, la phase de surveillance PH2 comprend une étape de détermination E6 d’un niveau de somnolence du conducteur, permettant de catégoriser ledit niveau de somnolence du conducteur. Grâce à la pluralité d’ensembles adaptés à chaque conducteur et au fait que la ou les ensembles soient mises à jour pendant l’utilisation du véhicule 1 , il est plus simple d’obtenir un diagnostic propre au conducteur avec un meilleur niveau de précision.
[0052] Enfin, lorsqu’un niveau élevé de somnolence est détecté, un signal d’alerte est généré à l’attention du conducteurl dans une étape d’alerte E7, qui est en dehors de la phase de surveillance PH2. De préférence, le calculateur 12 envoie un message d’alerte à l’interface 13, afin de prévenir le conducteur. Cette alerte peut se présenter sous la forme d’un signal sonore ou d’un signal lumineux, par exemple une icône qui s’allume sur l’interface 13, une vibration du siège ou des actionneurs (volant, pédales). Cette étape permet de catégoriser l’attitude du conducteur selon si le conducteur est attentif à la conduite, s’il n’est pas attentif/distrait ou s’il est en état de somnolence. Il peut y avoir plusieurs niveaux dans chaque catégorie.
[0053] En variante, dans le cas où le véhicule 1 peut être piloté de manière automatique dans un mode autonome, le calculateur 12 pourrait commander le passage en mode de conduite autonome lorsque le conducteur est distrait ou sombre dans un état de somnolence. Dans le cas de passage en mode manuel quand le système ne peut pas continuer en mode autonome, l’état du conducteur joue un rôle important et le système peut décider de faire un manouvre d’arrêt d’urgence si le conducteur n’est pas dans un état de reprendre le contrôle.
[0054] Un exemple de mise en œuvre du procédé est décrit dans le paragraphe suivant. Tout d’abord, cet exemple comprend un algorithme prédéterminé exécuté, selon la phase d’apprentissage PH1 , cinq fois par le calculateur 12, à partir d’une séquence d’images générées par la caméra 11 et de cinq ensembles prédéterminés de paramètres et/ou de valeurs de paramètres différents. Le premier ensemble comprend un paramètre concernant la fréquence de clignements des yeux avec un seuil à 200 ms, au-dessus duquel le risque que le conducteur soit dans un état somnolent est élevé. Le deuxième ensemble comprend un paramètre concernant la fréquence de clignement des yeux avec un seuil de 300 ms. Le troisième ensemble concerne la fréquence de clignements des yeux dont le seuil est de 350 ms. Le quatrième ensemble concerne un paramètre relatif à la fréquence de clignements des yeux dont le seuil est de 400 ms et un paramètre concernant l’ouverture des yeux, dont le calculateur 1 1 fait varier la valeur pour déterminer la plus adéquate et celle qui correspondra au mieux au conducteur du véhicule 1. Enfin le cinquième ensemble concerne un paramètre relatif à la taille de la tête, puisque de face la taille de la tête est moindre que lorsque la personne est de profil. Ainsi, à partir desdits premier, deuxième, troisième, quatrième et cinquième ensembles le procédé de détection permet d’obtenir respectivement les première, deuxième, troisième, quatrième et cinquième mises en œuvre, chaque premier, deuxième, troisième, quatrième et cinquième ensemble et chaque première, deuxième, troisième, quatrième et cinquième mise en œuvre étant unique et différente des autres.
[0055] Ensuite les cinq ensembles obtenus sont priorisés en fonction de leur degré de pertinence lors de l’étape de détermination E3 du degré de pertinence de la phase d’apprentissage PH1. On considère que l’ordre de pertinence déterminé dans cette étape, du plus pertinent au moins pertinent, est le suivant : deuxième ensemble, cinquième ensemble, troisième ensemble, quatrième ensemble, premier ensemble.
[0056] De plus, lors de cette étape, la sélection de certains ensembles peut être réalisé afin de n’utiliser lors du procédé que les ensembles les plus pertinentes, en rendant inactifs les ensembles non sélectionnés. Dans le cas présent, il est considéré que les deuxième, cinquième et troisième ensembles sont sélectionnés.
[0057] Suite à ceci, commence la phase de surveillance PH2, dans laquelle une séquence d’images est générée par la caméra 11 , puis à partir de la séquence d’images et des deuxième, cinquième et troisième ensembles précédemment sélectionnés, le calculateur 12 détermine le niveau de somnolence du conducteur. Comme dit précédemment, il permet de déterminer si le conducteur est attentif à la conduite, s’il n’est pas attentif/distrait ou s’il est en état de somnolence.
[0058] Dans le cas où le conducteur n’est pas attentif à sa conduite et/ou s’il est en état confirmé de somnolence, un message d’alerte est envoyé par le calculateur 12 vers l’interface 13 qui alerte le conducteur de son niveau de somnolence par exemple grâce à une icône lumineuse, une alerte sonore ou un message de prévention. Cette alerte permet de stimuler le conducteur dans le cas où il serait endormi, et/ou de lui conseiller d’effectuer un arrêt. En variante, un mode de conduite autonome du véhicule 1 pourrait être activé.
[0059] L’invention permet donc de déterminer de manière précise un niveau de somnolence du conducteur de sorte à l’alerter ou à prendre le relais de la conduite automatiquement.

Claims

REVENDICATIONS
[Revendication 1] Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule (1), notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule (1) comprenant une caméra (11) et un calculateur (12), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le procédé, mis en œuvre par le calculateur (12), comprenant :
a) une phase d’apprentissage (PH1) réalisée pendant une durée prédéterminée, comprenant les étapes de :
i) génération (E0) par la caméra (11) d’une séquence d’images consécutives du conducteur,
ii) détermination (E1) d’au moins un point caractéristique des images de la séquence d’images générée,
iii) exécution (E2) de l’algorithme prédéterminé sur l’au moins un point caractéristique des images de la séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle par le calculateur (12) afin de réaliser une pluralité de diagnostics, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble,
iv) détermination (E3) d’un degré de pertinence différent pour chaque mise en œuvre réalisée, les degrés de pertinence étant différents entre eux, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins, b) une fois la phase d’apprentissage (PH1) terminée, une phase de surveillance (PH2) de l’état du conducteur comprenant les étapes de:
i) génération (E4) par la caméra (11) d’une séquence d’images du conducteur, ii) exécution (E5) de l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre réalisée par le calculateur (12) à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble, iii) détermination (E6) d’un niveau de somnolence du conducteur à partir de la pluralité de valeurs déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre.
[Revendication 2] Procédé selon la revendication 1 , dans lequel la durée prédéterminée de la phase d’apprentissage (PH1) est comprise entre 5 et 20 minutes.
[Revendication 3] Procédé selon l’une quelconque des revendications précédentes, dans lequel la durée prédéterminée de la phase d’apprentissage (PH1) est inférieure à 20 minutes.
[Revendication 4] Procédé selon l’une quelconque des revendications précédentes, dans lequel l’au moins un paramètre de chaque ensemble est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux.
[Revendication 5] Procédé selon l’une quelconque des revendications précédentes, dans lequel l’exécution de l’algorithme prédéterminé est réalisée en phase de surveillance (PH2) dans une pluralité de mises en œuvre en parallèle.
[Revendication 6] Calculateur (12) de véhicule (1), notamment automobile, permettant la détermination d’un niveau de somnolence d’un conducteur dudit véhicule (1) à partir d’un algorithme prédéterminé d’analyse d’images, le véhicule (1) comprenant une caméra (11), ledit calculateur (12) mettant en œuvre ledit algorithme prédéterminé à partir d’un ensemble comprenant au moins un paramètre relatif à l’attitude du conducteur, le calculateur (12) étant configuré pour :
a) lors d’une phase d’apprentissage (PH1) réalisée pendant une durée prédéterminée, de préférence après chaque démarrage du moteur du véhicule (1) : i) recevoir une séquence d’images du conducteur générée par la caméra (11), ii) exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans une pluralité de mises en œuvre réalisées en parallèle, chaque mise en œuvre utilisant un ensemble différent de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble,
iii) déterminer un degré de pertinence différent pour chaque mise en œuvre réalisée, le degré de pertinence le plus élevé étant attribué à l’ensemble de paramètres prédéterminés et/ou d’intervalles prédéterminés de valeurs de paramètres utilisé pour lequel les valeurs déterminées des paramètres varient le moins,
b) une fois la phase d’apprentissage (PH1) terminée, lors d’une phase de surveillance (PH2) de l’état du conducteur:
i) recevoir une séquence d’images du conducteur générée par la caméra (1 1), ii) exécuter l’algorithme prédéterminé sur ladite séquence d’images générée dans au moins une mise en œuvre à partir d’au moins l’ensemble de paramètres et/ou de valeurs de paramètres ayant le degré de pertinence le plus élevé, de manière à déterminer une pluralité de valeurs pour chaque paramètre dudit ensemble,
iii) déterminer un niveau de somnolence du conducteur à partir de la pluralité de valeurs déterminée pour chaque paramètre dudit ensemble et d’au moins un seuil prédéterminé relatif audit au moins un paramètre.
[Revendication 7] Calculateur (12), selon la revendication précédente, dans lequel la durée prédéterminée de la phase d’apprentissage (PH1) est comprise entre 5 et 20 minutes.
[Revendication 8] Calculateur (12), selon l’une des revendications 6 et 7, dans lequel l’au moins un paramètre de chaque ensemble est l’un parmi la fréquence de clignement des paupières du conducteur, la durée de clignement des paupières du conducteur, l’amplitude de clignement des paupières du conducteur, l’activité du visage du conducteur, la taille du contour du visage du conducteur, la hauteur de l’ouverture entre les paupières de chaque œil du conducteur, les mouvements de la tête avec l’amplitude et la durée comme indicateurs principaux.
[Revendication 9] Calculateur (12), selon l’une des revendications 6 à 8, dans lequel l’exécution de l’algorithme prédéterminé est réalisée en phase de surveillance (PH2) dans une pluralité de mises en œuvre en parallèle.
[Revendication 10] Véhicule (1) comprenant une caméra (1 1) configurée pour générer une séquence d’images et un calculateur (12) selon l’une des revendications 6 à 9 reliée à ladite caméra (12).
EP19829064.5A 2018-12-13 2019-12-13 Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule Pending EP3895142A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1872824A FR3090171B1 (fr) 2018-12-13 2018-12-13 Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule
PCT/EP2019/085147 WO2020120760A1 (fr) 2018-12-13 2019-12-13 Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule

Publications (1)

Publication Number Publication Date
EP3895142A1 true EP3895142A1 (fr) 2021-10-20

Family

ID=66166248

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19829064.5A Pending EP3895142A1 (fr) 2018-12-13 2019-12-13 Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule

Country Status (5)

Country Link
US (1) US20220027646A1 (fr)
EP (1) EP3895142A1 (fr)
CN (1) CN113168758B (fr)
FR (1) FR3090171B1 (fr)
WO (1) WO2020120760A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983921B2 (en) * 2021-07-26 2024-05-14 Ubkang (Qingdao) Technology Co., Ltd. Human abnormal behavior response method and mobility aid robot using the same
FR3141404A1 (fr) * 2022-10-31 2024-05-03 Alstom Holdings Dispositif de veille pour conducteur de véhicule ferroviaire, à confort amélioré

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5813993A (en) * 1996-04-05 1998-09-29 Consolidated Research Of Richmond, Inc. Alertness and drowsiness detection and tracking system
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
CN101030316B (zh) * 2007-04-17 2010-04-21 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN101593352A (zh) * 2009-06-12 2009-12-02 浙江大学 基于面部朝向和视觉焦点的驾驶安全监测系统
KR101327007B1 (ko) * 2011-10-17 2013-11-13 현대자동차주식회사 차량 운행상태 정보 기반 운전 집중도 판단 방법 및 그 시스템
US9471881B2 (en) * 2013-01-21 2016-10-18 International Business Machines Corporation Transductive feature selection with maximum-relevancy and minimum-redundancy criteria
CN105354988B (zh) * 2015-12-11 2018-02-27 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
FR3048542A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
CN110291478B (zh) * 2016-12-22 2023-09-29 斯坦福国际研究院 驾驶员监视和响应系统
US11341756B2 (en) * 2017-10-02 2022-05-24 Fotonation Limited Human monitoring system incorporating calibration methodology

Also Published As

Publication number Publication date
US20220027646A1 (en) 2022-01-27
FR3090171A1 (fr) 2020-06-19
FR3090171B1 (fr) 2021-01-29
CN113168758A (zh) 2021-07-23
WO2020120760A1 (fr) 2020-06-18
CN113168758B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
WO2017149047A1 (fr) Dispositif et méthode de surveillance d'un conducteur d'un véhicule automobile
US11587461B2 (en) Context-sensitive adjustment of off-road glance time
WO2020120760A1 (fr) Procédé de détermination d'un niveau de somnolence d'un conducteur de véhicule
WO2017149046A1 (fr) Dispositif et méthode de surveillance d'un conducteur d'un véhicule de transport
US11148673B2 (en) Vehicle operator awareness detection
FR2977851A1 (fr) Commande de regulation de vitesse d'un vehicule
WO2017137612A1 (fr) Dispositif et méthode anti-collision pour un véhicule automobile
WO2016135391A1 (fr) Dispositif d'aide à la conduite d'un véhicule en fonction d'une estimation d'au moins un niveau de vigilance globale du conducteur
FR3012029A1 (fr) Procede de detection de la baisse de vigilance du conducteur d'un vehicule automobile
FR3057517A1 (fr) Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
JP6357939B2 (ja) 車両用制御装置
WO2020120751A1 (fr) Procédé de détermination d'un niveau de vigilance d'un conducteur
EP3867126B1 (fr) Procédé et dispositif d'aide à la conduite d'un véhicule automobile en phase de recul
US20230356736A1 (en) Systems and methods for driver state conditioned visual signals
EP4296136A1 (fr) Procédé d'alerte d'un conducteur d'un véhicule automobile après détermination de zones non surveillées par le conducteur
FR3129123A1 (fr) Activation automatique de clignotants d’un véhicule automobile
FR3057516A1 (fr) Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
FR3118444A1 (fr) Dispositif d’analyse de la perception d’un danger par un conducteur de véhicule et procédé associé
WO2021065002A1 (fr) Système de prévention de la somnolence d'un conducteur, ordinateur, terminal, procédé de prévention de la somnolence d'un conducteur et programme
FR3113881A1 (fr) Procédé d’affichage sécurisé d’informations dans un véhicule.
CN116088790A (zh) 车辆的多媒体音量的控制方法、装置、车辆及存储介质
CN114212093A (zh) 一种安全驾驶监控方法、系统及可存储介质
FR3130732A1 (fr) Procédé pour déterminer l’attention d’un conducteur dans un véhicule circulant de manière partiellement autonome
WO2022157026A1 (fr) Procédé de détermination d'un niveau de distraction d'un conducteur de véhicule

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210713

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231123

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH