FR3048543A1

FR3048543A1 - DEVICE AND METHOD FOR MONITORING A CONDUCTOR OF A TRANSPORT VEHICLE

Info

Publication number: FR3048543A1
Application number: FR1651688A
Authority: FR
Inventors: Jeremie Pinoteau
Original assignee: Valeo Comfort and Driving Assistance SAS
Current assignee: Valeo Comfort and Driving Assistance SAS
Priority date: 2016-03-01
Filing date: 2016-03-01
Publication date: 2017-09-08
Also published as: WO2017149046A1

Abstract

L'invention concerne un dispositif de surveillance (500) d'un conducteur d'un véhicule de transport, comprenant - un dispositif de mesure (200) d'un paramètre de surveillance du conducteur, - une unité de commande (100) programmée pour estimer un état de vigilance du conducteur en fonction d'une règle d'estimation et en fonction de la valeur mesurée dudit paramètre de surveillance, ledit dispositif de surveillance comprenant en outre un dispositif de génération d'un signal sonde et un dispositif de détection (300) d'une réponse du conducteur à ce signal sonde et ladite unité de commande étant programmée pour modifier ladite règle d'estimation en fonction de la réponse du conducteur au signal sonde et de la valeur du paramètre de surveillance du conducteur mesurée dans un intervalle de temps prédéterminé avant la génération du signal sonde. L'invention concerne également une méthode de surveillance associée.The invention relates to a device for monitoring (500) a driver of a transport vehicle, comprising - a device (200) for measuring a parameter for monitoring the driver, - a control unit (100) programmed for estimating a state of vigilance of the driver according to an estimation rule and according to the measured value of said monitoring parameter, said monitoring device further comprising a device for generating a probe signal and a detection device ( 300) of a response from the driver to this probe signal and said control unit being programmed to modify said estimation rule according to the response of the driver to the probe signal and the value of the driver monitoring parameter measured in an interval. predetermined time before the generation of the probe signal. The invention also relates to an associated monitoring method.

Description

Domaine technique auquel se rapporte l'inventionTechnical field to which the invention relates

La présente invention concerne de manière générale le domaine de la surveillance du conducteur d’un véhicule de transport.The present invention relates generally to the field of monitoring the driver of a transport vehicle.

Elle concerne plus particulièrement un dispositif et une méthode de surveillance de ce conducteur.It relates more particularly to a device and a method of monitoring this driver.

Elle trouve une application particulièrement avantageuse pour la surveillance du conducteur d’un véhicule automobile.It finds a particularly advantageous application for monitoring the driver of a motor vehicle.

Arriere-plan technologiqueTechnological background

Il est connu de surveiller le conducteur d’un véhicule de transport afin de détecter une éventuelle baisse de vigilance pouvant mener à un contrôle insuffisant du véhicule. A cet effet, un paramètre de surveillance du conducteur est mesuré et interprété par une unité de commande pour en déduire une information sur l’état de vigilance du conducteur.It is known to monitor the driver of a transport vehicle to detect a possible decline in alertness that may lead to insufficient control of the vehicle. For this purpose, a driver monitoring parameter is measured and interpreted by a control unit to derive information on the state of vigilance of the driver.

Cependant, l’interprétation du paramètre mesuré est rendue délicate par les différences importantes rencontrées entre les conducteurs.However, the interpretation of the measured parameter is made difficult by the important differences encountered between the drivers.

Par ailleurs, les solutions existantes pour l’adaptation de cette interprétation à un conducteur précis sont soit peu satisfaisante en termes de performance, soit fastidieuse à mettre en oeuvre car nécessitent une participation active du conducteur.Furthermore, the existing solutions for adapting this interpretation to a specific driver are either unsatisfactory in terms of performance, or tedious to implement because require active participation of the driver.

Objet de l’inventionObject of the invention

Afin de remédier à l’inconvénient précité de l’état de la technique, la présente invention propose un dispositif et une méthode de surveillance du conducteur permettant une adaptation de l’interprétation du paramètre de surveillance mesuré en fonction du conducteur du véhicule, sans qu’une participation active de ce conducteur ne soit nécessaire.In order to overcome the above-mentioned disadvantage of the state of the art, the present invention proposes a device and a method of monitoring the conductor making it possible to adapt the interpretation of the measured monitoring parameter according to the driver of the vehicle, without active participation of this driver is necessary.

Plus particulièrement, on propose selon l’invention un dispositif de surveillance du conducteur d’un véhicule de transport, comprenant - un dispositif de mesure d’un paramètre de surveillance du conducteur, - une unité de commande programmée pour estimer un état de vigilance du conducteur en fonction d’une règle d’estimation et en fonction de la valeur mesurée dudit paramètre de surveillance, ledit dispositif de surveillance comprenant en outre un dispositif de génération d’un signal sonde et un dispositif de détection d’une réponse du conducteur à ce signal sonde et ladite unité de commande étant programmée pour modifier ladite règle d’estimation en fonction de la réponse du conducteur au signal sonde et de la valeur du paramètre de surveillance du conducteur mesurée dans un intervalle de temps prédéterminé avant la génération du signal sonde.More particularly, the invention proposes a device for monitoring the driver of a transport vehicle, comprising - a device for measuring a driver monitoring parameter, - a control unit programmed to estimate a state of vigilance of the driver. according to an estimation rule and according to the measured value of said monitoring parameter, said monitoring device further comprising a device for generating a probe signal and a device for detecting a response of the driver to this probe signal and said control unit being programmed to modify said estimation rule according to the response of the driver to the probe signal and the value of the measured driver monitoring parameter in a predetermined time interval before the generation of the probe signal .

Ainsi, grâce au dispositif selon l’invention, la règle d’estimation utilisée par l’unité de commande pour interpréter la valeur mesurée du paramètre de surveillance et en déduire l’état de vigilance du conducteur est adaptée au conducteur précis du véhicule grâce à un apprentissage qui est supervisé de manière peu contraignante pour le conducteur.Thus, thanks to the device according to the invention, the estimation rule used by the control unit to interpret the measured value of the monitoring parameter and to deduce the state of vigilance of the driver is adapted to the precise driver of the vehicle thanks to an apprenticeship that is supervised in a way that is not very restrictive for the driver.

En effet, le signal sonde et la détection de la réponse du conducteur autorise une vérification de l’estimation de l’état de vigilance du conducteur basée sur la seule mesure du paramètre de surveillance, à partir de la règle d’estimation. Selon l’invention, cette vérification constitue une donnée qui est prise en compte pour ajuster la règle d’estimation en fonction du comportement et des habitudes du conducteur spécifique du véhicule. D’autres caractéristiques non limitatives et avantageuses du dispositif conforme à l’invention sont les suivantes : - l’unité de commande est programmée en utilisant un algorithme d’apprentissage tel que un réseau Bayésien et/ou un réseau de neurones, et/ou un algorithme d’apprentissage profond et/ou une machine à vecteurs de supports et/ou un arbre de décision, de manière à automatiquement modifier la règle d’estimation en fonction de la réponse du conducteur au signal sonde ; - le dispositif de génération du signal sonde est adapté à générer un signal sonde dont l’intensité augmente dans le temps et le dispositif de détection de la réponse du conducteur détermine une information représentative du temps de réponse écoulé entre le moment de la génération du signal sonde et le moment où est détecté la réponse du conducteur ; - ledit paramètre de surveillance mesuré par le dispositif de mesure est relatif à la direction de regard du conducteur et/ou à la pose de la tête du conducteur, et/ou à la fermeture des paupières du conducteur ; - ledit paramètre de surveillance mesuré par le dispositif de mesure est relatif à la pression des mains sur le volant du véhicule ou à une grandeur biométrique du conducteur et ledit dispositif de mesure comprend au moins un dispositif de mesure de la pression des mains sur le volant du véhicule ou un dispositif de mesure d’une grandeur biométrique du conducteur ; - ledit paramètre de surveillance mesuré par le dispositif de mesure est relatif à la conduite du véhicule par le conducteur et/ou à des données provenant du réseau GAN du véhicule et ledit dispositif de mesure comprend au moins un dispositif de mesure d’une grandeur relative à la conduite du véhicule par le conducteur et/ou des capteurs du véhicules connectés au réseau GAN du véhicule le dispositif de mesure comprend au moins un dispositif de capture d’image de la tête du conducteur et ledit paramètre de surveillance du conducteur mesuré est déterminé en fonction d’au moins une image capturée de la tête du conducteur ; - l’unité de commande est programmée pour mettre en mémoire la règle d’estimation modifiée en relation avec un identifiant du conducteur ; et, - il est prévu un dispositif de génération d’un signal d’alerte et dans lequel l’unité de commande est programmée pour déclencher la génération du signal d’alerte en fonction de l’état de vigilance du conducteur estimé. L’invention propose également une méthode de surveillance du conducteur d’un véhicule de transport, comprenant les étapes suivantes : - on mesure un paramètre de surveillance du conducteur, - on estime un état de vigilance du conducteur en fonction d’une règle de détermination de l’état de vigilance du conducteur et de la valeur mesurée du paramètre de surveillance, - on génère un signal sonde, - on détecte la réponse du conducteur à ce signal sonde, - on modifie ladite règle d’estimation de l’état de vigilance du conducteur en fonction de la réponse du conducteur au signal sonde et de la valeur du paramètre de surveillance du conducteur mesurée dans un intervalle de temps prédéterminé avant la génération du signal sonde. D’autres caractéristiques non limitatives et avantageuses du dispositif conforme à l’invention sont les suivantes : - dans une étape préalable à la modification de la règle d’estimation, on détermine un état de vigilance de référence en fonction de la réponse du conducteur au signal sonde détectée, et on compare cet état de vigilance de référence et l’état de vigilance estimé en fonction de la règle d’estimation ; - pour modifier la règle d’estimation, on utilise un algorithme d’apprentissage qui prend en compte le paramètre de surveillance du conducteur mesuré et l’état de vigilance de référence ; - on met en mémoire la règle d’estimation modifiée en relation avec un identifiant du conducteur ; et, - lorsque l’étape d’estimation de l’état de vigilance du conducteur indique que la vigilance du conducteur est insuffisante, on émet un signal d’alerte destiné à améliorer la vigilance du conducteur.Indeed, the probe signal and the detection of the response of the driver allows a verification of the estimate of the state of vigilance of the driver based on the only measurement of the monitoring parameter, from the estimation rule. According to the invention, this verification constitutes data that is taken into account to adjust the estimation rule according to the behavior and habits of the specific driver of the vehicle. Other nonlimiting and advantageous features of the device according to the invention are the following: the control unit is programmed using a learning algorithm such as a Bayesian network and / or a network of neurons, and / or a deep learning algorithm and / or a carrier vector machine and / or a decision tree, so as to automatically modify the estimation rule according to the response of the driver to the probe signal; the device for generating the probe signal is adapted to generate a probe signal whose intensity increases over time and the device for detecting the response of the conductor determines information representative of the response time that has elapsed between the moment of generation of the signal probe and the moment when the driver response is detected; said monitoring parameter measured by the measuring device is relative to the direction of gaze of the driver and / or to the laying of the driver's head, and / or to the closure of the driver's eyelids; - said monitoring parameter measured by the measuring device is relative to the hand pressure on the steering wheel of the vehicle or a biometric size of the driver and said measuring device comprises at least one device for measuring the hand pressure on the steering wheel the vehicle or a device for measuring a biometric size of the driver; - said monitoring parameter measured by the measuring device is relative to the driving of the vehicle by the driver and / or data from the vehicle GAN network and said measuring device comprises at least one device for measuring a relative magnitude when driving the vehicle by the driver and / or sensors of the vehicle connected to the vehicle GAN network the measuring device comprises at least one image capture device of the driver's head and said measured driver monitoring parameter is determined according to at least one captured image of the driver's head; the control unit is programmed to store the modified estimation rule in relation to a driver identifier; and, there is provided a device for generating an alert signal and in which the control unit is programmed to trigger the generation of the warning signal as a function of the state of vigilance of the estimated driver. The invention also proposes a method for monitoring the driver of a transport vehicle, comprising the following steps: - a driver monitoring parameter is measured, - a driver's state of vigilance is estimated according to a determination rule of the state of vigilance of the driver and the measured value of the monitoring parameter, - a probe signal is generated, - the response of the driver to this probe signal is detected, - the said rule of estimation of the state of driver vigilance according to the response of the driver to the probe signal and the value of the monitored conductor parameter in a predetermined time interval before the generation of the probe signal. Other non-limiting and advantageous features of the device according to the invention are the following: in a step prior to the modification of the estimation rule, a reference vigilance state is determined according to the response of the driver to the detected probe signal, and this reference vigilance state is compared with the state of vigilance estimated according to the estimation rule; to modify the estimation rule, a learning algorithm is used which takes into account the measured driver monitoring parameter and the reference vigilance state; the modified estimation rule is stored in relation to an identifier of the driver; and, when the driver's state of vigilance estimation step indicates that the driver's vigilance is insufficient, an alert signal is issued to improve the driver's vigilance.

Description detaillee d’un exemple de réalisationDetailed description of an example of realization

La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.The following description with reference to the accompanying drawings, given as non-limiting examples, will make it clear what the invention consists of and how it can be achieved.

Sur les dessins annexés, - la figure 1 représente schématiquement les différents éléments du dispositif de surveillance selon l’invention, - la figure 2 représente schématiquement les différentes étapes de la méthode de surveillance selon l’invention.In the accompanying drawings, - Figure 1 shows schematically the various elements of the monitoring device according to the invention - Figure 2 schematically shows the different steps of the monitoring method according to the invention.

DispositifDevice

Sur la figure 1, on a représenté schématiquement différents éléments d’un dispositif de surveillance 500 selon l’invention.FIG. 1 diagrammatically shows various elements of a monitoring device 500 according to the invention.

Ce dispositif de surveillance 500 comprend un dispositif de mesure 200 d’un paramètre de surveillance du conducteur et une unité de commande 100 qui reçoit des informations de ce dispositif de mesure 200.This monitoring device 500 comprises a measuring device 200 of a driver monitoring parameter and a control unit 100 which receives information from this measuring device 200.

De manière générale, le dispositif de mesure 200 enregistre des informations sur le conducteur sans interagir avec celui-ci, donc sans le perturber. En particulier, le dispositif de mesure 200 n’émet aucun signal en direction du conducteur. Cela présente l’avantage de permettre au dispositif de mesure 200 d’enregistrer le comportement naturel du conducteur, en l’absence de toute perturbation ou contrainte par le dispositif de mesure 200.In general, the measuring device 200 records information on the driver without interacting with it, thus without disturbing it. In particular, the measuring device 200 emits no signal towards the driver. This has the advantage of allowing the measuring device 200 to record the natural behavior of the conductor, in the absence of any disturbance or constraint by the measuring device 200.

Le dispositif de mesure 200 du paramètre de surveillance du conducteur est sans interaction avec le conducteur.The measuring device 200 of the driver monitoring parameter is without interaction with the driver.

Plus précisément, dans l’exemple de réalisation décrit ici, le dispositif de mesure 200 comprend au moins un dispositif de capture d’image de la tête du conducteur.More specifically, in the embodiment described here, the measuring device 200 comprises at least one image capture device of the driver's head.

Ce dispositif de capture d’image comprend par exemple une caméra disposée au dessus du volant du véhicule.This image capture device comprises for example a camera disposed above the steering wheel of the vehicle.

En variante, il peut comprendre tout dispositif de capture d’image positionné de manière à ce que le visage du conducteur dans sa position de conduite entre dans le champ de ce dispositif de capture d’image.Alternatively, it may include any image capture device positioned so that the driver's face in his driving position enters the field of this image capture device.

Par exemple, ledit paramètre de surveillance mesuré par le dispositif de mesure 200 est relatif à la direction de regard du conducteur et/ou à la pose de la tête du conducteur, et/ou à la fermeture des paupières du conducteur.For example, said monitoring parameter measured by the measuring device 200 is relative to the direction of gaze of the driver and / or the laying of the driver's head, and / or the closing of the eyelids of the driver.

Ce paramètre de surveillance du conducteur mesuré est déterminé en fonction d’au moins une image de la tête du conducteur capturée par le dispositif de mesure 200.This measured driver monitoring parameter is determined according to at least one image of the driver's head captured by the measuring device 200.

Ce paramètre peut être également déterminé à partir de deux images de la tête du conducteur ou plus.This parameter can also be determined from two or more images of the driver's head.

Il peut alors également comprendre une information statistique sur un ensemble de données mesurées sur une pluralité de capture d’image de la tête du conducteur.It can then also include statistical information on a set of measured data on a plurality of image capture of the driver's head.

En particulier, lorsque le paramètre de surveillance du conducteur est relatif à la direction du regard du conducteur, le dispositif de capture d’image peut comprendre tout dispositif de suivi de la direction du regard connu de l’Homme du métier. Le paramètre de surveillance relatif à la direction du regard du conducteur peut notamment être la direction du regard dans un référentiel lié au dispositif de capture d’image ou dans un référentiel lié à la tête du conducteur, ou la position des pupilles du conducteur dans un tel référentiel.In particular, when the driver monitoring parameter is relative to the direction of the gaze of the driver, the image capture device may include any device for monitoring the direction of gaze known to those skilled in the art. The monitoring parameter relating to the direction of the gaze of the driver may in particular be the direction of gaze in a repository related to the image capture device or in a repository related to the driver's head, or the position of the driver's pupils in a such reference.

Il peut également comprendre une durée de fixation d’un même point, c’est-à-dire la durée pendant laquelle la direction du regard dans le référentiel lié à la tête du conducteur est constante, une fréquence des moments de fixation d’un même point, une fréquence et une durée des saccades des yeux, c’est-à-dire des mouvements des yeux entre deux moments de fixation d’un même point.It may also include a duration of fixing the same point, that is to say the duration during which the direction of gaze in the frame linked to the driver's head is constant, a frequency of the moments of fixation of a same point, a frequency and a duration of saccades of the eyes, that is to say movements of the eyes between two moments of fixation of the same point.

Le paramètre de surveillance peut également comprendre une information statistique sur un ensemble de directions du regard mesurées à partir d’une pluralité de captures d’image réalisées pendant une durée prédéterminée, par exemple une direction moyenne du regard, un écart type à cette direction moyenne, une description de la distribution statistique des directions de regard.The monitoring parameter may also comprise statistical information on a set of viewing directions measured from a plurality of image captures made during a predetermined duration, for example an average direction of view, a standard deviation at this mean direction , a description of the statistical distribution of gaze directions.

Le paramètre de surveillance du conducteur relatif à la pose de la tête peut comprendre une position et une orientation de la tête du conducteur dans le référentiel lié au dispositif de capture d’image. Il peut également comprendre par exemple une information statistique sur un ensemble de poses mesurées à partir d’une pluralité de captures d’image réalisées pendant une durée prédéterminée, un spectre fréquentiel des mouvements de la tête, ou une position moyenne de la tête dans un intervalle de temps donné. Le paramètre de surveillance du conducteur relatif à la fermeture des paupières du conducteur peut comprendre une fréquence de clignement des yeux, une durée de fermeture des paupières, une vitesse de fermeture des paupières, une durée de clignement des yeux, une classification des différents types de fermeture des yeux, ou une information statistique sur la fréquence ou la durée de fermeture des paupières du conducteur de type moyenne ou écart-type. Le dispositif de mesure 200 peut également comprendre deux dispositifs de capture d’image autorisant la reconstitution d’une image de la tête du conducteur en trois dimensions, par stéréoscopie.The driver monitoring parameter relating to the laying of the head may include a position and orientation of the driver's head in the repository related to the image capture device. It may also comprise, for example, statistical information on a set of poses measured from a plurality of image captures made during a predetermined duration, a frequency spectrum of the movements of the head, or an average position of the head in a given time interval. The driver monitoring parameter for closing the driver's eyelids may include an eye blink frequency, an eyelid closing time, an eyelid closing speed, an eye blink duration, a classification of the different types of eyelids. closure of the eyes, or statistical information on the frequency or duration of closure of the eyelids of the driver of average type or standard deviation. The measuring device 200 may also include two image capture devices allowing the reconstruction of an image of the driver's head in three dimensions, by stereoscopy.

En variante, le dispositif de mesure peut comprendre d’autres types de capteurs permettant la mesure d’autres types de paramètre de surveillance, en plus d’au moins un des paramètres de surveillance déjà cité, ou en remplacement de ce paramètre de surveillance.As a variant, the measuring device may comprise other types of sensors making it possible to measure other types of monitoring parameter, in addition to at least one of the monitoring parameters already mentioned, or in replacement of this monitoring parameter.

Notamment, ledit paramètre de surveillance mesuré par le dispositif de mesure peut être relatif à la pression des mains sur le volant du véhicule, à une grandeur biométrique du conducteur, ou encore à la conduite de ce conducteur.In particular, said monitoring parameter measured by the measuring device may be relative to the hand pressure on the steering wheel of the vehicle, to a biometric size of the driver, or to the driving of this driver.

Il peut s’agir notamment de données provenant du réseau GAN du véhicule. Le réseau GAN (Gontroller Area Network) est un bus multiplexés qui relie les différents capteurs et/ou calculateurs présents dans le véhicule.This may include data from the GAN network of the vehicle. The GAN (Gontroller Area Network) is a multiplexed bus that connects the various sensors and / or computers present in the vehicle.

Par exemple, le dispositif de mesure peut comprendre un capteur adapté à mesurer la pression des mains sur le volant du véhicule.For example, the measuring device may comprise a sensor adapted to measure the pressure of the hands on the steering wheel of the vehicle.

Le dispositif de mesure peut par exemple comprendre un ou des capteurs biométriques permettant par exemple de mesurer ladite grandeur biométrique, par exemple le rythme cardiaque du conducteur, et/ou la fréquence, et/ou l’amplitude d’une variation de taille de la pupille du conducteur, et/ou la température corporelle du conducteur, et/ou le rythme respiratoire, et/ou la glycémie du conducteur, et/ou l’activité cérébrale du conducteur.The measuring device may for example comprise one or more biometric sensors making it possible, for example, to measure said biometric magnitude, for example the driver's heart rate, and / or the frequency, and / or the amplitude of a variation in the size of the driver's pupil, and / or driver's body temperature, and / or breathing rate, and / or driver's blood glucose, and / or the brain activity of the driver.

Le dispositif de mesure peut également inclure un dispositif de mesure d’une grandeur relative à la conduite du véhicule par le conducteur et/ou des capteurs du véhicules connectés au réseau GAN du véhicule.The measuring device may also include a measuring device of a magnitude relative to the conduct of the vehicle by the driver and / or sensors of the vehicle connected to the GAN network of the vehicle.

Il s’agit par exemple de capteurs préexistants du véhicule, qui transmettent à l’unité de commande des données relatives à la conduite du véhicule par le conducteur et/ou des données provenant du réseau GAN du véhicule telles que données GPS, signaux d’accélération/freinage, informations sur l’activation de certaines fonctions du véhicule, comme par exemple l’activation de la connexion sans fil d’un téléphone portable au véhicule ou des données indiquant une conduite selon une trajectoire peu adaptée à la route.These are, for example, pre-existing sensors of the vehicle, which transmit to the control unit data relating to the driving of the vehicle by the driver and / or data coming from the GAN network of the vehicle such as GPS data, signals of the vehicle. acceleration / braking, information on the activation of certain vehicle functions, such as, for example, activating the wireless connection of a mobile phone to the vehicle, or data indicating driving in a path that is not suited to the road.

Ces données peuvent inclure, par exemple, la déviation latérale du véhicule par rapport au centre de sa voie, la stabilité latérale du véhicule, la fréquence et l’amplitude de micro-corrections exercées par le conducteur sur le volant. L’unité de commande 100 du dispositif de surveillance 500 selon l’invention est programmée pour estimer un état de vigilance du conducteur en fonction d’une première règle d’estimation et en fonction de la valeur mesurée dudit paramètre de surveillance.These data may include, for example, the lateral deviation of the vehicle from the center of its path, the lateral stability of the vehicle, the frequency and the amplitude of micro-corrections exerted by the driver on the steering wheel. The control unit 100 of the monitoring device 500 according to the invention is programmed to estimate a state of vigilance of the driver according to a first estimation rule and according to the measured value of said monitoring parameter.

La première règle d’estimation est mise en œuvre par un premier module d’estimation 101 de l’unité de commande 100 (figure 1).The first estimation rule is implemented by a first estimation module 101 of the control unit 100 (FIG. 1).

La première règle d’estimation comporte en sortie plusieurs niveaux de vigilance du conducteur possible. Il est prévu au moins deux niveaux correspondant à une vigilance satisfaisante ou insuffisante. De préférence, il est prévu au moins trois niveaux de vigilance. L’état de vigilance comprend par exemple de préférence un niveau d’éveil et/ou un niveau d’attention.The first rule of estimation includes as output several levels of vigilance of the possible driver. At least two levels are foreseen corresponding to satisfactory or insufficient vigilance. Preferably, at least three levels of vigilance are provided. The state of alertness preferably includes, for example, a level of awareness and / or a level of attention.

Par exemple, les niveaux suivants sont prévus pour estimer l’éveil ou au contraire la somnolence éventuelle du conducteur : éveil alerte, hypovigilance, et endormissement.For example, the following levels are designed to estimate awakening or, on the contrary, the driver's somnolence: alert awakening, hypovigilance, and falling asleep.

Le niveau d’éveil alerte correspond à un niveau d’éveil, et donc un état de vigilance, satisfaisant du conducteur.The level of alert awakening corresponds to a level of awakening, and therefore a state of vigilance, satisfactory to the driver.

Au contraire, l’hypovigilance et l’endormissement correspondent à un niveau d’éveil, et donc un état de vigilance, insatisfaisant. L’hypovigilance aussi appelée éveil relaxé est un niveau d’éveil abaissé caractérisé par des schémas spécifiques d’activité cérébrale, notamment la présence d’onde alpha dont la fréquence varie de 8 à 12 Hz. Les mouvements corporels sont plus rares qu’en état d’éveil alerte, le temps de réaction est allongé. L’attention est plus labile, il est donc plus difficile de se concentrer sur une tâche. L’endormissement correspond à un état intermédiaire entre le sommeil et l’éveil caractérisé par des schémas spécifiques d’activité cérébrale, notamment la présence d’onde thêta dont la fréquence varie de 3,5 à 7,5 Hz, des mouvements oculaires lents et une réduction du tonus musculaire. La présence de bâillements peut être détectée. Si la personne lutte contre l’endormissement, des microsommeils peuvent être observés.On the contrary, hypovigilance and falling asleep correspond to a level of awakening, and therefore a state of vigilance, unsatisfactory. Hypovigilance also known as relaxed awakening is a level of lowered awakening characterized by specific patterns of brain activity, including the presence of alpha wave whose frequency varies from 8 to 12 Hz. Body movements are more rare than Alert state of alertness, the reaction time is lengthened. Attention is more labile, so it's harder to focus on a task. Sleepiness is an intermediate state between sleep and wakefulness characterized by specific patterns of brain activity, including the presence of a theta wave whose frequency varies from 3.5 to 7.5 Hz, slow eye movements and a reduction in muscle tone. The presence of yawning can be detected. If the person is fighting against falling asleep, microsomiles can be observed.

Les niveaux suivants peuvent être prévus pour estimer la distraction du conducteur : concentration, faible distraction, forte distraction.The following levels can be expected to estimate driver distraction: concentration, low distraction, high distraction.

Le niveau de concentration correspond à un niveau d’attention, et donc un état de vigilance, satisfaisant du conducteur.The level of concentration corresponds to a level of attention, and therefore a state of vigilance, satisfactory to the driver.

Au contraire, les niveaux de distraction faible ou forte correspondent à un niveau d’attention, et donc un état de vigilance, insatisfaisant.On the contrary, low or high levels of distraction correspond to a level of attention, and therefore a state of alertness, unsatisfactory.

Selon un premier mode de réalisation simplifié, ladite première règle d’estimation comprend une comparaison entre la valeur mesurée du paramètre de surveillance du conducteur et une valeur seuil de ce paramètre de surveillance.According to a first simplified embodiment, said first estimation rule comprises a comparison between the measured value of the driver monitoring parameter and a threshold value of this monitoring parameter.

Par exemple, lorsque le paramètre de surveillance du conducteur est une fréquence ou une durée de fermeture des paupières du conducteur, la première règle d’estimation peut comprendre la comparaison entre la valeur mesurée de fréquence ou de durée avec une valeur seuil de fréquence ou de durée. Lorsque la valeur mesurée de fréquence ou de durée est supérieure à la valeur seuil de fréquence ou de durée, la première règle d’estimation renvoie en sortie un état de vigilance du conducteur indiquant que celui-ci est somnolent, distrait ou présente une vigilance insuffisante.For example, when the driver monitoring parameter is a driver's eyelid closing frequency or duration, the first estimation rule may include comparing the measured value of frequency or duration with a threshold value of frequency or duration. duration. When the measured value of frequency or duration is greater than the threshold value of frequency or duration, the first estimation rule returns a state of vigilance of the driver indicating that it is sleepy, distracted or has insufficient vigilance .

Un niveau de faible distraction peut par exemple être déterminé lorsque le conducteur détourne son regard de la route pendant un intervalle de temps allant de 1,6 à 2 s.For example, a low distraction level can be determined when the driver turns his eyes away from the road for a time interval of 1.6 to 2 s.

Un niveau de forte distraction peut être par exemple être déterminé lorsque le conducteur détourne son regard de la route pendant un intervalle de temps supérieur à 2 s.For example, a high distraction level may be determined when the driver turns his eyes away from the road for a period of time greater than 2 seconds.

Comme expliqué plus en détails ultérieurement, grâce à l’invention ces valeurs seuils sont déterminées de manière personnalisée pour le conducteur du véhicule.As explained in more detail later, thanks to the invention these threshold values are determined in a personalized manner for the driver of the vehicle.

Selon un deuxième mode de réalisation préféré, ladite première règle d’estimation est déterminée par un algorithme d’apprentissage adapté à établir une structure de causalité entre le paramètre de surveillance et l’état de vigilance du conducteur. Cet algorithme d’apprentissage est initialement entraîné à l’aide d’une base de données initiale prédéterminée comprenant des couples de variables d’entrée paramètre de surveillance/état de vigilance associé prédéterminés.According to a second preferred embodiment, said first estimation rule is determined by a learning algorithm adapted to establish a causal structure between the monitoring parameter and the state of vigilance of the driver. This learning algorithm is initially driven with the aid of a predetermined initial database comprising predetermined pair of input parameter monitoring parameters / associated vigilance state.

Cette base de données initiale comporte des données relatives à différents conducteurs, de manière à ce que les performances initiales de la première règle d’estimation soit satisfaisante pour une majorité de conducteurs. L’algorithme d’apprentissage détermine par exemple, sur la base de cette base de données, la probabilité d’observer un état de vigilance donné chez le conducteur sachant que le paramètre de surveillance présente ladite valeur mesurée.This initial database includes data relating to different drivers, so that the initial performance of the first estimation rule is satisfactory for a majority of drivers. The learning algorithm determines for example, on the basis of this database, the probability of observing a given state of alertness in the driver knowing that the monitoring parameter has said measured value.

La première règle d’estimation renvoie en sortie, sur la base de l’algorithme d’apprentissage, le niveau de vigilance le plus probable en fonction de la valeur mesurée du paramètre de surveillance du conducteur. L’algorithme d’apprentissage est par exemple un réseau Bayésien et/ou un réseau de neurones, et/ou un algorithme d’apprentissage profond et/ou une machine à vecteurs de supports et/ou un arbre de décision, ou tout autre algorithme d’apprentissage approprié connu de l’Homme du métier.The first estimation rule outputs, on the basis of the learning algorithm, the most likely level of vigilance according to the measured value of the driver's monitoring parameter. The learning algorithm is for example a Bayesian network and / or a neural network, and / or a deep learning algorithm and / or a media vector machine and / or a decision tree, or any other algorithm appropriate learning known to those skilled in the art.

Grâce à cet algorithme d’apprentissage, la règle d’estimation est automatiquement modifiée en fonction de la réponse du conducteur à un signal sonde, comme expliqué plus loin.Thanks to this learning algorithm, the estimation rule is automatically modified according to the response of the driver to a probe signal, as explained below.

De préférence, quel que soit le mode de réalisation, on mesure une pluralité de valeurs mesurées du paramètre de surveillance et on estime l’état de vigilance du conducteur en fonction de cette pluralité de valeurs mesurées.Preferably, whatever the embodiment, a plurality of measured values of the monitoring parameter are measured and the state of vigilance of the driver is judged on the basis of this plurality of measured values.

Le dispositif de surveillance 500 comprend en outre un dispositif d’émission d’un signal d’alerte 400 (figure 1).The monitoring device 500 further comprises a device for transmitting an alert signal 400 (FIG. 1).

En fonction du niveau de vigilance du conducteur estimé par l’unité de commande 100, celle-ci commande ou non l’émission d’un signal d’alerte à destination du conducteur.Depending on the level of vigilance of the driver estimated by the control unit 100, it controls or not the issuance of an alert signal to the driver.

Le signal d’alerte émis par le dispositif d’émission du signal d’alerte peut être visuel, sonore, ou haptique. Il s’agit par exemple d’un clignotement ou d’un flash lumineux, d’un avertissement sonore ou d’une vibration dans le volant ou le siège du conducteur.The warning signal emitted by the device for emitting the warning signal can be visual, audible, or haptic. This is for example a flashing or a flash light, a warning sound or a vibration in the steering wheel or the driver's seat.

Ledit dispositif de surveillance 500 selon l’invention comprend en outre un dispositif de génération d’un signal sonde (non représenté sur la figure 1), et un dispositif de détection 300 d’une réponse du conducteur à ce signal sonde.Said monitoring device 500 according to the invention further comprises a device for generating a probe signal (not shown in FIG. 1), and a device 300 for detecting a response of the driver to this probe signal.

Ces dispositif de génération d’un signal sonde et de détection 300 d’une réponse du conducteur à ce signal sonde sont ici distincts du dispositif de mesure 200 du dispositif de surveillance 500. Ils comprennent à cet effet des moyens d’émission et/ou de réception du signal sonde différents et séparés des moyens de mesure mis en oeuvre par le dispositif de mesure. L’unité de commande 100 reçoit également des informations issues du dispositif de détection 300 de la réponse du conducteur au signal sonde.These device for generating a probe signal and for detecting a response from the driver to this probe signal are here separate from the measuring device 200 of the monitoring device 500. They include for this purpose transmission means and / or for receiving the different probe signal and separated from the measurement means implemented by the measuring device. The control unit 100 also receives information from the detection device 300 of the response of the driver to the probe signal.

Le signal sonde généré par le dispositif de génération du signal sonde est de préférence un signal discret qui perturbe le conducteur le moins possible. Ce signal sonde est de préférence un signal sonde visuel ou haptique. Le signal sonde est de préférence intégré à un élément du véhicule que le conducteur regarde ou touche naturellement pendant qu’il conduit.The probe signal generated by the device for generating the probe signal is preferably a discrete signal which disturbs the conductor as little as possible. This probe signal is preferably a visual or haptic probe signal. The probe signal is preferably integrated with an element of the vehicle that the driver looks or touches naturally while driving.

Ainsi, par exemple, le dispositif de génération du signal sonde peut comprendre un dispositif pour faire varier la luminosité du tableau de bord de manière périodique.Thus, for example, the device for generating the probe signal may comprise a device for varying the brightness of the dashboard periodically.

Il peut comprendre en variante un dispositif pour faire vibrer le volant que le conducteur a entre les mains.It may alternatively comprise a device for vibrating the steering wheel that the driver has in his hands.

Il peut également s’agir en variante d’un signal sonde sonore.It may also be a variant of a sound probe signal.

Le dispositif de détection de la réponse du conducteur au signal sonde identifie la réponse et enregistre une information représentative du temps de réponse écoulé entre le moment de la génération du signal sonde et la réponse du conducteur. Il peut également enregistrer une information relative à la durée de la réponse du conducteur.The device for detecting the response of the driver to the probe signal identifies the response and records information representative of the elapsed response time between the moment of generation of the probe signal and the response of the driver. It can also record information relating to the duration of the driver's response.

Cette réponse varie en fonction du signal sonde utilisé.This response varies depending on the probe signal used.

Dans le cas où le signal sonde est la variation de la luminosité du tableau de bord, le dispositif de détection peut être le dispositif de capture d’image du dispositif de mesure 200. La réponse est détectée lorsque la direction de regard du conducteur indique qu’il regarde le tableau de bord. La durée pendant laquelle la direction de regard du conducteur est orientée vers le tableau de bord peut également être ainsi déterminée.In the case where the probe signal is the variation of the brightness of the dashboard, the detection device may be the image capture device of the measuring device 200. The response is detected when the driver's direction of view indicates that he looks at the dashboard. The duration during which the direction of gaze of the driver is oriented towards the dashboard can also be determined.

Dans le cas où le signal sonde est une vibration du volant, la réponse du conducteur consiste en un déplacement de ses mains sur le volant. Ce déplacement peut être détecté à l’aide de capteurs de pression situés sur le volant.In the case where the probe signal is a vibration of the steering wheel, the response of the driver consists of a movement of his hands on the steering wheel. This movement can be detected using pressure sensors located on the steering wheel.

De manière préférentielle, afin d’assurer que le conducteur réponde au signal sonde, le dispositif d’émission du signal sonde sonore est adapté à émettre le signal sonde avec une intensité et/ou une fréquence croissante.Preferably, in order to ensure that the conductor responds to the probe signal, the device for transmitting the sound probe signal is adapted to transmit the probe signal with increasing intensity and / or frequency.

Par exemple, dans le cas d’un signal sonde visuel, l’intensité lumineuse du signal sonde émis augmente dans le temps. Dans le cas d’un signal sonde haptique, l’amplitude et/ou la fréquence des vibrations augmente dans le temps.For example, in the case of a visual probe signal, the luminous intensity of the emitted probe signal increases over time. In the case of a haptic probe signal, the amplitude and / or the frequency of the vibrations increases with time.

Enfin, dans le cas du signal sonde sonore, le volume sonore de celui-ci augmente dans le temps, et/ou sa fréquence peut varier avec le temps.Finally, in the case of the sound probe signal, the sound volume thereof increases over time, and / or its frequency may vary with time.

Le dispositif de détection de la réponse du conducteur peut alors enregistrer la valeur de l’intensité du signal sonde au moment de la réaction du conducteur, qui est représentative du temps de réponse du conducteur.The driver response detection device can then record the value of the probe signal intensity at the time of the driver reaction, which is representative of the driver response time.

Le dispositif de détection 300 de la réponse du conducteur au signal sonde transmet alors à l’unité de commande 100 l’information représentative du temps de réponse et/ou de la durée de la réponse du conducteur. Plus précisément, cette information est transmise à un deuxième module d’estimation 102 adapté à en déduire une estimation d’un état de vigilance de référence du conducteur. Cette estimation est faite sur la base d’une deuxième règle d’estimation, distincte de la première règle d’estimation utilisée par le premier module d’estimation 101.The detection device 300 of the response of the driver to the probe signal then transmits to the control unit 100 the information representative of the response time and / or the duration of the response of the driver. More specifically, this information is transmitted to a second estimation module 102 adapted to derive an estimate of a reference state of alertness of the driver. This estimate is made on the basis of a second estimation rule, distinct from the first estimation rule used by the first estimation module 101.

Cette deuxième règle d’estimation est par exemple basée sur la comparaison de l’information représentative du temps de réponse et/ou de la durée de réponse du conducteur avec un ou plusieurs seuil de manière à en déduire l’état de vigilance estimé du conducteur.This second estimation rule is for example based on the comparison of the information representative of the response time and / or the response time of the driver with one or more threshold so as to deduce the estimated state of vigilance of the driver .

Le deuxième module d’estimation 102 peut également être programmé pour déduire le temps de réponse du conducteur de l’information transmise par le dispositif de déteotion de la réponse du conducteur et comparer ce temps de réponse à un ou plusieurs seuils pour en déduire l’état de vigilance de référence estimé du conducteur.The second estimation module 102 can also be programmed to deduce the response time of the driver from the information transmitted by the driver response detecting device and to compare this response time with one or more thresholds to deduce the response time. the driver's estimated reference state of alertness.

Enfin, ladite unité de commande 100 est programmée pour modifier ladite première règle d’estimation en fonction de la réponse du conducteur au signal sonde et de la valeur du paramètre de surveillance du conducteur mesurée dans un intervalle de temps prédéterminé avant la génération du signal sonde.Finally, said control unit 100 is programmed to modify said first estimation rule as a function of the response of the driver to the probe signal and the value of the measured driver monitoring parameter in a predetermined time interval before the generation of the probe signal. .

En pratique, l’unité de commande 100 comprend un comparateur 103 qui compare l’état de vigilance du conducteur estimée par la première règle d’estimation, sur la base du paramètre de surveillance du conducteur et l’état de vigilance de référence estimé par la deuxième règle d’estimation, sur la base de la réponse du conducteur au signal sonde.In practice, the control unit 100 comprises a comparator 103 which compares the state of vigilance of the driver estimated by the first estimation rule, on the basis of the driver's monitoring parameter and the reference vigilance state estimated by the second estimation rule, based on the driver's response to the probe signal.

Afin que cette comparaison soit significative, l’unité de commande 100 est programmée pour déclencher la génération du signal sonde par le dispositif d’émission du signal sonde dans un intervalle de temps prédéfini après la mesure du paramètre de surveillance du conducteur. On considère que l’état de vigilance du conducteur ne varie pas dans cet intervalle de temps, qui est par exemple compris entre 100 et 500 millisecondes, par exemple égal à 250 millisecondes. Lorsque l’état de vigilance estimé et l’état de vigilance de référence sont différents, l’unité de commande 100 est programmée pour modifier ladite première règle d’estimation. Cette rétroaction est représentée schématiquement sur la figure 1 par la flèche Fl.In order for this comparison to be significant, the control unit 100 is programmed to trigger the generation of the probe signal by the probe signal transmission device within a predefined time interval after the measurement of the driver monitoring parameter. It is considered that the state of vigilance of the driver does not vary in this time interval, which is for example between 100 and 500 milliseconds, for example equal to 250 milliseconds. When the estimated vigilance state and the reference vigilance state are different, the control unit 100 is programmed to modify said first estimation rule. This feedback is shown schematically in Figure 1 by the arrow Fl.

Dans le cas du premier mode de réalisation décrit ci-dessus, la modification de la première règle d’estimation correspond par exemple à un ajustement de la valeur seuil du paramètre de surveillance du conducteur.In the case of the first embodiment described above, the modification of the first estimation rule corresponds, for example, to an adjustment of the threshold value of the driver monitoring parameter.

Par exemple, lorsque le paramètre de surveillance est lié à la fréquence ou à la durée de fermeture des paupières du conducteur, et que l’état de vigilance estimée par la première règle d’estimation montre que celui-ci est somnolent ou distrait, alors que la réponse du conducteur au signal sonde montre que le conducteur est bien réveillé et attentif, la valeur seuil de fréquence ou de durée est augmentée.For example, when the monitoring parameter is related to the driver's eyelid closing frequency or duration, and the state of alertness estimated by the first estimation rule shows that the latter is sleepy or distracted, then that the response of the driver to the probe signal shows that the driver is well awake and attentive, the threshold value of frequency or duration is increased.

Inversement, si l’état de vigilance estimée par la première règle d’estimation montre que le conducteur est bien éveillé et attentif, alors que la réponse du conducteur au signal sonde montre que le conducteur est somnolent ou distrait, la valeur seuil de fréquence ou de durée est diminuée. L’augmentation ou la diminution du seuil se fait par exemple par incrément prédéterminé.Conversely, if the state of vigilance estimated by the first estimation rule shows that the driver is well awake and attentive, while the response of the driver to the probe signal shows that the driver is sleepy or distracted, the threshold value of frequency or of duration is diminished. The increase or decrease of the threshold is done for example by predetermined increment.

Dans le cas du deuxième mode de réalisation décrit ci-dessus, la modification de la première règle d’estimation est réalisée grâce à l’algorithme d’apprentissage. A cet effet, le nouveau couple de variables d’entrée comprenant la valeur mesurée du paramètre de surveillance et l’état de vigilance de référence associé est introduit dans l’algorithme d’apprentissage et pris en compte par celui-ci pour le calcul des probabilités conditionnelles.In the case of the second embodiment described above, the modification of the first estimation rule is performed by means of the learning algorithm. For this purpose, the new pair of input variables comprising the measured value of the monitoring parameter and the associated reference vigilance state is introduced into the learning algorithm and taken into account by the latter for the calculation of conditional probabilities.

Afin d’augmenter l’efficacité de l’apprentissage et d’optimiser le coût computationnel de l’opération d’apprentissage, le système peut attendre d’avoir enregistré plusieurs nouveaux couples de variables d’entrée avant d’effectuer un nouvel apprentissage, c’est-à-dire avant de prendre en compte cet ensemble de plusieurs nouveaux couples de variables d’entrée.In order to increase the efficiency of learning and to optimize the computational cost of the learning operation, the system can wait to have recorded several new pairs of input variables before performing a new learning, that is, before taking into account this set of several new pairs of input variables.

La première règle d’estimation est ainsi modifiée de manière à prendre en compte ces données, qui sont ajoutées à la base de données prédéterminée.The first estimation rule is thus modified to take into account these data, which are added to the predetermined database.

Cette base de données peut être la base de données initiale ou la base de données précédente ayant déjà été modifiée par rapport à la base de données initiale. L’algorithme d’apprentissage est ici un algorithme d’apprentissage incrémental.This database can be the initial database or the previous database that has already been modified from the original database. The learning algorithm is here an incremental learning algorithm.

En outre, quel que soit le résultat de la comparaison, la valeur mesurée du paramètre de surveillance et, éventuellement, l’état de vigilance de référence associé, sont mis en mémoire dans un registre 104 en correspondance avec le résultat de la comparaison, de manière à autoriser un suivi des performances de la première règle d’estimation.Moreover, whatever the result of the comparison, the measured value of the monitoring parameter and, if appropriate, the associated reference vigilance state, are stored in a register 104 in correspondence with the result of the comparison, of to allow tracking of the performance of the first estimation rule.

De manière particulièrement avantageuse, le véhicule de transport concerné comprend en outre un système de reconnaissance du conducteur.Particularly advantageously, the transport vehicle concerned further comprises a driver recognition system.

Ce système de reconnaissance identifie automatiquement le conducteur du véhicule parmi une liste de conducteurs mise en mémoire. Ce système de reconnaissance est basé par exemple sur la reconnaissance faciale du conducteur sur une image de la tête du conducteur, sur le traitement d’une information biométrique (telle qu’une empreinte digitale), ou sur l’identification d’une clé de contact utilisée par le conducteur.This recognition system automatically identifies the driver of the vehicle from a list of stored drivers. This recognition system is based, for example, on the facial recognition of the driver on an image of the driver's head, on the processing of biometric information (such as a fingerprint), or on the identification of a key. contact used by the driver.

Ce système de reconnaissance transmet alors un identifiant du conducteur à l’unité de commande 100, qui est programmée pour mettre en mémoire la règle d’estimation modifiée en relation avec cet identifiant du conducteur.This recognition system then transmits a driver identifier to the control unit 100, which is programmed to store the modified estimation rule in relation to this driver identifier.

Chaque donnée mise en mémoire dans le registre 104 est également de préférence associé à l’identifiant du conducteur correspondant. L’unité de commande 100 est en outre programmée pour utiliser la première règle d’estimation modifiée associé à l’identifiant du conducteur reconnu lors du démarrage du véhicule.Each data stored in the register 104 is also preferably associated with the corresponding driver identifier. The control unit 100 is further programmed to use the first modified estimation rule associated with the identifier of the driver recognized at the start of the vehicle.

Ainsi, une fois le conducteur identifié automatiquement par le véhicule, l’unité de commande 100 utilise la règle d’estimation modifiée spécifiquement pour ce conducteur. Cela permet de personnaliser la surveillance du conducteur.Thus, once the driver is automatically identified by the vehicle, the control unit 100 uses the estimation rule modified specifically for this driver. This allows you to customize the driver's monitoring.

La règle d’estimation étant modifiée pour tenir compte du comportement spécifique du conducteur, le nombre de signaux d’alerte injustifiés est réduit, ce qui améliore le confort du conducteur, et l’amène à une meilleure acceptation du dispositif de surveillance. En outre, la règle étant plus précise, le dispositif de surveillance permet de commander l’émission de signaux d’alerte dans un plus grand nombre de situations de somnolence ou d’inattention et la sécurité du véhicule et de ses passagers est améliorée. MéthodeThe estimation rule being modified to take into account the specific conduct of the driver, the number of unwarranted warning signals is reduced, which improves the comfort of the driver, and leads to better acceptance of the monitoring device. In addition, the rule being more precise, the monitoring device makes it possible to control the issuance of warning signals in a greater number of situations of drowsiness or inattention and the safety of the vehicle and its passengers is improved. Method

Sur la figure 2, on a représenté schématiquement les étapes de la méthode de surveillance selon l’invention.FIG. 2 diagrammatically shows the steps of the monitoring method according to the invention.

En pratique, lorsque le conducteur s’installe dans le véhicule et démarre celui-ci, le conducteur est automatiquement identifié par le dispositif de reconnaissance tel que décrit précédemment.In practice, when the driver is installed in the vehicle and starts it, the driver is automatically identified by the recognition device as described above.

Le conducteur conduit le véhicule comme à son habitude, sans aucune contrainte particulière.The driver drives the vehicle as usual, without any particular constraints.

La méthode de surveillance selon l’invention est mise en oeuvre pendant la conduite du véhicule par le conducteur. Selon cette méthode : - on mesure le paramètre de surveillance du conducteur (bloc 40 de la figure 2), - on estime l’état de vigilance du conducteur en fonction de la première règle de détermination de l’état de vigilance du conducteur et de la valeur mesurée du paramètre de surveillance (bloc 50 de la figure 2), - on génère un signal sonde (bloc 10 de la figure 2), - on détecte la réponse du conducteur à ce signal sonde (bloc 20 de la figure 2), - on modifie ladite règle de détermination de l’état de vigilance du conducteur en fonction de la valeur mesurée du paramètre de surveillance et de la réponse du conducteur au signal sonde (bloc 70 de la figure 2).The monitoring method according to the invention is implemented during the driving of the vehicle by the driver. According to this method: the driver's monitoring parameter (block 40 of FIG. 2) is measured; the driver's state of vigilance is evaluated according to the first rule of determining the state of vigilance of the driver and the measured value of the monitoring parameter (block 50 of FIG. 2); - a probe signal (block 10 of FIG. 2) is generated; - the response of the driver to this probe signal (block 20 of FIG. 2) is detected the rule for determining the state of vigilance of the driver is modified as a function of the measured value of the monitoring parameter and of the response of the driver to the probe signal (block 70 of FIG. 2).

En outre, de préférence, on met en mémoire la règle d’estimation modifiée en relation avec l’identifiant du conducteur (bloc 80 de la figure 2) préalablement déterminé par le dispositif de reconnaissance.Furthermore, preferably, the modified estimation rule is stored in relation to the identifier of the driver (block 80 of FIG. 2) previously determined by the recognition device.

Plus précisément, dans une étape préalable à la modification de la règle d’estimation, on détermine un état de vigilance de référence en fonction de la réponse du conducteur au signal sonde détectée (bloc 50 de la figure 2), et on compare cet état de vigilance de référence et l’état de vigilance estimé en fonction de la règle d’estimation (bloc 60 de la figure 2).More precisely, in a step prior to the modification of the estimation rule, a reference vigilance state is determined as a function of the response of the driver to the detected probe signal (block 50 of FIG. 2), and this state is compared. baseline vigilance and the state of alertness estimated according to the estimation rule (block 60 of Figure 2).

Selon un exemple particulier de mise en oeuvre de la méthode selon l’invention, lors de l’étape de mesure du paramètre de surveillance du conducteur, on capture une pluralité d’images de la tête du conducteur grâce au dispositif de mesure 200. L’unité de commande 100 reçoit ces images et les traite, par exemple en identifiant, sur chaque image, les yeux du conducteur, et plus particulièrement, la position des paupières, et/ou des pupilles du conducteur. L’unité de commande 100 déduit de ces positions la valeur du paramètre de surveillance du conducteur, par exemple la direction du regard ou la position des paupières du conducteur.According to a particular example of implementation of the method according to the invention, during the step of measuring the driver monitoring parameter, a plurality of images of the driver's head are captured by means of the measuring device 200. control unit 100 receives these images and processes them, for example by identifying, on each image, the eyes of the driver, and more particularly, the position of the eyelids, and / or pupils of the driver. The control unit 100 deduces from these positions the value of the driver's monitoring parameter, for example the direction of gaze or the position of the eyelids of the driver.

Puis, l’unité de commande 100 déduit, en fonction de cette valeur mesurée du paramètre de surveillance et de la première règle d’estimation, l’état de vigilance estimé du conducteur.Then, the control unit 100 deduces, based on this measured value of the monitoring parameter and the first estimation rule, the estimated state of vigilance of the driver.

Lors de la première prise en main du véhicule par le conducteur, la première règle d’estimation est la première règle d’estimation initiale, déterminée à partir de la base de données initiale, tel que décrit précédemment.When the driver first takes control of the vehicle, the first estimation rule is the first initial estimation rule, determined from the initial database, as previously described.

Lorsque le véhicule a déjà été conduit par ce conducteur, l’unité de commande électronique récupère la première règle d’estimation modifiée associée à l’identifiant du conducteur.When the vehicle has already been driven by this driver, the electronic control unit recovers the first modified estimation rule associated with the driver identifier.

Dans la suite, la première règle d’estimation peut ainsi désigner la première règle d’estimation initiale ou modifiée précédemment.In the following, the first estimation rule can thus designate the first initial estimation rule or previously modified.

Dans une phase d’adaptation de la première règle d’estimation au conducteur du véhicule, l’unité de commande 100 commande l’émission, dans un intervalle de temps prédéfini après la mesure du paramètre de surveillance du conducteur, du signal sonde par le dispositif d’émission du signal sonde.In a phase of adaptation of the first estimation rule to the driver of the vehicle, the control unit 100 controls the transmission, in a predefined time interval after the measurement of the driver monitoring parameter, of the probe signal by the driver. device for transmitting the probe signal.

La réponse du conducteur à ce signal sonde est détectée par le dispositif de détection 300 et l’information représentative du temps de réponse du conducteur est transmise à l’unité de commande 100. L’unité de commande 100 détermine, à partir de cette information et de la deuxième règle d’estimation, l’état de vigilance de référence du conducteur et le compare à l’état de vigilance estimé par la première règle d’estimation.The response of the driver to this probe signal is detected by the detection device 300 and the information representative of the response time of the driver is transmitted to the control unit 100. The control unit 100 determines, from this information and the second estimation rule, the reference vigilance state of the driver and compares it with the state of alertness estimated by the first estimation rule.

Lorsque cette comparaison montre une différence entre les états de vigilance estimé et de référence, l’unité de commande 100 modifie la première règle d’estimation comme exposé précédemment.When this comparison shows a difference between the estimated and reference states of alertness, the control unit 100 modifies the first estimation rule as explained above.

Cette modification peut notamment consister en un ajustement incrémental des seuils de comparaison des valeurs mesurées du paramètre de surveillance ou utiliser l’algorithme d’apprentissage pour que celui-ci prenne en compte le paramètre de surveillance du conducteur mesuré et l’état de vigilance de référence.This modification can notably consist in an incremental adjustment of the thresholds for comparing the measured values of the monitoring parameter or use the learning algorithm so that it takes into account the measured driver monitoring parameter and the state of vigilance of the reference.

Cette phase d’adaptation peut être réalisée pendant une durée prédéterminée, au début de l’utilisation du véhicule par le conducteur.This adaptation phase can be performed for a predetermined duration, at the beginning of the use of the vehicle by the driver.

De préférence, l’unité de commande 100 est programmée pour réaliser cette phase d’adaptation périodiquement, par exemple une fois par semaine ou par mois, pendant une durée prédéterminée de quelques minutes ou quelques heures.Preferably, the control unit 100 is programmed to perform this adjustment phase periodically, for example once a week or a month, for a predetermined period of a few minutes or a few hours.

Alternativement, dans un premier temps, l’unité de commande 100 peut être programmée pour réaliser cette phase d’adaptation périodiquement. Puis, après plusieurs phases d’adaptation avec le même conducteur, la phase d’adaptation peut n’être lancée que dans certaines situations prédéterminées dans lesquelles l’estimation de l’état de vigilance du conducteur par l’unité de commande 100 donne un résultat incertain. Il s’agit par exemple de situations dans lesquelles le paramètre de surveillance est très proche de la valeur seuil de ce paramètre de surveillance dans le premier mode de réalisation ou des situations dans lesquelles l’estimation de l’état de vigilance du conducteur n’est par exemple fiable qu’à moins de 70% dans le deuxième mode de réalisation.Alternatively, initially, the control unit 100 can be programmed to perform this adaptation phase periodically. Then, after several phases of adaptation with the same driver, the adaptation phase can be launched only in certain predetermined situations in which the estimate of the state of vigilance of the driver by the control unit 100 gives a uncertain outcome. These are, for example, situations in which the monitoring parameter is very close to the threshold value of this monitoring parameter in the first embodiment or situations in which the estimation of the driver's state of alertness is for example reliable than less than 70% in the second embodiment.

On peut également prévoir que chaque phase d’adaptation comprenne une période d’accumulation des données, pendant laquelle l’unité de commande enregistre les couples valeur mesurée du paramètre de surveillance et état de vigilance de référence du conducteur, et une période d’apprentissage pendant laquelle la première règle d’estimation est modifiée de manière à prendre en compte toutes les données enregistrées pendant la période d’accumulation.It can also be provided that each adaptation phase includes a data accumulation period, during which the control unit records the measured value pairs of the driver's monitoring parameter and reference vigilance state, and a learning period. during which the first estimation rule is modified to take into account all the data recorded during the accumulation period.

De préférence, on met en mémoire la règle d’estimation modifiée en relation avec un identifiant du conducteur. On met notamment en mémoire les valeurs seuil modifiées des paramètres de surveillance ou la base de données modifiée de l’algorithme d’apprentissage, en correspondance avec l’identifiant du conducteur.Preferably, the modified estimation rule is stored in relation to an identifier of the driver. In particular, the modified threshold values of the monitoring parameters or the modified database of the learning algorithm are stored in correspondence with the driver's identifier.

Ainsi, lorsque le conducteur est identifié par le système de reconnaissance du véhicule au démarrage, l’unité de commande 100 charge la première règle d’estimation associée à ce conducteur spécifique.Thus, when the driver is identified by the vehicle recognition system at startup, the control unit 100 loads the first estimation rule associated with that specific driver.

La première règle d’estimation étant adaptée spécifiquement au conducteur, les performances de celle-ci sont améliorées. Le nombre de signaux d’alerte injustifiés est réduit et le conducteur n’est pas tenté de désactiver le dispositif de surveillance. L’unité de commande met en mémoire les valeurs mesurées du paramètre de surveillance, l’état de vigilance estimé par la première règle d’estimation et l’état de vigilance de référence.The first estimation rule being adapted specifically to the driver, the performance thereof is improved. The number of unwarranted warning signals is reduced and the driver is not tempted to disable the monitoring device. The control unit stores the measured values of the monitoring parameter, the vigilance state estimated by the first estimation rule and the reference vigilance state.

Ainsi les performances de la première règle d’estimation peuvent être précisément suivies.Thus the performances of the first estimation rule can be precisely followed.

Pendant la phase d’adaptation de la première règle d’estimation, lorsque l’état de vigilance de référence indique que le conducteur est insuffisamment vigilant, l’unité de commande 100 commande l’émission du signal d’alerte destiné à améliorer la vigilance du conducteur.During the adaptation phase of the first estimation rule, when the reference vigilance state indicates that the driver is insufficiently vigilant, the control unit 100 controls the transmission of the alert signal intended to improve vigilance. of the driver.

Cela est par exemple le cas lorsque le niveau de vigilance estimé du conducteur est un niveau d’hypovigilance, de somnolence ou d’endormissement, ou encore, lorsqu’il s’agit d’un niveau de faible ou forte distraction.This is for example the case where the level of vigilance estimated by the driver is a level of hypovigilance, drowsiness or falling asleep, or, when it is a level of low or strong distraction.

En dehors des phases d’adaptation de la première règle d’estimation, lorsque l’étape d’estimation de l’état de vigilance du conducteur indique que la vigilance du conducteur est insuffisante, par exemple que le conducteur est inattentif ou somnolent, l’unité de commande 100 commande l’émission du signal d’alerte. Celui-ci signale au conducteur sa baisse de vigilance et améliore sa vigilance en lui indiquant qu’il doit se concentrer à nouveau sur sa conduite.Apart from the adaptation phases of the first estimation rule, when the driver's state of alertness estimation step indicates that the driver's vigilance is insufficient, for example that the driver is inattentive or sleepy, control unit 100 controls the transmission of the warning signal. This alerts the driver to a decrease in alertness and improves his alertness by indicating that he must focus on his driving again.

Cette émission du signal d’alerte peut également être réalisée en fonction du niveau de performance atteint par la règle d’estimation.This emission of the warning signal can also be carried out according to the level of performance achieved by the estimation rule.

Lorsque le niveau de performance est trop faible, aucun signal d’alerte n’est alors émis, ce qui évite l’émission de signaux d’alerte non justifiés, désagréable pour le conducteur.When the performance level is too low, no warning signal is then issued, which avoids the issuing of unjustified warning signals, unpleasant for the driver.

Le dispositif et la méthode selon l’invention peuvent également être mis en oeuvre pour la surveillance du conducteur d’un véhicule de transport autre que les véhicules automobiles, tels que par exemple les camions, les trains, les bateaux comme les péniches, les tramways ou les bus.The device and the method according to the invention can also be implemented for monitoring the driver of a transport vehicle other than motor vehicles, such as for example trucks, trains, boats such as barges, trams. or the buses.

Claims

A monitoring device (500) of a driver of a transport vehicle, comprising - a device (200) for measuring a driver monitoring parameter, - a control unit (100) programmed to estimate a state. driver vigilance according to an estimation rule and as a function of the measured value of said monitoring parameter, said monitoring device (500) further comprising a device for generating a probe signal and a detection device ( 300) of a response from the driver to this probe signal and said control unit being programmed to modify said estimation rule according to the response of the driver to the probe signal and the value of the driver monitoring parameter measured in an interval. predetermined time before the generation of the probe signal.

Driver monitoring device (500) according to claim 1, wherein the control unit (100) is programmed using a learning algorithm such as a Bayesian network and / or a neural network, and / or a deep learning algorithm and / or a carrier vector machine and / or a decision tree, so as to automatically modify the estimation rule according to the response of the driver to the probe signal.

3. Monitoring device (500) according to one of the preceding claims, wherein the device for generating the probe signal is adapted to generate a probe signal whose intensity increases in time and the device for detecting the response of the driver. determines information representative of the elapsed response time between the time of generation of the probe signal and the moment when the driver response is detected.

4. Monitoring device (500) according to one of the preceding claims, wherein said monitoring parameter measured by the measuring device is relative to the direction of gaze of the driver and / or the laying of the driver's head, and / or closing the driver's eyelids.

The monitoring device (500) according to one of the preceding claims, wherein the measuring device comprises at least one image pickup device of the driver's head and said measured driver monitoring parameter is determined as a function of at least one captured image of the driver's head.

6. Monitoring device according to one of the preceding claims, wherein said monitoring parameter measured by the measuring device is relative to the hand pressure on the steering wheel of the vehicle or a biometric size of the driver and said measuring device comprises at least one device for measuring the hand pressure on the steering wheel of the vehicle or a device for measuring a biometric size of the driver.

7. Monitoring device according to one of the preceding claims, wherein said monitoring parameter measured by the measuring device is relative to the conduct of the vehicle by the driver and / or data from the GAN network of the vehicle and said device measuring device comprises at least one measuring device of a magnitude relative to the conduct of the vehicle by the driver and / or vehicle sensors connected to the GAN network of the vehicle.

8. Monitoring device (500) according to one of the preceding claims, wherein the control unit is programmed to store the modified estimation rule in relation to a driver identifier.

9. Monitoring device (500) according to one of the preceding claims, wherein there is provided a device for generating an alert signal and wherein the control unit is programmed to trigger the generation of the signal of alert according to the state of alertness of the estimated driver.

10. Method for monitoring the driver of a transport vehicle, comprising the following steps: - measuring (40) a driver monitoring parameter, - estimating (50) a state of vigilance of the driver according to a rule determining the state of vigilance of the driver and the measured value of the monitoring parameter, - generating (10) a probe signal, - detecting the response (20) of the driver to this probe signal, - modifying (70 ) said rule for assessing the state of vigilance of the driver as a function of the response of the driver to the probe signal and the value of the monitored driver parameter in a predetermined time interval before the generation of the probe signal.

11. Monitoring method according to claim 10, wherein, in a step prior to the modification of the estimation rule, a reference vigilance state is determined as a function of the response of the driver to the detected probe signal, and compared this state of vigilance of reference and the state of vigilance estimated according to the rule of estimate.

12. Monitoring method according to claim 11, according to which, to modify the estimation rule, a learning algorithm is used which takes into account the measured driver monitoring parameter and the reference vigilance state.

13. Monitoring method according to one of claims 10 to 12, wherein, the modified estimation rule is stored in relation to a driver identifier.

14. Monitoring method according to one of claims 9 to 13, wherein, when the driver's state of alertness estimation step indicates that the vigilance of the driver is insufficient, it emits a warning signal intended to improve the vigilance of the driver.