FR2784887A1

FR2784887A1 - System for detecting drowsiness in the driver of a motor vehicle, uses a charged couple device, CCD, camera to monitor the movement of the eyelids

Info

Publication number: FR2784887A1
Application number: FR9813272A
Authority: FR
Inventors: Christophe Lavergne
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 1998-10-22
Filing date: 1998-10-22
Publication date: 2000-04-28
Anticipated expiration: 2018-10-22
Also published as: FR2784887B1; WO2000024309A1

Abstract

The system comprises of a lighting unit such as an LED, that illuminates the driver with an infrared light. A CCD camera monitors the eyelid movements of the drivers. The image is transmitted via an image transmission system (24) to computing units (25,26) that calculate the blinking rate of the driver. If this rate falls below a safe threshold an alarm (27) is sounded to alert the driver.

Description

SYSTEME POUR SURVEILLER DES YEUX AFIN DE DETECTER ET DE
PREVENIR DES BAISSES DE VIGILANCE D'UN CONDUCTEUR DE
VEHICULE
La présente invention se rapporte à un système pour surveiller des yeux afin de détecter et de prévenir des baisses de vigilance d'un conducteur de véhicule.SYSTEM FOR MONITORING EYES TO DETECT AND DETECT
PREVENT DRIVERS OF VIGILANCE FROM A DRIVER
VEHICLE
The present invention relates to a system for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver.

Plus particulièrement, l'invention concerne un système de détection et de prévention des baisses de vigilance d'un conducteur de véhicule basé sur l'observation et l'analyse des mouvements de paupières d'un conducteur de véhicule. More particularly, the invention relates to a system for detecting and preventing reductions in alertness of a vehicle driver based on the observation and analysis of the eyelid movements of a vehicle driver.

Une grande partie des accidents de la route, principalement les accidents de la route nocturnes, sont causés par une baisse de vigilance du conducteur. A large part of road accidents, mainly night-time road accidents, are caused by a decrease in the driver's alertness.

Les systèmes de détection de baisse de vigilance revtent donc une importance fondamentale pour la sécurité du conducteur.The vigilance detection systems are therefore of fundamental importance for the safety of the driver.

Afin de ne pas gner la tâche de conduite, un système de détection de baisse de vigilance ne doit pas tre intrusif et ne doit nécessiter aucune instrumentation particulière du conducteur (électrodes, lunettes,...). In order not to interfere with the task of driving, a system for detecting a decrease in alertness must not be intrusive and must not require any particular instrumentation from the driver (electrodes, glasses, etc.).

Il existe trois principales catégories de systèmes de détection et de prévention de baisse de vigilance :
Tout d'abord, il existe les systèmes basés sur l'analyse des signaux mécaniques liés au comportement du véhicule. Le principe général de ces systèmes est que l'état de vigilance du conducteur a des conséquences détectables sur le comportement du véhicule, et que l'analyse de certains des paramètres caractérisant ce comportement permet d'évaluer l'état de la vigilance. Parmi ces paramètres, le signal de l'accélération latérale et de la vitesse de lacet, le signal de la position par rapport aux lignes blanches et le signal vitesse du véhicule sont envisageables.There are three main categories of vigilance detection and prevention systems:
First of all, there are systems based on the analysis of mechanical signals linked to the behavior of the vehicle. The general principle of these systems is that the state of vigilance of the driver has detectable consequences on the behavior of the vehicle, and that the analysis of some of the parameters characterizing this behavior makes it possible to assess the state of vigilance. Among these parameters, the signal for lateral acceleration and yaw speed, the position signal relative to the white lines and the vehicle speed signal can be envisaged.

Cependant, l'exploitation de ces signaux se heurte dans la pratique à plusieurs problèmes. Ces problèmes sont notamment liés à la variabilité inter-individu (des conducteurs différents ont des comportements différents qu'il est difficile de représenter à l'aide d'un modèle unique), la variabilité des situations de conduite (types de routes empruntées, moments de la journée, conditions climatiques) et la variabilité intra-individu (un unique conducteur peut avoir sur un circuit donné plusieurs comportements différents sans que cela soit imputable à son niveau de vigilance). However, the exploitation of these signals encounters in practice several problems. These problems are notably linked to inter-individual variability (different drivers have different behaviors that it is difficult to represent using a single model), the variability of driving situations (types of routes taken, moments of the day, climatic conditions) and intra-individual variability (a single driver can have several different behaviors on a given circuit without this being attributable to his level of alertness).

Une deuxième catégorie de systèmes de détection et de prévention des baisses de vigilance est la catégorie des systèmes basés sur l'action du conducteur sur les organes de commande du véhicule. L'action en question peut par exemple tre la pression exercée par les mains sur le volant, la pression exercée sur la pédale d'accélérateur ou de frein, la manipulation des clignotants... A second category of systems for detecting and preventing reductions in alertness is the category of systems based on the driver's action on the vehicle's control elements. The action in question can for example be the pressure exerted by the hands on the steering wheel, the pressure exerted on the accelerator or brake pedal, the manipulation of the indicators ...

Cette catégorie de systèmes se heurte dans la pratique aux mmes problèmes que la première catégorie de systèmes. In practice, this category of systems faces the same problems as the first category of systems.

Enfin, la troisième catégorie de systèmes de détection et de prévention des baisses de vigilance est la catégorie des systèmes basés sur l'observation du conducteur lui-mme. Finally, the third category of systems for detecting and preventing reductions in alertness is the category of systems based on the observation of the driver himself.

De tels systèmes proposent, par exemple, l'analyse de la position sur le siège et de la répartition de la pression exercée sur celui-ci. Aucune corrélation fiable et robuste n'a cependant pu tre établie pour tenir compte des différentes situations envisageables. Such systems propose, for example, the analysis of the position on the seat and the distribution of the pressure exerted on it. However, no reliable and robust correlation could be established to take account of the various possible situations.

Un autre système propose la détection de l'affaissement de la tte, mais ce système est difficile à instrumenter, légèrement intrusif et, surtout, il effectue une détection trop tardive pour permettre une prévention efficace. Another system proposes the detection of sagging of the head, but this system is difficult to instrument, slightly intrusive and, above all, it performs a detection too late to allow effective prevention.

Enfin, d'autres systèmes proposent une analyse des mouvements de paupières : les fermetures des paupières constituent un des moyens les plus surs et les plus fiables pour réaliser une détection précoce des baisses de vigilance du conducteur. C'est à ce type de systèmes que le système selon l'invention appartient. Finally, other systems offer an analysis of eyelid movements: eyelid closings are one of the safest and most reliable means of early detection of reduced driver alertness. It is to this type of system that the system according to the invention belongs.

Dans cette catégorie de systèmes, trois classes de solutions ont déjà été proposées :
Tout d'abord, les brevets FR 2 713 352 et FR 2 702 285 divulguent l'utilisation de lunettes instrumentées détectant la fermeture des paupières à partir de l'analyse des reflets d'un faisceau infrarouge sur la cornée de l'oeil. Outre le fait que cette solution oblige le conducteur à porter des lunettes spécifiques et contraignantes pour une utilisation régulière, les informations recueillies par ce système de mesure ne permettent pas une détection précoce et fiable des baisses de vigilance.In this category of systems, three classes of solutions have already been proposed:
First of all, the patents FR 2 713 352 and FR 2 702 285 disclose the use of instrumented glasses detecting the closure of the eyelids from the analysis of the reflections of an infrared beam on the cornea of the eye. In addition to the fact that this solution requires the driver to wear specific and restrictive glasses for regular use, the information collected by this measurement system does not allow early and reliable detection of reductions in alertness.

Une deuxième classe de solutions est constituée par les solutions basées sur l'analyse des reflets d'une source d'infrarouge sur la cornée d'un à partir d'une image vidéo captée par une caméra CCD et d'un traitement numérique adapté à cette image. Mais ces solutions ne permettent pas de dissocier les reflets sur les verres de lunettes et sur les montures brillantes du reflet sur la cornée. Par ailleurs, les traitements d'image proposés ne permettent pas d'accéder de manière fine à tous les paramètres recherchés pour caractériser la fermeture des paupières. Enfin, le système présenté dans le brevet US 5 573 006 interprète toute absence de détection des reflets comme un fermeture des paupières. Or une absence de détection des reflets peut avoir des causes diverses, telles que l'occultation du faisceau infrarouge ou du champs de la caméra, ou encore des mouvements de détournement de la tte. A second class of solutions consists of solutions based on the analysis of reflections of an infrared source on the cornea of a video image captured by a CCD camera and of digital processing adapted to this image. But these solutions do not make it possible to dissociate the reflections on the glasses of glasses and on the brilliant frames of the reflection on the cornea. Furthermore, the image processing offered does not allow fine access to all the parameters sought to characterize the closure of the eyelids. Finally, the system presented in US Pat. No. 5,573,006 interprets any lack of detection of reflections as a closure of the eyelids. However, a lack of detection of reflections can have various causes, such as the occultation of the infrared beam or the fields of the camera, or even movements of diversion of the head.

La troisième classe de solutions existantes est composée des solutions basées sur l'analyse de la position de la paupière sur l'oeil. Cette analyse est effectuée à partir d'une image vidéo captée par une caméra CCD et un traitement numérique adapté de cette image. Les solutions proposées évitent notamment la gène occasionnée par la nécessité du port des lunette spécifiques, mais elles présentent encore certains inconvénients majeurs. The third class of existing solutions is composed of solutions based on the analysis of the position of the eyelid on the eye. This analysis is carried out from a video image captured by a CCD camera and an adapted digital processing of this image. The solutions proposed in particular avoid the gene caused by the need to wear specific glasses, but they still have certain major drawbacks.

Le brevet US 5 218 387 propose un système qui réalise au préalable la localisation des yeux en analysant les formes des contours du visage. Mais la solution proposée dans ce brevet a plusieurs limitations :
-Tout d'abord, cette solution exige une extraction très précise du contour quasi complet du visage. Des éléments tels que l'appui-tte, peuvent perturber cette extraction. De plus, le critère choisi pour déterminer la position des yeux, à savoir la position pour laquelle le niveau de la tte est de largeur maximale, n'est pas toujours valide. En effet, il suffit que le conducteur incline légèrement la tte, ou qu'il ait une morphologie particulière (barbe, cheveux longs...) pour infirmer le critère en question.US Patent 5,218,387 proposes a system which performs the location of the eyes beforehand by analyzing the shapes of the contours of the face. However, the solution proposed in this patent has several limitations:
-First of all, this solution requires a very precise extraction of the almost complete contour of the face. Elements such as the headrest can disturb this extraction. In addition, the criterion chosen for determining the position of the eyes, namely the position for which the level of the head is of maximum width, is not always valid. Indeed, it suffices that the driver slightly tilt the head, or that he has a particular morphology (beard, long hair ...) to invalidate the criterion in question.

-D'autre part, la reconnaissance des yeux est basée sur l'analyse simultanée du blanc de l'oeil, de l'iris, et de la pupille. Ce type d'analyse ne peut se faire qu'à très haute résolution avec un cadrage très serré de la tte, nécessitant un dispositif d'adaptation de la position de la caméra suivant la taille et la position du conducteur. L'utilisation nocturne de cette solution est encore plus complexe du fait de la diminution du contraste entre la cornée et l'iris alors éclairés par des sources lumineuses dans le proche infrarouge. -On the other hand, eye recognition is based on the simultaneous analysis of the white of the eye, the iris, and the pupil. This type of analysis can only be done at very high resolution with a very tight framing of the head, requiring a device for adapting the position of the camera according to the size and position of the driver. The nocturnal use of this solution is even more complex due to the decrease in the contrast between the cornea and the iris then illuminated by light sources in the near infrared.

-Par ailleurs, cette solution propose un module de mesure de la position des paupières qui à extraire le bord des paupières et la base de l'oeil. Or pour de nombreux cas de figure, le bord des paupières ne peut pas tre extrait de l'image à cause d'un contraste insuffisant. C'est notamment le cas pour les personnes à pilosité claire, ou quand un mauvais contraste est généré par l'éclairage infrarouge. -In addition, this solution offers a module for measuring the position of the eyelids which extracts the edge of the eyelids and the base of the eye. However, for many cases, the edge of the eyelids cannot be extracted from the image because of insufficient contrast. This is particularly the case for people with light hair, or when poor contrast is generated by infrared lighting.

-Enfin, la solution du brevet US 5 218 387 propose de déclencher des alarmes selon un simple critère de dépassement d'un seuil de temps de clignement. Ce critère de déclenchement est dans la pratique inapproprié. Finally, the solution of US Pat. No. 5,218,387 proposes triggering alarms according to a simple criterion of exceeding a blinking time threshold. This trigger criterion is in practice inappropriate.

Le brevet FR 2 734 701 présente un système qui part du principe que les caractéristiques grossières des yeux, telles que le contraste entre ces derniers et la partie du visage qui les entoure, ou bien la forme des yeux, permettent de présélectionner des zones de l'image dont certaines contiendront les yeux. Un algorithme selon cette solution analyse ensuite les positions relatives des différentes zones sombres. Puis une analyse fine à résolution maximale des zones présélectionnées est effectuée afin de ne retenir que les deux zones censées contenir les yeux. Patent FR 2 734 701 presents a system which starts from the principle that the coarse characteristics of the eyes, such as the contrast between the latter and the part of the face which surrounds them, or else the shape of the eyes, make it possible to preselect areas of the eye. image some of which will contain the eyes. An algorithm according to this solution then analyzes the relative positions of the different dark areas. Then a fine analysis at maximum resolution of the preselected areas is carried out in order to retain only the two areas supposed to contain the eyes.

Or le cadrage de la tte devant tre relativement large, l'oeil n'est alors plus représenté que par un nombre relativement restreint de points. De plus, l'éclairage du visage dans le proche infrarouge, nécessaire la nuit, diminue les contrastes des différentes parties de l'oeil entre elles et notamment entre l'iris et la cornée. However, since the framing of the head must be relatively wide, the eye is then no longer represented except by a relatively small number of points. In addition, the illumination of the face in the near infrared, necessary at night, reduces the contrasts of the different parts of the eye between them and in particular between the iris and the cornea.

Or il faut considérer que la variété des morphologies du visage humain est quasiment infinie. Si l'on prend en compte les caractéristiques du système pileux, (couleur, homogénéité de la coloration, mode d'implantation), l'absence ou la présence de lunettes, la forme du visage, le maquillage, on arrive à un nombre trop élevé de solutions indépendantes pour pouvoir formaliser un algorithme de localisation des yeux à partir de critères qui se basent uniquement sur les positions relatives entre les différentes zones sombres du visage. Il arrive alors que selon les critères des méthodes de reconnaissance de forme, certaines parties des sourcils, des lunettes, de la barbe, des moustaches et autres, ressemblent soit autant, soit bien plus à des yeux que les yeux eux-mmes surtout lorsqu'ils sont fermés. Now we must consider that the variety of morphologies of the human face is almost infinite. If we take into account the characteristics of the hair system (color, homogeneity of coloring, mode of implantation), the absence or presence of glasses, the shape of the face, makeup, we arrive at too many high of independent solutions to be able to formalize an algorithm of localization of the eyes starting from criteria which are based only on the relative positions between the various dark areas of the face. It so happens that according to the criteria of the methods of shape recognition, certain parts of the eyebrows, glasses, beard, mustaches and others, resemble either as much, or much more like eyes than the eyes themselves especially when they are closed.

En fait, pour tous les systèmes qui essaient de localiser les yeux par une analyse statique, comme c'est le cas pour les systèmes qui viennent d'tre décrits, les difficultés qui viennent d'tre présentées existeront toujours. In fact, for all systems that try to locate the eyes by static analysis, as is the case for the systems which have just been described, the difficulties which have just been presented will always exist.

Pour mesurer l'ouverture de l'oeil, le brevet FR 2 734 701 propose un algorithme qui enregistre, à un instant t, les deux zones de référence supposées contenir chacune un oeil ouvert. Une différence quadratique est ensuite effectuée entre les zones de l'image, supposées contenir les yeux, à différents instants. Il est ainsi possible d'obtenir une courbe de l'évolution au cours du temps de la position de la paupière sur l'oeil. To measure the opening of the eye, the patent FR 2 734 701 proposes an algorithm which records, at an instant t, the two reference zones each supposed to contain an open eye. A quadratic difference is then made between the areas of the image, supposed to contain the eyes, at different times. It is thus possible to obtain a curve of the evolution over time of the position of the eyelid on the eye.

Cependant, la solution décrite n'explicite pas comment elle détermine que la zone de référence correspond à un oeil grand ouvert. Or le choix de cette zone de référence détermine de façon prépondérante la précision de la mesure du degré de l'ouverture de l'oeil. De plus, il faut ajouter que cette mesure est sensible au mouvement de tte du sujet. En fait si l'on suppose que la position des yeux est correctement détectée, ce genre de mesures ne fonctionne que pour une personne qui reste quasiment immobile. Enfin, le brevet FR 2 734 701 ne propose pas de solution pour évaluer le niveau de vigilance du sujet. However, the solution described does not explain how it determines that the reference zone corresponds to a wide open eye. However, the choice of this reference area predominantly determines the precision of the measurement of the degree of the opening of the eye. In addition, it should be added that this measurement is sensitive to the movement of the subject's head. In fact if we assume that the position of the eyes is correctly detected, this kind of measurement only works for a person who remains almost motionless. Finally, patent FR 2 734 701 does not offer a solution for assessing the subject's level of alertness.

La présente invention propose de pallier les différentes insuffisances des systèmes de l'état de la technique déjà cités, et de fournir un moyen non invasif et fiable pour la détection de l'état de vigilance du conducteur en vue d'actions préventives empchant son endormissement, le prévenant des risques liés à son état et prenant toute autre mesure susceptible de garantir la sécurité. The present invention proposes to overcome the various shortcomings of the systems of the state of the art already mentioned, and to provide a non-invasive and reliable means for detecting the state of alertness of the driver with a view to preventive actions preventing his falling asleep. , warning him of the risks linked to his condition and taking any other measure likely to guarantee safety.

L'invention réalise l'acquisition d'images de la face du conducteur et le traitement numérique de ces images. Elle réalise ensuite la mesure des paramètres liés aux clignements des paupières. L'analyse de ces paramètres selon des critères et des algorithme déterminés, est alors effectuée. Le niveau de vigilance du conducteur est déduit de ces analyses. Enfin, une action appropriée est mise en oeuvre quand ce niveau de vigilance est jugé non compatible avec la tâche de conduite. The invention achieves the acquisition of images of the driver's face and the digital processing of these images. She then measures the parameters related to blinking eyelids. The analysis of these parameters according to determined criteria and algorithm is then carried out. The driver's level of vigilance is deduced from these analyzes. Finally, appropriate action is taken when this level of alertness is deemed not compatible with the driving task.

Les originalités du système selon l'invention permettent de mesurer le niveau de vigilance d'une personne, quelqu'elle soit, c'est à dire indépendamment de sa physionomie, de la morphologie de ces yeux, de l'absence ou de la présence de lunettes, de la plupart des mouvements de tte qu'elle effectue en conduisant, et quel que soit le type de véhicule conduit. The original features of the system according to the invention make it possible to measure the level of alertness of a person, whatever it is, that is to say independently of their physiognomy, of the morphology of these eyes, of the absence or of the presence glasses, most of the head movements she makes while driving, and regardless of the type of vehicle driven.

Le système selon l'invention fonctionne aussi indépendamment des caractéristiques de clignements des yeux du conducteur du véhicule, telle que la fréquence de clignements, la fréquence et la durée des clignements longs, ou encore du fait que la personne s'endorme les yeux ouverts.... The system according to the invention also functions independently of the blinking characteristics of the driver of the vehicle, such as the frequency of blinking, the frequency and duration of long blinking, or even the fact that the person falls asleep with his eyes open. ...

Le système proposé par l'invention peut tre expliqué d'un point de vue fonctionnel à partir d'un découpage en quatre sous-systèmes : le premier soussystème réalise la formation de l'image du visage du conducteur et la transmission de cette image au deuxième sous-système. Le deuxième sous-système traite l'image du visage du conducteur pour mesurer les paramètres pertinents du clignement de paupières et envoie ces mesures au troisième sous-système. Le troisième sous-système estime le niveau de vigilance à partir des mesures envoyées par le deuxième soussystème et envoie cette estimation au quatrième soussystème. En fonction de l'information qu'il reçoit du troisième sous-système, le quatrième sous-système génère l'action appropriée pour éventuellement prévenir le conducteur de sa baisse de vigilance. The system proposed by the invention can be explained from a functional point of view from a division into four subsystems: the first subsystem performs the image of the driver's face and the transmission of this image to the second subsystem. The second subsystem processes the image of the driver's face to measure the relevant blink parameters and sends these measurements to the third subsystem. The third subsystem estimates the level of vigilance from the measurements sent by the second subsystem and sends this estimate to the fourth subsystem. Depending on the information it receives from the third subsystem, the fourth subsystem generates the appropriate action to possibly warn the driver of his reduced alertness.

L'invention concerne donc un système pour surveiller des yeux afin de détecter et de prévenir des baisses de vigilance d'un conducteur de véhicule caractérisé en ce qu'il comprend :
-des moyens de détection du mouvement des paupières du conducteur,
-des moyens d'analyse du mouvement des paupières du conducteur,
-des moyens pour fournir une rétroaction au conducteur.The invention therefore relates to a system for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver, characterized in that it comprises:
means for detecting the movement of the driver's eyelids,
means for analyzing the movement of the driver's eyelids,
-means for providing feedback to the driver.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que les moyens de détection du mouvement des paupières du conducteur comprennent notamment :
-des moyens d'acquisition d'image pour acquérir des images notamment du visage du conducteur,
-des moyens pour extraire de l'image une sousimage, ou masque, contenant uniquement le visage ou une partie du visage,
-des premiers moyens de traitement d'image pour réaliser un recalage spatial des sous-images acquises à différents instants,
-des second moyens de traitement d'image pour effectuer une différence entre des sous-images acquises.According to an improvement of the invention, the system of the invention is characterized in that the means for detecting the movement of the driver's eyelids include in particular:
image acquisition means for acquiring images, in particular of the driver's face,
means for extracting from the image a subimage, or mask, containing only the face or a part of the face,
first image processing means for spatial registration of the sub-images acquired at different times,
second image processing means for making a difference between acquired sub-images.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que le recalage entre les sous-images acquises est effectué en minimisant une distance entre ces sous-images. According to an improvement of the invention, the system of the invention is characterized in that the registration between the acquired sub-images is carried out by minimizing a distance between these sub-images.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce qu'il comprend des moyens pour ne pas prendre en compte les images qui présentent une différence trop importante avec l'image précédente. According to an improvement of the invention, the system of the invention is characterized in that it comprises means for not taking into account the images which present too great a difference with the previous image.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que les second moyens de traitement d'image comprennent des moyens pour mesurer le temps de clignement des paupières du conducteur. According to an improvement of the invention, the system of the invention is characterized in that the second image processing means comprise means for measuring the blinking time of the driver's eyelids.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que les seconds moyens de traitement d'image comprennent des moyens pour agrandir artificiellement, sur les images acquises, la taille des pupilles du conducteur. According to an improvement of the invention, the system of the invention is characterized in that the second image processing means comprise means for artificially enlarging, on the acquired images, the size of the driver's pupils.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que les moyens d'analyse du mouvement des paupières comprennent :
-des moyens pour mettre en oeuvre un algorithme d'analyse de série de clignements, les séries de clignements étant composées d'un nombre constant de clignements,
-des moyens pour repérer les séries de clignements dont la durée est élevée.According to an improvement of the invention, the system of the invention is characterized in that the means for analyzing the movement of the eyelids include:
means for implementing a blinking series analysis algorithm, the blinking series being composed of a constant number of blinks,
means for identifying the series of blinks whose duration is high.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que l'algorithme d'analyse de série de clignements sauvegarde le maximum de la moyenne des séries de clignements qui se sont constituées durant un intervalle de temps t. According to an improvement of the invention, the system of the invention is characterized in that the blinking series analysis algorithm saves the maximum of the average of the blinking series which have formed during a time interval t.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que l'algorithme d'analyse de séries de clignements fait intervenir une valeur seuil à laquelle sont comparés des paramètres statistiques calculés sur les séries de clignements dont la durée est élevée. According to an improvement of the invention, the system of the invention is characterized in that the analysis algorithm for blinking series involves a threshold value to which are compared statistical parameters calculated on the blinking series whose duration is high.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que les paramètres statistiques calculés sur les séries de clignements dont la durée est élevée sont pré-traitées afin de s'adapter à la valeur seuil. According to an improvement of the invention, the system of the invention is characterized in that the statistical parameters calculated on the series of blinks whose duration is high are pre-processed in order to adapt to the threshold value.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que chaque série de clignements est constituée de dix clignements. According to an improvement of the invention, the system of the invention is characterized in that each series of blinks consists of ten blinks.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que l'intervalle de temps t est de 1 minute. According to an improvement of the invention, the system of the invention is characterized in that the time interval t is 1 minute.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que les moyens d'acquisition d'image comprennent notamment une caméra CCD. According to an improvement of the invention, the system of the invention is characterized in that the image acquisition means notably comprise a CCD camera.

Suivant un perfectionnement de l'invention, le système de l'invention est caractérisé en ce que la résolution de la caméra CCD est de 512X512 pixels. According to an improvement of the invention, the system of the invention is characterized in that the resolution of the CCD camera is 512X512 pixels.

La présente invention concerne également un procédé pour surveiller des yeux afin de détecter et de prévenir des baisses de vigilance d'un conducteur de véhicule caractérisé en ce qu'il comprend les étapes qui consistent à :
-acquérir de façon non invasive des images du visage d'un conducteur,
-détecter les mouvements de paupières du conducteur,
-traiter les images acquises,
-fournir une rétroaction à l'individu.The present invention also relates to a method for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver, characterized in that it comprises the steps which consist in:
- non-invasively acquire images of a driver's face,
-detect the driver's eyelid movements,
-process the acquired images,
-provide feedback to the individual.

Suivant un perfectionnement de l'invention, le procédé selon l'invention est caractérisé en ce que l'étape consistant à traiter les images acquises comprend les étapes qui consistent à :
-extraire de chaque image une sous-image contenant le visage ou une partie du visage dite masque,
-conserver uniquement les images ne présentent pas par rapport à l'image précédente, une différence inférieure à un seuil prédéterminé,
-recaler les masques successifs,
-grossir artificiellement les pupilles du conducteur,
-effectuer une différence entre les masques recalés,
-mesurer le temps de montée et de descente des paupières,
-isoler les séries de clignements considérés comme longs après comparaison à un second seuil prédéterminé,
-sauvegarder le maximum de la moyenne de la moyenne des séries de clignements qui se sont constituées durant un intervalle de temps t.According to an improvement of the invention, the method according to the invention is characterized in that the step consisting in processing the acquired images comprises the steps which consist in:
-extract from each image a sub-image containing the face or a part of the face called a mask,
- keep only the images that do not have a difference less than a predetermined threshold compared to the previous image,
- reset the successive masks,
- artificially enlarge the driver's pupils,
- make a difference between the failed masks,
-measure the time of eyelid ascent and descent,
-isolate the series of blinks considered to be long after comparison with a second predetermined threshold,
-save the maximum of the average of the average of the series of blinks which have formed during a time interval t.

Suivant un perfectionnement de l'invention, le procédé selon l'invention est caractérisé en ce que l'étape consistant à fournir une rétroactionà l'individu comprend l'étape de générer des messages vocaux appropriés. According to an improvement of the invention, the method according to the invention is characterized in that the step consisting in providing feedback to the individual comprises the step of generating appropriate voice messages.

Suivant un perfectionnement de l'invention, le procédé selon l'invention est caractérisé en ce que l'étape consistant à fournir une rétroaction à individu comprend l'étape de mettre en route des clignotants pour signaler à l'extérieur un état avancé de baisse de vigilance. According to an improvement of the invention, the method according to the invention is characterized in that the step consisting in providing feedback to the individual comprises the step of turning on indicators to signal outside an advanced state of decline vigilance.

Suivant un perfectionnement de l'invention, le procédé selon l'invention est caractérisé en ce que l'étape consistant à fournir une rétroaction à l'individu comprend l'étape d'engager un ralentissement progressif du véhicule, le dit ralentissement pouvant aller jusqu'à l'arrt du véhicule. According to an improvement of the invention, the method according to the invention is characterized in that the step consisting in providing feedback to the individual comprises the step of initiating a progressive deceleration of the vehicle, said deceleration being able to go up to 'when the vehicle is stopped.

Les différents aspects et avantages de l'invention apparaîtront plus clairement dans la suite de la description en référence aux figures qui ne sont données qu'à titre indicatif et nullement limitatif de l'invention et qui sont à présent introduites :
-la figure 1 illustre un schéma fonctionnel de l'organisation du système de détection et de prévention des baisses de vigilance selon l'invention,
-la figure 2 illustre une implantation physique possible d'un système selon l'invention dans l'habitacle d'un véhicule,
-la figure 3 illustre un schéma fonctionnel d'une réalisation particulière selon l'invention du processus de mesure du paramètre de durée du temps de clignement,
-la figure 4 illustre le principe de mesure du temps de clignement par recalage dynamique et différence d'image des masques du visage.The various aspects and advantages of the invention will appear more clearly in the following description with reference to the figures which are given for information only and in no way limit the invention and which are now introduced:
FIG. 1 illustrates a functional diagram of the organization of the system for detecting and preventing reductions in alertness according to the invention,
FIG. 2 illustrates a possible physical installation of a system according to the invention in the passenger compartment of a vehicle,
FIG. 3 illustrates a functional diagram of a particular embodiment according to the invention of the process for measuring the duration parameter of the blinking time,
FIG. 4 illustrates the principle of measuring the blinking time by dynamic registration and difference in image of the face masks.

-la figure 5 illustre un schéma fonctionnel d'une réalisation particulière selon l'invention du système de calcul du niveau de vigilance du conducteur. FIG. 5 illustrates a functional diagram of a particular embodiment according to the invention of the driver alertness calculation system.

A la figure 1, l'organisation fonctionnelle du système de détection et de prévention est représentée sous la forme d'un schéma fonctionnel divisé en quatre principaux sous-systèmes. In FIG. 1, the functional organization of the detection and prevention system is represented in the form of a functional diagram divided into four main subsystems.

Un premier sous-système 100 est le système de formation de l'image du visage du conducteur et de transmission de cette image à un deuxième sous-système 200. Le deuxième sous-système 200 est le système qui traite l'image du visage du conducteur pour mesurer les paramètres pertinents du clignement de paupières et qui envoie ces mesures à un troisième sous-système 300. Le troisième sous-système 300 estime le niveau de vigilance à partir des mesures envoyées par le soussystème 200 et envoie cette estimation à un quatrième sous-système 400. L'estimation de la vigilance est réalisée au cours de trois étapes successives : une première étape 302 de pré-traitement des paramètres de durée des clignements ; une deuxième étape 304 de calculs de fonctions caractéristiques du niveau de vigilance ; une troisième étape 306 d'évaluation effective du niveau de vigilance. Ces différentes étapes seront détaillées dans la suite de la description. En fonction de l'information qu'il reçoit du troisième sous-système 300, le quatrième soussystème 400 génère l'action appropriée pour prévenir, si besoin est, la baisse de vigilance du conducteur. Le quatrième sous-système est une interface homme-machine qui, à partir de l'évaluation effective du niveau de vigilance, avertit le conducteur ou agit directement sur l'environnement du conducteur. A first subsystem 100 is the system for forming the image of the driver's face and for transmitting this image to a second subsystem 200. The second subsystem 200 is the system which processes the image of the driver's face. conductor to measure the relevant parameters of the blinking of the eyelids and which sends these measurements to a third subsystem 300. The third subsystem 300 estimates the level of alertness from the measurements sent by the subsystem 200 and sends this estimate to a fourth subsystem 400. The vigilance estimation is carried out during three successive stages: a first stage 302 of pre-processing of the parameters for the duration of the blinks; a second step 304 of calculating functions characteristic of the level of vigilance; a third step 306 of effective evaluation of the level of vigilance. These different steps will be detailed in the following description. Based on the information it receives from the third subsystem 300, the fourth subsystem 400 generates the appropriate action to prevent, if necessary, the drop in alertness of the driver. The fourth subsystem is a man-machine interface which, based on the effective assessment of the level of alertness, warns the driver or acts directly on the driver's environment.

Le premier sous-système 100 et le deuxième sous-système 200 constituent des moyens de détection du mouvement des paupières du conducteur. The first subsystem 100 and the second subsystem 200 constitute means for detecting the movement of the driver's eyelids.

Le troisième sous-système 300 constitue des moyens d'analyse du mouvement des paupières du conducteur. The third subsystem 300 constitutes means for analyzing the movement of the driver's eyelids.

Le quatrième sous-système 400 constitue des moyens pour fournir une rétroaction au conducteur. The fourth subsystem 400 provides means for providing feedback to the driver.

A la figure 2, un système de prise de vue, qui permet la formation optique de l'image d'un conducteur 21, est représenté. Ce système de prise de vue comprend notamment une ou plusieurs sources d'éclairage 22, comme par exemple des diodes électroluminescentes (LED) qui émettent dans le proche infrarouge. Un angle d'émission a de ces LED doit tre suffisamment large (supérieur à 45 ) pour permettre un éclairage aussi homogène que possible du champ de prise de vue. Le système de prise de vue comprend aussi une petite caméra 23 placée devant le conducteur de telle façon que le visage du conducteur est en permanence entièrement dans le champ de vision de cette caméra, et cela sans que des réglages de positionnement de la caméra soient nécessaires. La caméra 23 peut tre réalisée à l'aide d'un capteur CCD. Cette caméra doit tre aussi petite que possible et avoir une bonne sensibilité dans la bande spectrale considérée. Si l'évolution des technologies le permet, il sera avantageux de prendre des caméras avec des résolutions supérieures à 512x512 pixels. In Figure 2, a shooting system, which allows the optical formation of the image of a conductor 21, is shown. This shooting system notably comprises one or more lighting sources 22, such as for example light-emitting diodes (LEDs) which emit in the near infrared. An emission angle α of these LEDs must be wide enough (greater than 45) to allow as homogeneous lighting as possible of the field of view. The shooting system also includes a small camera 23 placed in front of the driver so that the driver's face is permanently entirely in the field of vision of this camera, and this without adjustments to the positioning of the camera being necessary. . The camera 23 can be produced using a CCD sensor. This camera must be as small as possible and have good sensitivity in the spectral band considered. If technological developments allow, it will be advantageous to take cameras with resolutions higher than 512x512 pixels.

Le système de prise de vue comprend également un moyen de transmission 24 de l'image vidéo vers une première unité de calcul 25. Cette première unité de calcul 25 réalise la mesure des paramètres du clignement par un traitement d'images. Les paramètres du clignement sont ensuite utilisés pour évaluer le niveau de vigilance du conducteur. Cette évaluation peut se faire soit dans la première unité de calcul 25, soit dans une seconde unité de calcul 26 indépendante. The shooting system also comprises a means 24 for transmitting the video image to a first calculation unit 25. This first calculation unit 25 measures the parameters of the blinking by image processing. The blink parameters are then used to assess the driver's level of alertness. This evaluation can be done either in the first calculation unit 25 or in a second independent calculation unit 26.

L'unité de calcul effectuant l'évaluation génère un signal approprié 27 soit d'informations au conducteur soit d'actions sur l'environnement du conducteur.The calculation unit performing the evaluation generates an appropriate signal 27 either of information to the driver or of actions on the environment of the driver.

Le système de prise de vue présenté à la figure 2 peut également tre mis en place dans des véhicules de type poids-lourds. The shooting system presented in FIG. 2 can also be implemented in heavy goods vehicles.

A la figure 3, le deuxième sous-système 200, présenté à la figure 1, est détaillé sous la forme d'un schéma fonctionnel. Dans la réalisation illustrée, le processus de mesure du paramètre de durée du temps de clignement est réalisé via un calculateur sur lequel est implanté un algorithme de traitement d'images permettant d'effectuer les mesures souhaitées. In FIG. 3, the second subsystem 200, presented in FIG. 1, is detailed in the form of a functional diagram. In the illustrated embodiment, the process for measuring the duration of the blinking time parameter is carried out via a computer on which is installed an image processing algorithm making it possible to carry out the desired measurements.

Des images acquises 202 par la caméra 23 (à une fréquence supérieure ou égale à 25 images par seconde) sont transmises à une unité de calcul sur laquelle est implanté un algorithme de traitement d'images permettant la mesure des paramètres liés à la durée de clignement. Cette unité peut schématiquement tre divisée en 4 modules :
Un premier module 204 transforme, pour chaque image, le signal vidéo en information numérisée, associant à chaque pixel de l'image un niveau de gris correspondant à l'éclairement de celui-ci. L'unité de calcul dispose de capacités de mémoire suffisantes pour pouvoir accéder à un instant donné aux informations représentant les dernières images numérisées et sauvegardées.Images acquired 202 by the camera 23 (at a frequency greater than or equal to 25 images per second) are transmitted to a computing unit on which is implemented an image processing algorithm allowing the measurement of the parameters linked to the blinking time . This unit can schematically be divided into 4 modules:
A first module 204 transforms, for each image, the video signal into digitized information, associating with each pixel of the image a gray level corresponding to the illumination thereof. The computing unit has sufficient memory capacities to be able to access at a given instant the information representing the last images scanned and saved.

Un deuxième module 206 et un troisième module 208, qui constituent des premiers moyens de traitement d'image, réalisent le recalage de la dernière image acquise par rapport aux précédentes images acquises et sauvegardées. A second module 206 and a third module 208, which constitute first image processing means, perform the registration of the last image acquired with respect to the previous images acquired and saved.

Un quatrième module 210, qui constitue des seconds moyens de traitement d'image, détecte les clignements du conducteur et mesure les paramètres liés à leur durée en se basant sur les différences entre images successives. Ces paramètres sont ensuite envoyés au module de mesure du niveau de vigilance 300. Les paramètres mesurés sont indépendants de la morphologie et du degré d'ouverture de l'oeil du conducteur au moment où débute le clignement. A fourth module 210, which constitutes second image processing means, detects the blinking of the driver and measures the parameters related to their duration based on the differences between successive images. These parameters are then sent to the vigilance level measurement module 300. The measured parameters are independent of the morphology and the degree of opening of the driver's eye when the blinking starts.

Un exemple préféré de réalisation, selon l'invention, du deuxième module 206 et du troisième module 208 permettant le recalage de la position du visage d'une image à l'autre est proposé. D'autres réalisations peuvent tre envisagées et mises en oeuvre sans nuire au principe de mesure selon l'invention. A preferred exemplary embodiment, according to the invention, of the second module 206 and of the third module 208 allowing the registration of the position of the face from one image to another is proposed. Other embodiments can be envisaged and implemented without harming the measuring principle according to the invention.

Dans cet exemple, le deuxième module 206 réalise la segmentation du visage par rapport au reste de l'image. Le visage est un objet de l'image qui a plusieurs propriétés. C'est un des objets qui se trouve à une des plus petites distances de l'objectif de la caméra et qui fait partie des objets qui sont à la fois dans le champ de la caméra et qui sont bien éclairés. In this example, the second module 206 performs the segmentation of the face relative to the rest of the image. The face is an object of the image which has several properties. It is one of the objects which is at one of the smallest distances from the camera lens and which is one of the objects which are both in the field of the camera and which are well lit.

En effet, d'une part la source d'éclairage est spécialement conçue pour optimiser l'éclairage du visage, et d'autre part la réflexion de la peau dans le proche infrarouge est relativement élevée. Ceci permet de considérer comme hypothèse de départ que le visage fait partie des objets les plus éclairés de la scèneà analyser.Indeed, on the one hand the light source is specially designed to optimize the lighting of the face, and on the other hand the reflection of the skin in the near infrared is relatively high. This makes it possible to consider as a starting hypothesis that the face is one of the most lit objects of the scene to be analyzed.

On procède alors à la segmentation des objets clairs de l'image. Pour cela, on sous-échantillonne l'image et on applique sur cette image un filtre qui moyenne les niveaux de gris des pixels de l'image. Ceci permet d'obtenir une image du visage qui apparaît alors comme une surface claire et homogène. Un traitement adapté permet d'extraire les surfaces les plus claires du reste de l'image. Une analyse de scène est alors réalisée à partir de cette image basse résolution. We then proceed to the segmentation of the clear objects of the image. For this, the image is subsampled and a filter is applied to this image which averages the gray levels of the pixels of the image. This makes it possible to obtain an image of the face which then appears as a clear and homogeneous surface. A suitable treatment extracts the clearest surfaces from the rest of the image. A scene analysis is then carried out from this low resolution image.

L'analyse des paramètres de position, de surface et de forme des objets permet d'identifier des classes d'objets, d'en éliminer certains et d'en modifier d'autres. Par exemple, la transition horizontale d'un appuie-tte peut tre détectée, et le bas du visage peut tre construit par extrapolation de la partie supérieure. Cette analyse permet aussi d'avoir des informations de contexte sur la position et les mouvements du conducteur, le masquage de la caméra par le volant, la qualité de l'éclairage et le contraste de l'image. Ces derniers points peuvent tre utilisés pour diagnostiquer des conditions dans lesquelles l'image ne peut pas tre analysée, et par conséquent des conditions pour lesquelles des images ne sont pas prises en compte.The analysis of the parameters of position, surface and shape of the objects makes it possible to identify classes of objects, to eliminate some of them and to modify others. For example, the horizontal transition of a headrest can be detected, and the lower face can be constructed by extrapolation of the upper part. This analysis also provides contextual information on the position and movements of the driver, the masking of the camera by the steering wheel, the quality of the lighting and the contrast of the image. These latter points can be used to diagnose conditions under which the image cannot be analyzed, and consequently conditions for which images are not taken into account.

Le deuxième module 208 de traitement d'images réalise le recalage de la surface claire ou des surfaces claires sélectionnées qui définissent des masques du visage au cours du temps. L'objectif est de pouvoir superposer les masques du visage extraits à des instants t, t-dt, t-2dt,..., t-kdt afin de calculer les différences entre ces masques. Pour réaliser ce recalage, un algorithme du deuxième sous-système 200 cherche à minimiser une distance entre les masques obtenus à des instants différents. La distance utilisée peut tre par exemple, la somme des valeurs absolues des différences entre les pixels. Plusieurs méthodes de calcul sont possibles pour obtenir rapidement ce minimum. Si la distance entre les images successives devient trop élevée, les opérations de recalage sont alors interrompues et recommencent lorsque la minimisation de la distance est jugée satisfaisante. Ce cas de figure se présente notamment dans le cas de mouvements de tte trop complexes ou de variations d'éclairage. The second image processing module 208 realigns the clear surface or selected clear surfaces which define masks of the face over time. The objective is to be able to superimpose the extracted facial masks at times t, t-dt, t-2dt, ..., t-kdt in order to calculate the differences between these masks. To perform this registration, an algorithm of the second subsystem 200 seeks to minimize a distance between the masks obtained at different times. The distance used can be, for example, the sum of the absolute values of the differences between the pixels. Several calculation methods are possible to quickly obtain this minimum. If the distance between the successive images becomes too high, the registration operations are then interrupted and restarted when the minimization of the distance is deemed satisfactory. This scenario occurs in particular in the case of overly complex head movements or lighting variations.

Ces propriétés des operations de recalage du masque du visage du conducteur permettent donc de comprendre pourquoi ce système peut aussi bien évaluer le niveau de vigilance d'un conducteur de véhicule léger (quasiment immobile) que celui d'un conducteur de camion qui est presque toujours en mouvement. These properties of the driver's face mask registration operations therefore make it possible to understand why this system can assess the level of alertness of a light vehicle driver (almost immobile) as well as that of a truck driver who is almost always moving.

Bien que d'autres méthodes de recalage peuvent tre utilisées, le principe du recalage à partir d'images segmentées du visage est essentiel dans l'invention. On peut noter que, jusqu'à présent, l'algorithme n'a jamais cherché à localiser les yeux du sujet. A ce niveau de l'algorithme, on se retrouve avec une série d'images de masques du visage recalées entre elles et indexées par le temps. Although other registration methods can be used, the principle of registration from segmented images of the face is essential in the invention. It can be noted that, so far, the algorithm has never sought to locate the subject's eyes. At this level of the algorithm, we are left with a series of facial mask images readjusted between them and indexed by time.

Le module de mesure du temps de clignement 210 comprend un algorithme qui fait la différence entre le masque du visage à l'instant t-dt et le masque du visage à l'instant t. Le module 210 fait de mme entre le masque du visage à l'instant t-2dt et le masque à l'instant t et ainsi de suite jusqu'à l'instant t-kdt. The blink time measurement module 210 includes an algorithm which differentiates between the face mask at time t-dt and the face mask at time t. The module 210 does the same between the face mask at time t-2dt and the mask at time t and so on until time t-kdt.

Le paramètre k détermine le temps de descente de paupière le plus lent que le module 210 est capable de détecter.The parameter k determines the slowest eyelid descent time that the module 210 is capable of detecting.

Lorsque l'on fait la différence entre des images acquises à des instants différents, tous les éléments qui constituent le visage et qui sont fixes disparaissent. On s'affranchit ainsi de la variabilité de morphologie de visage des personnes tout en obtenant la mesure de la durée de clignement. When we differentiate between images acquired at different times, all the elements that make up the face and that are fixed disappear. This eliminates the variability in the morphology of the faces of people while obtaining the measurement of the duration of blinking.

Lorsque la paupière commence à descendre, elle recouvre de plus en plus l'iris et la pupille. Les différences d'images réalisées au moment d'un début de clignement de paupière font donc apparaître des zones de différences positives. Le contraste maximum apparaît entre la pupille et la paupière. When the eyelid begins to descend, it increasingly covers the iris and the pupil. The differences in images produced at the start of an eyelid blink therefore show areas of positive difference. The maximum contrast appears between the pupil and the eyelid.

Lorsque la paupière remonte, une zone sombre (pupille et iris) recouvre une zone qui était claire précédemment. Si l'on fait la différence entre l'image la plus vieille dans le temps et l'image la plus récente, deux zones négatives apparaissent dans la région qui délimite le visage. La détection et l'analyse de ces zones positives et négatives permettent de mesurer la durée du clignement. When the eyelid rises, a dark area (pupil and iris) covers an area that was previously clear. If we differentiate between the oldest image in time and the most recent image, two negative zones appear in the region which delimits the face. The detection and analysis of these positive and negative zones makes it possible to measure the duration of the blinking.

La figure 4 illustre le principe de mesure du temps de clignement pour recalage dynamique et différences d'image des masques du visage. Différentes expressions, 40,41,42 et 43 d'un visage de conducteur sont représentés à des instants différents, respectivement tO, tl, t2 et t3. FIG. 4 illustrates the principle of measuring the blinking time for dynamic registration and image differences of the face masks. Different expressions, 40, 41, 42 and 43 of a driver's face are represented at different times, respectively tO, tl, t2 and t3.

Des images différence, 44,45 et 46, permettent de visualiser les mouvements au cours du temps, respectivement entre les instants tl et tO, t2 et tl, et t3 et t2. Sur les images différence, le contour du visage a été symboliquement représenté. Le visage différence 44 est vide : aucun mouvement n'a été détecté entre les instants tl et tO, le conducteur a gardé les yeux ouverts. Le visage différence 45 présente deux zones positives 47 et 48 : entre les instants t2 et tl, le conducteur a fermé les yeux. Le visage différence 46 présente deux zones négatives 49 et 50 : entre les instants t3 et t2, le conducteur a ouvert les yeux. Difference images, 44, 45 and 46, make it possible to visualize the movements over time, respectively between the instants tl and t0, t2 and tl, and t3 and t2. In the difference images, the outline of the face has been symbolically represented. The difference face 44 is empty: no movement was detected between times t1 and tO, the driver kept his eyes open. The difference face 45 has two positive zones 47 and 48: between times t2 and tl, the driver closed his eyes. The difference face 46 has two negative zones 49 and 50: between times t3 and t2, the driver opened his eyes.

Pour s'affranchir des cas où la pupille est contractée ou de taille réduite, on réalise une opération de dilatation artificielle des zones sombres sur tous les masques du visage. Ce pré-traitement de l'image permet une détection de la descente des paupières très fiable et indépendante de la taille de la pupille. Une reconnaissance de forme des zones positives qui apparaissent permet ensuite de caractériser les régions positives qui peuvent tre générées par les mouvements de paupières. La reconnaissance du clignement est d'autant plus fiable que l'on se donne plus de temps pour analyser la dynamique de croissance de la zone positive puis de la zone négative lorsque la paupière remonte. Le début d'un clignement est validé si l'on constate que la croissance au cours du temps de deux zones positives est conforme à un mouvement de descente complète de paupières. Pour tre validés comme un clignement de paupières, les couples de zones positives et les couples de zones négatives doivent vérifier plusieurs types de critères statistiques et dynamiques. To overcome cases where the pupil is contracted or reduced in size, an operation of artificial dilation of the dark areas is carried out on all the masks of the face. This preprocessing of the image allows detection of the descent of the eyelids very reliable and independent of the size of the pupil. A recognition of the shape of the positive zones which appear then makes it possible to characterize the positive regions which can be generated by the movements of the eyelids. Recognition of blinking is all the more reliable as more time is given to analyze the growth dynamics of the positive zone then of the negative zone when the eyelid rises. The start of a blink is validated if it is observed that the growth over time of two positive zones is in accordance with a movement of complete descent of the eyelids. To be validated as an blinking of the eyelids, the pairs of positive zones and the pairs of negative zones must verify several types of statistical and dynamic criteria.

Ce principe de mesure des mouvements de paupières explique bien pourquoi le système peut réaliser des mesures des temps de clignement indépendantes des caractéristiques et de la position du visage ou des vtements de la personne observée par le système. Le recalage suivi de la différence des images segmentées comprenant le visage à des instants différents réalisent un filtre qui ne garde que les parties mobiles du visage qui, soit occultent une zone sombre, soit découvrent une zone sombre. Les paupières sont les seuls objets du visage qui sont sélectionnés par ce filtre. This principle of measuring eyelid movements explains well why the system can carry out measurements of the blink times independent of the characteristics and position of the face or clothes of the person observed by the system. The registration followed by the difference of the segmented images comprising the face at different times produces a filter which only keeps the moving parts of the face which either obscure a dark area or uncover a dark area. The eyelids are the only facial objects that are selected by this filter.

Le processus dynamique de détection d'un début de clignement par l'algorithme selon l'invention, est le suivant : l'analyse des caractéristiques statiques et dynamiques des zones positives permet de détecter la présence d'un éventuel début de clignement. The dynamic process for detecting a start of blinking by the algorithm according to the invention is as follows: the analysis of the static and dynamic characteristics of the positive zones makes it possible to detect the presence of a possible start of blinking.

L'apparition puis la croissance de zones positives caractérisent le mouvement de descente des paupières, alors que l'apparition puis la croissance de zones négatives caractérisent la remontée des paupières. A l'instant t, l'algorithme possède en mémoire plusieurs séries de masques du visage. Il possède les masques du visage de l'instant t à l'instant t-kdt, ainsi que toutes les différences de masque d'indices t à t- (k- 1) dt avec le masque d'indice t-kdt. Deux cas se présentent alors :
-soit aucune phase complète n'a été détectée : la paupière n'a pas bougé sur l'oeil ou la paupière ne s'est pas arrtée de descendre. Dans ce cas l'image t+dt est acquise et l'on calcule toutes les différences de masques d'indices t+dt à t- (k-2) dt avec le masque d'indice t- (k-l) dt et l'on recommence le processus décrit ci-dessus.The appearance then the growth of positive zones characterize the movement of descent of the eyelids, while the appearance then the growth of negative zones characterize the raising of the eyelids. At time t, the algorithm has in memory several series of facial masks. It has the facial masks from time t to time t-kdt, as well as all the differences in mask of indices t to t- (k- 1) dt with the mask of index t-kdt. Two cases then arise:
- or no complete phase has been detected: the eyelid has not moved on the eye or the eyelid has not stopped going down. In this case the image t + dt is acquired and all the differences of masks of indices t + dt to t- (k-2) dt are calculated with the mask of index t- (kl) dt and l 'We repeat the process described above.

-soit une phase complète de descente de la paupière a été détectée et validée : un masque d'indice n correspondant à la fin de descente de la paupière est gardé en mémoire ainsi que les régions positives correspondant au mouvement de descente complet des paupières. On analyse ensuite la phase de remontée de la paupière. Le masque d'indice n devient le masque de référence que l'on soustrait à tous les masques d'indices suivant jusqu'à la fin de la phase de remontée des paupières. either a complete phase of descent of the eyelid has been detected and validated: a mask of index n corresponding to the end of descent of the eyelid is kept in memory as well as the positive regions corresponding to the movement of complete descent of the eyelids. We then analyze the eyelid lift phase. The index mask n becomes the reference mask which is subtracted from all the following index masks until the end of the eyelid lifting phase.

De la mme façon l'analyse de critères statistiques et dynamiques permet de contrôler et de valider la remontée des paupières. La phase de remontée de la paupière est considérée comme terminée lorsque les caractéristiques statiques et dynamiques du couple des zones négatives observées sont égales à celles des zones positives à un pourcentage d'erreur près. In the same way, the analysis of statistical and dynamic criteria makes it possible to control and validate the lifting of the eyelids. The eyelid lifting phase is considered complete when the static and dynamic characteristics of the couple of the negative zones observed are equal to those of the positive zones to within a percentage of error.

L'algorithme se remet alors en phase d'attente de début de clignement.The algorithm then returns to the waiting phase for the start of blinking.

A la figure 5, le troisième sous-système 300, présenté à la figure 1, est détaillé sous la forme d'un schéma fonctionnel. Le troisième sous-système 300 est composé de trois sous-modules. In FIG. 5, the third subsystem 300, presented in FIG. 1, is detailed in the form of a functional diagram. The third subsystem 300 is composed of three sub-modules.

Un premier sous-module 302 réalise un prétraitement non linéaire sur chaque clignement en éliminant les clignements dont la durée totale est supérieure à une durée Dmax ou inférieure à une durée
Dmin, et en écrtant ceux dont la durée totale est comprise entre une valeur intermédiaire Dint et la valeur Dmax. Les variations d'amplitude des clignements sont ainsi normalisées. Ces variations d'amplitude sont alors exploitables par une fonction caractéristique du niveau de vigilance, dont les calculs sont effectués dans un deuxième sous-module 304. Cette fonction se distingue des fonctions existantes de ce qu'elle réalise des calculs statistiques non pas sur une population de clignements générée durant un intervalle de temps fixe, mais sur une population de clignements composée d'un nombre constant de clignements. L'analyse fine des paramètres de durée des clignements montre que la baisse de vigilance se traduit par l'apparition de séries de clignements dans lesquelles la proportion de clignements, dont la durée est supérieure à des valeurs physiologiques prédéterminées, augmente.A first sub-module 302 performs a non-linear preprocessing on each blink by eliminating the blinks whose total duration is greater than a duration Dmax or less than a duration
Dmin, and by writing those whose total duration is between an intermediate value Dint and the value Dmax. The variations in amplitude of the blinks are thus normalized. These amplitude variations can then be exploited by a function characteristic of the level of vigilance, the calculations of which are carried out in a second sub-module 304. This function differs from the existing functions in that it performs statistical calculations not on a population of blinks generated during a fixed time interval, but on a population of blinks composed of a constant number of blinks. A detailed analysis of the parameters for the duration of blinks shows that the decrease in alertness results in the appearance of series of blinks in which the proportion of blinks, the duration of which is greater than predetermined physiological values, increases.

La fréquence et la continuité de ces groupes de clignements varient dans des proportions importantes d'un individu à l'autre. Pour un individu donné en état d'hypovigilance, il est tout a fait possible que, durant une période donnée, quelques groupes isolés de clignements longs parmi des clignements de durée normale soient générés. Le calcul de la durée moyenne, connu dans l'état de la technique, de l'ensemble des clignements générés pendant cette période donnera une valeur relativement faible car pondérée par tous les clignements de durée normale qui ont été générés conjointement aux groupes de clignements dans une mme fentre temporelle. The frequency and continuity of these groups of blinks vary considerably from one individual to another. For a given individual in a state of hypovigilance, it is quite possible that, during a given period, a few isolated groups of long blinks among blinks of normal duration are generated. The calculation of the average duration, known in the state of the art, of all the blinks generated during this period will give a relatively low value because weighted by all the blinks of normal duration which were generated jointly with the groups of blinks in the same time window.

Le fait de travailler sur des séries de clignements composées d'un nombre constant de clignements permet de séparer les groupes de clignements dont la durée est élevée des séries de clignements à durée normale. La réalisation d'une statistique sur ces séries de clignements composées d'un nombre constant de clignements permet de mettre en évidence de façon précoce et fiable les baisses de vigilance du conducteur. L'originalité de la fonction caractéristique développée par l'invention est de permettre la détection des baisses de vigilance des conducteurs à l'aide d'une seule fonction réglée avec un seuil de déclenchement d'alarme qui reste le mme pour l'ensemble des sujets observés par le système. The fact of working on series of blinks composed of a constant number of blinks makes it possible to separate the groups of blinks whose duration is high from the series of blinks with normal duration. The realization of a statistic on these series of blinks made up of a constant number of blinks makes it possible to highlight in an early and reliable way the decreases of vigilance of the driver. The originality of the characteristic function developed by the invention is to allow the detection of reductions in driver alertness using a single function set with an alarm triggering threshold which remains the same for all of the subjects observed by the system.

Cette amélioration par rapport aux techniques existantes vient essentiellement du fait que l'invention a identifié que le signe caractéristique des baisses de vigilance est l'apparition de clignements longs, plus ou moins groupés. La fonction de l'invention qui travaille avec des séries de nombre constant de clignements permet d'isoler ces seules séries de clignements caractéristiques afin d'y appliquer par la suite des traitements numériques adaptés. Certes, la fréquence de ces groupes de clignements longs varie d'un sujet à l'autre pour un niveau de vigilance équivalent. Mais l'invention a montré qu'il est possible d'évaluer le niveau de vigilance des sujets sans tenir compte de la fréquence d'apparition de ces groupes de clignements longs, en se limitant à l'analyse de paramètres statistiques calculés sur ces groupes de clignements longs. Les groupes de clignements longs pourront tre pré-traités ou non afin d'adapter la fonction d'évaluation du niveau de vigilance aux objectifs recherchés.This improvement compared to existing techniques comes essentially from the fact that the invention has identified that the characteristic sign of reductions in alertness is the appearance of long, more or less grouped blinks. The function of the invention which works with series of constant number of blinks makes it possible to isolate these only series of characteristic blinks in order to apply thereafter suitable digital processing. Admittedly, the frequency of these groups of long blinks varies from one subject to another for an equivalent level of vigilance. However, the invention has shown that it is possible to assess the level of alertness of the subjects without taking into account the frequency of appearance of these groups of long blinks, by limiting themselves to the analysis of statistical parameters calculated on these groups. long blinks. The groups of long blinks can be pre-treated or not in order to adapt the function of evaluation of the level of vigilance to the desired objectives.

Un exemple de fonction caractéristique peut tre le suivant : maximum de la moyenne des séries qui se sont constituées durant un intervalle de temps d'une durée d'une minute. Une série indicée t de clignements est composée des k derniers clignements produits à un instant t par un sujet (par exemple k = 10). Lorsqu'un nouveau clignement est produit par le sujet à l'instant t+dt, le clignement le plus ancien de la série indicée t est éliminé et le nouveau clignement est intégré à la série indicée t+dt. Le nombre de séries dans un intervalle de temps donné est donc égal au nombre de clignements qui a été généré dans cet intervalle de temps, mais les séries de clignements peuvent tre composées de clignements qui ont été produits antérieurement à l'intervalle de temps observé. An example of a characteristic function can be as follows: maximum of the average of the series which have been formed during a time interval of one minute duration. An indexed series t of blinks is made up of the last k blinks produced at an instant t by a subject (for example k = 10). When a new blink is produced by the subject at time t + dt, the oldest blink of the series indicated t is eliminated and the new blink is integrated into the series indicated t + dt. The number of series in a given time interval is therefore equal to the number of blinks which has been generated in this time interval, but the series of blinks may be composed of blinks which were produced prior to the observed time interval.

Un troisième sous-module 306 seuille les valeurs calculées dans le deuxième sous-module 304 en plusieurs niveaux caractéristiques d'états de vigilance de plus en plus dégradés. Dans un cas particulier de l'invention, deux niveaux de baisse de vigilance sont retenus en plus de l'état de haute vigilance : un niveau d'hypovigilance légère pour lequel le conducteur reçoit un avertissement léger afin de lui signaler que le processus de baisse de vigilance a commencé, et un niveau d'hypovigilance sévère pour lequel le conducteur est averti qu'il est en danger et qu'il peut s'assoupir au volant à tout instant. A third sub-module 306 thresholds the values calculated in the second sub-module 304 into several levels characteristic of increasingly degraded vigilance states. In a particular case of the invention, two levels of decreased alertness are retained in addition to the state of high alertness: a level of mild hypovigilance for which the driver receives a slight warning in order to signal to him that the process of decline vigilance has started, and a level of severe hypovigilance for which the driver is warned that he is in danger and that he can doze off behind the wheel at any time.

Le quatrième sous-système 400 de retour d'informations peut générer une action d'information vers le conducteur ou tout autre type d'action sur l'environnement du conducteur. Divers sous-systèmes d'avertissement sont envisageables. Un réalisation possible de ce sous-système consiste à générer des messages vocaux appropriés. Il est aussi possible d'engager des actions sur les organes du véhicule, comme par exemple mettre en route des clignotants pour signaler aux autres usagers que le conducteur est dans un état avancé de baisse de vigilance, ou mme d'engager un ralentissement progressif du véhicule pouvant aller jusqu'à l'arrt de ce dernier. The fourth information return subsystem 400 can generate an information action towards the driver or any other type of action on the environment of the driver. Various warning subsystems are possible. One possible embodiment of this subsystem is to generate appropriate voice messages. It is also possible to initiate actions on the vehicle organs, such as for example turning on indicators to signal other users that the driver is in an advanced state of reduced alertness, or even to initiate a gradual slowing down of the vehicle may go as far as stopping the latter.

L'invention développe donc un système qui détecte le mouvement des paupières. Le système selon l'invention évalue uniquement le début et la fin de clignements, sans jamais chercher à localiser les yeux de façon statique. The invention therefore develops a system which detects the movement of the eyelids. The system according to the invention evaluates only the start and the end of blinks, without ever seeking to locate the eyes statically.

Claims

1. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver, characterized in that it comprises:

means (100,200) for detecting the movement of the driver's eyelids,

means (300) for analyzing the movement of the driver's eyelids,

means (400) for providing feedback to the driver.

2. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 1 characterized in that the means for detecting the movement of the driver's eyelids include in particular:

means (100) of image acquisition for acquiring images in particular of the driver's face,

means for extracting from the image a subimage, or mask, containing only the face or a part of the face,

first means (206, 208) of image processing to perform a spatial registration of the subimages acquired at different times,

second image processing means (210) for making a difference between acquired sub-images.

3. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 2 characterized in that the registration between the acquired sub-images is carried out by minimizing a distance between these sub-images .

4. System for monitoring eyes to detect and prevent reductions in alertness of a vehicle driver according to claim 2 or claim 3 characterized in that it comprises means for not taking into account the images which present too large a difference from the previous image.

5. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to one of claims 2 to 4 characterized in that the second image processing means (210) comprise means to measure the driver's blinking time.

6. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claims 2 to 5, characterized in that the second image processing means comprise means for artificially enlarging, on the acquired images, the size of the driver's pupils.

7. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to one of claims 1 to 6, characterized in that the means (100,200) for analyzing the movement of the eyelids include:

means for implementing an analysis algorithm for series of blinks, the series of blinks being composed of a constant number of blinks,

means for identifying the series of blinks whose duration is high.

8. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 7, characterized in that the blinking series analysis algorithm saves the maximum of the average of the series of blinks that have formed during a time interval t.

9. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 7 or claim 8 characterized in that the blinking series analysis algorithm involves a threshold value to which are compared statistical parameters calculated on the series of blinks whose duration is high.

10. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 9 characterized in that the statistical parameters calculated on the series of blinks whose duration is high are pre-processed so to adapt to the threshold value.

11. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to one of claims 7 to 10 characterized in that each series of blinks consists of ten blinks.

12. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to one of claims to 11 characterized in that the time interval t is 1 minute.

13. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to one of claims 2 to 12 characterized in that the image acquisition means notably comprise a CCD camera.

14. System for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 13 characterized in that the resolution of the CCD camera is 512X512 pixels.

15. Method for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver, characterized in that it comprises the steps which consist in:

- non-invasively acquire images of a driver's face,

-detect the driver's eyelid movements,

-process the acquired images,

-provide feedback to the individual.

16. A method for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 15 characterized in that the step consisting in processing the acquired images comprises the steps which:

-extract from each image a sub-image containing the visgae or a part of the face called a mask,

- keep only the images that do not have a difference less than a predetermined threshold compared to the previous image,

- reset the successive masks,

- artificially enlarge the driver's pupils,

- make a difference between the failed masks,

-measure the time of eyelid ascent and descent,

-isolate the series of blinks considered to be long after comparison with a second predetermined threshold,

-save the maximum of the average of the series of blinks which have formed during a time interval t.

17. A method for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 15 or claim 16 characterized in that the step of providing feedback to the individual comprises the step to generate appropriate voice messages.

18. A method for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 15 or claim 16 characterized in that the step of providing feedback to the individual comprises the step of turning on indicators to signal outside an advanced state of reduced alertness.

19. A method for monitoring eyes in order to detect and prevent reductions in alertness of a vehicle driver according to claim 15 or claim 16 characterized in that the step of providing feedback to the individual comprises the step of initiating a progressive deceleration of the vehicle, said deceleration being able to go as far as stopping the vehicle.