FR3064791A1 - DEVICE FOR ASSISTING A VEHICLE DRIVER BY DETERMINING A LEVEL OF INATTENTION BY IMAGE COMPARISON - Google Patents

DEVICE FOR ASSISTING A VEHICLE DRIVER BY DETERMINING A LEVEL OF INATTENTION BY IMAGE COMPARISON Download PDF

Info

Publication number
FR3064791A1
FR3064791A1 FR1752907A FR1752907A FR3064791A1 FR 3064791 A1 FR3064791 A1 FR 3064791A1 FR 1752907 A FR1752907 A FR 1752907A FR 1752907 A FR1752907 A FR 1752907A FR 3064791 A1 FR3064791 A1 FR 3064791A1
Authority
FR
France
Prior art keywords
vehicle
driver
primary
observation
inattention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1752907A
Other languages
French (fr)
Inventor
Pascal Gouriet
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
Peugeot Citroen Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peugeot Citroen Automobiles SA filed Critical Peugeot Citroen Automobiles SA
Priority to FR1752907A priority Critical patent/FR3064791A1/en
Publication of FR3064791A1 publication Critical patent/FR3064791A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Abstract

Un dispositif (DA) est destiné à assister un conducteur d'un véhicule (V) pendant une phase de roulage, ce véhicule (V) ayant une cinématique définie par des informations primaires et comprenant des moyens d'acquisition (MAQ) pour acquérir des images primaires d'une zone située devant lui et des moyens d'observation (MO) déterminant la direction d'observation du conducteur. Ce dispositif (DA) comprend : - des premiers moyens d'analyse (MA1) générant à partir d'une image primaire une première image représentative d'une zone observable devant le véhicule (V), compte tenu des informations primaires, - des seconds moyens d'analyse (MA2) générant à partir de cette même image primaire une seconde image représentative d'une zone observée par le conducteur devant le véhicule (V), compte tenu de la direction d'observation, et - des moyens de traitement (MT) comparant les première et seconde images et déduisant de cette comparaison un premier niveau d'inattention du conducteur.A device (DA) is intended to assist a driver of a vehicle (V) during a taxi phase, the vehicle (V) having a kinematic defined by primary information and comprising acquisition means (MAQ) for acquiring data. primary images of an area in front of it and means of observation (MO) determining the direction of observation of the driver. This device (DA) comprises: - first analysis means (MA1) generating from a primary image a first image representative of an observable area in front of the vehicle (V), taking into account the primary information, - seconds analysis means (MA2) generating from the same primary image a second image representative of a zone observed by the driver in front of the vehicle (V), taking into account the direction of observation, and - processing means ( MT) comparing the first and second images and deducing from this comparison a first level of inattention of the driver.

Description

Titulaire(s) : PEUGEOT CITROEN AUTOMOBILES SA Société anonyme.Holder (s): PEUGEOT CITROEN AUTOMOBILES SA Société anonyme.

Demande(s) d’extensionExtension request (s)

Mandataire(s) : PEUGEOT CITROEN AUTOMOBILES SA Société anonyme.Agent (s): PEUGEOT CITROEN AUTOMOBILES SA Public limited company.

DISPOSITIF D'ASSISTANCE D'UN CONDUCTEUR DE VEHICULE PAR DETERMINATION D'UN NIVEAU D'INATTENTION PAR COMPARAISON D'IMAGES.DEVICE FOR ASSISTING A DRIVER OF A VEHICLE BY DETERMINING A LEVEL OF CAREFULLY BY COMPARING IMAGES.

FR 3 064 791 - A1 _ Un dispositif (DA) est destiné à assister un conducteur d'un véhicule (V) pendant une phase de roulage, ce véhicule (V) ayant une cinématique définie par des informations primaires et comprenant des moyens d'acquisition (MAQ) pour acquérir des images primaires d'une zone située devant lui et des moyens d'observation (MO) déterminant la direction d'observation du conducteur. Ce dispositif (DA) comprend:FR 3 064 791 - A1 _ A device (DA) is intended to assist a driver of a vehicle (V) during a driving phase, this vehicle (V) having a kinematics defined by primary information and comprising means for acquisition (MAQ) to acquire primary images of an area in front of him and observation means (MO) determining the direction of observation of the driver. This device (DA) includes:

- des premiers moyens d'analyse (MA1 ) générant à partir d'une image primaire une première image représentative d'une zone observable devant le véhicule (V), compte tenu des informations primaires,first analysis means (MA1) generating from a primary image a first image representative of an observable area in front of the vehicle (V), taking into account the primary information,

- des seconds moyens d'analyse (MA2) générant à partir de cette même image primaire une seconde image représentative d'une zone observée par le conducteur devant le véhicule (V), compte tenu de la direction d'observation, etsecond analysis means (MA2) generating from this same primary image a second image representative of an area observed by the driver in front of the vehicle (V), taking account of the direction of observation, and

- des moyens de traitement (MT) comparant les première et seconde images et déduisant de cette comparaison un premier niveau d'inattention du conducteur.- processing means (MT) comparing the first and second images and deducing from this comparison a first level of driver inattention.

PRBPRB

MAQMAQ

Figure FR3064791A1_D0001

MA2 MA1MA2 MA1

RC^ mt\plb RC ^ mt \ plb

Figure FR3064791A1_D0002
Figure FR3064791A1_D0003

ii

DISPOSITIF D’ASSISTANCE D’UN CONDUCTEUR DE VÉHICULE PAR DÉTERMINATION D’UN NIVEAU D’INATTENTION PAR COMPARAISON D’IMAGESDEVICE FOR ASSISTING A DRIVER OF A VEHICLE BY DETERMINING A LEVEL OF CAREFUL BY COMPARISON OF IMAGES

L’invention concerne les véhicules, éventuellement de type automobile, et plus précisément les dispositifs qui permettent d’assister les conducteurs de tels véhicules.The invention relates to vehicles, possibly of the automotive type, and more specifically to devices which assist the drivers of such vehicles.

Comme le sait l’homme de l’art, de nombreux dispositifs d’assistance îo ont déjà été proposés. Ils peuvent être classés en au moins cinq groupes selon le type d’assistance (ou d’aide) qu’ils apportent. Ainsi, un premier groupe comprend les dispositifs qui alertent le conducteur via une interface homme/machine lorsque le temps de conduite a dépassé un seuil choisi (par exemple égal à 2 heures).As those skilled in the art know, many assistive devices are already offered. They can be classified into at least five groups depending on the type of assistance (or help) they provide. Thus, a first group comprises the devices which alert the driver via a man / machine interface when the driving time has exceeded a chosen threshold (for example equal to 2 hours).

Un deuxième groupe comprend les dispositifs qui sont chargés de détecter des signes de perte de vigilance du conducteur, par exemple en fonction des variations de position angulaire du volant. On notera que dans ce qui suit l’expression « perte de vigilance >> est synonyme du mot « inattention >>. Dans les deux cas, il s’agit d’une distraction de l’attention duA second group includes the devices which are responsible for detecting signs of loss of vigilance on the part of the driver, for example as a function of variations in the angular position of the steering wheel. Note that in what follows the expression "loss of alertness" is synonymous with the word "inattention". In both cases, it is a distraction from the attention of the

0 conducteur par rapport à l’observation de la voie de circulation empruntée et/ou d’une somnolence du conducteur.0 driver compared to the observation of the lane used and / or driver drowsiness.

Un troisième groupe comprend les dispositifs qui sont chargés de détecter des louvoiements anormaux du véhicule sur sa voie de circulation ou des coups de volant donnés par le conducteur lorsque le véhicule est situé à proximité d’une ligne délimitant sa voie de circulation. Ces derniers dispositifs ont besoin de disposer d’images acquises par au moins une caméra numérique devant le véhicule (par exemple installée sur le pare-brise).A third group includes the devices which are responsible for detecting abnormal swaying of the vehicle on its lane or steering wheel strikes given by the driver when the vehicle is located near a line delimiting its lane. These latter devices need to have images acquired by at least one digital camera in front of the vehicle (for example installed on the windshield).

Un quatrième groupe comprend les dispositifs qui sont chargés de détecter les signes de distraction et de somnolence sur le visage duA fourth group includes the devices that are responsible for detecting signs of distraction and drowsiness on the face of the

0 conducteur. Ces derniers dispositifs ont besoin d’observer l’orientation de la tête et du regard du conducteur ainsi que ses yeux, par exemple au moyen d’une caméra numérique.0 driver. These latter devices need to observe the orientation of the driver’s head and gaze as well as his eyes, for example using a digital camera.

Un cinquième groupe comprend les dispositifs qui sont chargés de détecter les signes de fatigue par observation de l’état de santé du conducteur, par exemple ses battements de cœur. Ces derniers dispositifs nécessitent que le conducteur soit équipé de capteur(s).A fifth group includes devices that are responsible for detecting signs of fatigue by observing the driver’s health, such as his heartbeat. These latter devices require the driver to be equipped with sensor (s).

De tels dispositifs d’assistance sont chargés de générer des alarmes lorsqu’ils détectent au moins un paramètre anormal. Ces alarmes peuvent être destinées au conducteur du véhicule et/ou à au moins un calculateur embarqué dans le véhicule et chargé de contrôler une partie au moins de la cinématique de ce dernier (vitesse, accélération, trajectoire, freinage).Such assistive devices are responsible for generating alarms when they detect at least one abnormal parameter. These alarms can be intended for the driver of the vehicle and / or at least one computer on board the vehicle and responsible for controlling at least part of the latter's kinematics (speed, acceleration, trajectory, braking).

îo Aucun de ces dispositifs d’assistance ne se met réellement à la place du conducteur du véhicule pour réagir en fonction du niveau effectif de son inattention (par exemple un conducteur peut volontairement louvoyer).îo None of these assistive devices really puts itself in the place of the driver of the vehicle to react according to the actual level of his inattention (for example a driver can deliberately sway).

Par ailleurs, les aides offertes par ces dispositifs d’assistance présentent un taux d’erreur relativement important (tant en surestimation de risque qu’en sous-estimation de risque).In addition, the aids offered by these assistance devices have a relatively high error rate (both in overestimating risk and underestimating risk).

L’invention a donc notamment pour but d’améliorer la situation.The invention therefore aims in particular to improve the situation.

Elle propose notamment à cet effet un dispositif d’assistance destiné à assister un conducteur d’un véhicule pendant une phase de roulage sur une voie de circulation, ce véhicule ayant une cinématique définie par desTo this end, it notably proposes an assistance device intended to assist a driver of a vehicle during a driving phase on a traffic lane, this vehicle having kinematics defined by

0 informations primaires et comprenant des moyens d’acquisition propres à acquérir des images primaires d’une zone située devant le véhicule et des moyens d’observation propres à déterminer une direction d’observation du conducteur.0 primary information and comprising means of acquisition suitable for acquiring primary images of an area in front of the vehicle and means of observation suitable for determining a direction of observation of the driver.

Ce dispositif d’assistance se caractérise par le fait qu’il comprend :This assistance device is characterized by the fact that it includes:

- des premiers moyens d’analyse propres à générer à partir d’une image primaire une première image représentative d’une zone observable devant le véhicule, compte tenu des informations primaires,- first analysis means capable of generating from a primary image a first image representative of an observable area in front of the vehicle, taking into account the primary information,

- des seconds moyens d’analyse propres à générer à partir de cette même image primaire une seconde image représentative d’une zone observée par le conducteur devant le véhicule, compte tenu de la direction d’observation, et- second analysis means capable of generating from this same primary image a second image representative of an area observed by the driver in front of the vehicle, taking into account the direction of observation, and

- des moyens de traitement propres à comparer les première et seconde images et à déduire de cette comparaison un premier niveau d’inattention du conducteur.- processing means capable of comparing the first and second images and of deducing from this comparison a first level of driver inattention.

Grâce à cette comparaison entre ce qui est observé devant le véhicule et ce qui est effectivement observé par le conducteur, on dispose d’un niveau d’inattention qui est très représentatif de l’attention que le conducteur porte effectivement à la voie de circulation empruntée.Thanks to this comparison between what is observed in front of the vehicle and what is actually observed by the driver, there is a level of inattention which is very representative of the attention that the driver actually pays to the traffic lane used. .

Le dispositif d’assistance selon l’invention peut comporter d’autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment :The assistance device according to the invention may include other characteristics which can be taken separately or in combination, and in particular:

- ses premiers moyens d’analyse peuvent être propres à déterminer dans l’image primaire une zone frontale observable du véhicule par rapport à un premier repère prédéfini, compte tenu de l’une au moins des informations primaires, et ses seconds moyens d’analyse peuvent être propres à déterminer une zone de vision optimale du conducteur par rapport à un second repère prédéfini, à partir de la direction d’observation. Dans ce cas, ses moyens de traitement peuvent être propres à déterminer une position de la zone de vision optimale par rapport à la zone frontale observable dans le premier repère prédéfini, puis à déduire de cette position déterminée un second niveau d’inattention du conducteur, puis à estimer un résidu représentatif d’une différence entre les premier et second niveaux d’inattention, et à considérer valide le premier niveau d’inattention lorsque le résidu estimé est inférieur à un premier seuil choisi ;its first analysis means may be suitable for determining in the primary image an observable frontal area of the vehicle with respect to a first predefined reference point, taking account of at least one of the primary information, and its second analysis means may be suitable for determining an optimal vision zone of the driver with respect to a second predefined reference mark, from the direction of observation. In this case, its processing means may be suitable for determining a position of the optimal vision zone with respect to the frontal zone observable in the first predefined benchmark, then deducing from this determined position a second level of driver inattention, then to estimate a residue representative of a difference between the first and second levels of inattention, and to consider valid the first level of inattention when the estimated residue is less than a first selected threshold;

> ses premiers moyens d’analyse peuvent être propres à déterminer dans l’image primaire des lignes délimitant la voie de circulation, puis à construire la zone frontale observable du véhicule avec des portions de ces lignes ;> its first means of analysis can be specific to determining in the primary image lines delimiting the traffic lane, then to construct the observable frontal zone of the vehicle with portions of these lines;

> ses moyens de traitement peuvent être propres à déterminer une cause du résidu lorsque ce dernier est supérieur au premier seuil, et à générer une alarme représentative de cette cause ;> its processing means may be capable of determining a cause of the residue when the latter is above the first threshold, and of generating an alarm representative of this cause;

> ses moyens de traitement peuvent être propres à estimer le résidu en fonction également de données représentatives d’un profil comportemental du conducteur (connu par ailleurs) ;> its processing means may be able to estimate the residue also based on data representative of a behavioral profile of the driver (known elsewhere);

- ses moyens de traitement peuvent être propres à générer un message destiné à être diffusé dans le véhicule et représentatif du premier niveau d’inattention lorsque ce dernier est supérieur à un deuxième seuil choisi ;- its processing means may be capable of generating a message intended to be broadcast in the vehicle and representative of the first level of inattention when the latter is greater than a second selected threshold;

- ses moyens de traitement peuvent être propres à générer une alarme ou une consigne destinée à au moins un calculateur du véhicule impliqué dans le contrôle de la cinématique du véhicule lorsque le premier niveau d’inattention est supérieur à un troisième seuil choisi ;- its processing means may be capable of generating an alarm or a setpoint intended for at least one vehicle computer involved in controlling the kinematics of the vehicle when the first level of attention is greater than a third selected threshold;

- il peut comprendre les moyens d’observation, ces derniers comprenant au moins une caméra numérique propre à observer la tête du conducteur.- It can include the observation means, the latter comprising at least one digital camera suitable for observing the driver's head.

L’invention propose également un véhicule, éventuellement de type îo automobile, ayant une cinématique définie par des informations primaires, et comprenant des moyens d’acquisition propres à acquérir des images primaires d’une zone située devant lui et un dispositif d’assistance du type de celui présenté ci-avant.The invention also provides a vehicle, possibly of the automobile type, having a kinematics defined by primary information, and comprising acquisition means suitable for acquiring primary images of an area in front of it and a device for assisting the type of the one presented above.

D’autres caractéristiques et avantages de l’invention apparaîtront à i5 l’examen de la description détaillée ci-après, et des dessins annexés, sur lesquels :Other characteristics and advantages of the invention will appear on examining the detailed description below, and the attached drawings, in which:

- la figure 1 illustre schématiquement et fonctionnellement, dans une vue de côté, une partie d’un véhicule automobile équipé d’un exemple de réalisation d’un dispositif d’assistance selon l’invention, etFIG. 1 schematically and functionally illustrates, in a side view, a part of a motor vehicle equipped with an exemplary embodiment of an assistance device according to the invention, and

0 - la figure 2 illustre schématiquement un exemple de zone frontale observable du véhicule de la figure 1, et deux positions, par rapport à cette zone frontale observable, d’un exemple de zone de vision optimale du conducteur de ce véhicule, déterminées à deux instants différents.0 - FIG. 2 schematically illustrates an example of an observable frontal zone of the vehicle of FIG. 1, and two positions, relative to this observable frontal zone, of an example of the zone of optimal vision of the driver of this vehicle, determined by two different moments.

L’invention a notamment pour but de proposer un dispositif 25 d’assistance DA destiné à assister un conducteur CD d’un véhicule V pendant une phase de roulage sur une voie de circulation.The purpose of the invention is in particular to propose a device 25 for DA assistance intended to assist a driver CD of a vehicle V during a driving phase on a traffic lane.

Dans ce qui suit, on considère, à titre d’exemple non limitatif, que le véhicule V est de type automobile. Il s’agit par exemple d’une voiture. Mais l’invention n’est pas limitée à ce type de véhicule. Elle concerne en effet toutIn what follows, it is considered, by way of nonlimiting example, that vehicle V is of the automobile type. This is for example a car. However, the invention is not limited to this type of vehicle. It concerns everything

0 type de véhicule pouvant être conduit par un conducteur. Par conséquent, elle concerne les véhicules terrestres, les véhicules fluviaux (ou maritimes), et les véhicules aériens.0 type of vehicle that can be driven by a driver. Consequently, it relates to land vehicles, river (or maritime) vehicles, and air vehicles.

On a schématiquement représenté sur la figure 1 un exemple non limitatif de véhicule V conduit par un conducteur CD, installé dans un habitacle H, et équipé d’un dispositif d’assistance DA selon l’invention.There is schematically shown in Figure 1 a non-limiting example of vehicle V driven by a driver CD, installed in a passenger compartment H, and equipped with an assistance device DA according to the invention.

Comme illustré sur la figure 1, un dispositif d’assistance DA, selon 5 l’invention, comprend au moins des premiers MA1 et seconds MA2 moyens d’analyse et des moyens de traitement MT.As illustrated in FIG. 1, a DA assistance device, according to the invention, comprises at least first MA1 and second MA2 analysis means and MT processing means.

Afin que l’invention puisse être mise en œuvre, il faut que le véhicule V comprenne des moyens d’acquisition MAO propres à acquérir des images primaires IP d’une zone située devant lui (V) et des moyens d’observation MO îo propres à déterminer une direction d’observation de son conducteur CD. De plus, il faut que la cinématique du véhicule V soit définie par des informations primaires, comme par exemple son vecteur vitesse en cours, son vecteur accélération en cours, sa trajectoire (X, Y) en cours ou son niveau de freinage en cours. Toutes ces informations primaires sont disponibles dans le véhicule i5 V, par exemple auprès d’au moins un calculateur et via un réseau de communication RC embarqué, éventuellement de type multiplexé, et permettant l’échange de données et de commandes entre équipements électroniques.In order for the invention to be implemented, the vehicle V must include MAO acquisition means capable of acquiring primary IP images of an area in front of it (V) and observation means MO îo proper to determine a direction of observation of its driver CD. In addition, the kinematics of the vehicle V must be defined by primary information, such as for example its current speed vector, its current acceleration vector, its current trajectory (X, Y) or its current braking level. All this primary information is available in the i5 V vehicle, for example from at least one computer and via an on-board RC communication network, possibly of the multiplexed type, and allowing the exchange of data and commands between electronic equipment.

Les moyens d’acquisition MAO peuvent, par exemple, comprendre auMAO acquisition means can, for example, include

0 moins une caméra numérique, par exemple installée dans une partie avant du véhicule V (éventuellement dans le bouclier ou pare-chocs avant, ou dans l’habitacle H (éventuellement dans le pied du rétroviseur central RV qui est solidarisé au pare-brise PRB). Les images primaires IP acquises par ces moyens d’acquisition MAO (et représentatives de la zone située devant le véhicule V) sont par exemple transmises via le réseau de communication RC.0 minus a digital camera, for example installed in a front part of the vehicle V (possibly in the bumper or front bumper, or in the passenger compartment H (possibly in the foot of the central rear view mirror RV which is secured to the windshield PRB The primary IP images acquired by these MAO acquisition means (and representative of the area located in front of the vehicle V) are for example transmitted via the communication network RC.

On notera que les moyens d’acquisition MAO peuvent éventuellement faire partie du dispositif d’assistance DA. Mais cela n’est pas obligatoire. En effet, ils pourraient faire partie d’un autre dispositif embarqué dans le véhicule V, comme par exemple un dispositif de détection d’obstacles situés dans uneNote that the MAO acquisition means can possibly be part of the DA assistance device. But it is not compulsory. In fact, they could be part of another device on board the vehicle V, such as for example an obstacle detection device located in a

0 partie avant du véhicule V.0 front part of vehicle V.

Les moyens d’observation MO peuvent, par exemple, comprendre au moins une caméra numérique propre à observer le visage du conducteur CD et des moyens de calcul propres à déduire de cette observation la direction d’observation du conducteur CD. Cette direction d’observation peut être déduite des images acquises par la caméra numérique soit directement lorsqu’elle observe au moins les yeux du conducteur CD, soit indirectement de l’inclinaison de la tête du conducteur CD lorsqu’elle n’observe que la tête dans sa globalité ou le regard.The observation means MO can, for example, comprise at least one digital camera suitable for observing the face of the driver CD and calculation means suitable for deducing from this observation the direction of observation of the driver CD. This direction of observation can be deduced from the images acquired by the digital camera either directly when it observes at least the eyes of the driver CD, or indirectly from the inclination of the head of the driver CD when it observes only the head in its entirety or the look.

On notera que toute technique connue de l’homme de l’art peut être mise en œuvre, seule ou en combinaison, par les moyens d’observation MO pour déduire la direction d’observation du conducteur CD.It will be noted that any technique known to those skilled in the art can be implemented, alone or in combination, by the observation means MO to deduce the direction of observation of the driver CD.

Par ailleurs, la direction d’observation déduite par les moyens 10 d’observation MO est par exemple transmise via le réseau de communicationFurthermore, the observation direction deduced by the observation means 10 MO is for example transmitted via the communication network

RC.RC.

On notera également que les moyens d’observation MO font de préférence partie du dispositif d’assistance DA. Mais cela n’est pas obligatoire. En effet, ils pourraient faire partie d’un autre dispositif embarqué dans le véhicule V, comme par exemple un dispositif de surveillance de la santé du conducteur ou de définition du profil du conducteur.It will also be noted that the observation means MO are preferably part of the assistance device DA. But it is not compulsory. Indeed, they could be part of another device on board vehicle V, such as for example a device for monitoring the driver's health or defining the driver's profile.

Dans l’exemple de réalisation illustré non limitativement sur la figure 1, le dispositif d’assistance DA est un équipement électronique qui est connecté au réseau de communication RC précité. Il comprend donc unIn the exemplary embodiment illustrated without limitation in FIG. 1, the assistance device DA is an electronic device which is connected to the abovementioned communication network RC. It therefore includes a

0 calculateur comportant les premiers MA1 et seconds MA2 moyens d’analyse et les moyens de traitement MT. Mais dans une variante de réalisation il pourrait faire partie d’un calculateur (comme par exemple l’ordinateur de bord du véhicule V) ou d’un autre dispositif, comme par exemple un équipement multimédia. Par conséquent, le dispositif d’assistance DA peut être réalisé sous la forme de modules logiciels (ou informatiques ou encore « software »), ou bien d’une combinaison de circuits électroniques (ou « hardware ») et de modules logiciels.0 computer comprising the first MA1 and second MA2 analysis means and the MT processing means. But in an alternative embodiment, it could be part of a computer (such as the on-board computer of vehicle V) or another device, such as multimedia equipment, for example. Consequently, the DA assistance device can be produced in the form of software modules (or computer or "software"), or else of a combination of electronic circuits (or "hardware") and software modules.

Les premiers moyens d’analyse MA1 sont propres à générer à partir d’une image primaire IP (fournie par les moyens d’acquisition MAQ) uneThe first MA1 analysis means are suitable for generating from a primary IP image (provided by the MAQ acquisition means) a

0 première image 11 qui est représentative d’une zone observable devant le véhicule V, compte tenu des informations primaires (disponibles et définissant la cinématique du véhicule V).0 first image 11 which is representative of an observable area in front of vehicle V, taking into account primary information (available and defining the kinematics of vehicle V).

Il est important de noter que chaque première image 11 peut être définie par une partie au moins du fichier de données définissant l’image primaire IP correspondante, ou bien par un fichier de données totalement construit, éventuellement en réalité augmentée, à partir notamment du fichier de données définissant l’image primaire IP correspondante. En d’autres termes, il peut s’agir d’une image réelle ou d’une image virtuelle (cette dernière alternative est actuellement préférée).It is important to note that each first image 11 can be defined by at least part of the data file defining the corresponding primary IP image, or by a fully constructed data file, possibly in augmented reality, notably from the file. of data defining the corresponding primary IP image. In other words, it can be a real image or a virtual image (the latter alternative is currently preferred).

Les seconds moyens d’analyse MA2 sont propres à générer à partir de cette même image primaire IP une seconde image 12 qui est représentative d’une zone observée par le conducteur CD devant le véhicule ίο V, compte tenu de la direction d’observation (fournie par les moyens d’observation MO). On comprendra que chaque seconde image 12 représente la partie d’une image primaire IP qui est observable par le conducteur CD compte tenu de sa direction d’observation en cours. Par conséquent, si la direction d’observation est décalée vers la gauche par rapport au centre de l’image primaire IP, la seconde image 12 ne comprendra pas une portion droite de cette image primaire IP, la portion droite manquante étant d’autant plus importante que le décalage vers la gauche est important. Inversement, si la direction d’observation est décalée vers la droite par rapport au centre de l’image primaire IP, la seconde image 12 ne comprendra pas une portionThe second analysis means MA2 are capable of generating from this same primary image IP a second image 12 which is representative of an area observed by the driver CD in front of the vehicle ίο V, taking into account the direction of observation ( provided by the observation means MO). It will be understood that each second image 12 represents the part of a primary image IP which is observable by the driver CD taking into account its direction of observation in progress. Consequently, if the direction of observation is shifted to the left relative to the center of the primary IP image, the second image 12 will not include a right portion of this primary IP image, the missing right portion being all the more important that the shift to the left is important. Conversely, if the direction of observation is shifted to the right relative to the center of the primary IP image, the second image 12 will not include a portion

0 gauche de cette image primaire IP, la portion gauche manquante étant d’autant plus importante que le décalage vers la droite est important.0 left of this primary IP image, the missing left portion being all the more important as the shift to the right is important.

II est important de noter que chaque seconde image 12 est définie par une partie au moins du fichier de données définissant l’image primaire IP correspondante, ou bien (et comme cela est actuellement préféré) par un fichier de données totalement construit, éventuellement en réalité augmentée, à partir notamment du fichier de données définissant l’image primaire IP correspondante. En d’autres termes, il peut s’agir d’une image réelle (éventuellement tronquée) ou d’une image virtuelle (cette dernière alternative est actuellement préférée).It is important to note that each second image 12 is defined by at least part of the data file defining the corresponding primary IP image, or else (and as is currently preferred) by a fully constructed data file, possibly in reality increased, in particular from the data file defining the corresponding primary IP image. In other words, it can be a real image (possibly truncated) or a virtual image (the latter alternative is currently preferred).

0 II est également important de noter que les première 11 et seconde I2 images sont définies dans un même référentiel du véhicule V, par exemple situé à la base du pare-brise dans l’axe du conducteur.0 It is also important to note that the first 11 and second I2 images are defined in the same frame of reference of vehicle V, for example located at the base of the windshield in the axis of the driver.

Lorsque les moyens d’observation MO ne peuvent pas déterminer la direction d’observation en cours, par exemple du fait de la fermeture des paupières du conducteur (cas de somnolence), la seconde image 12 peut être « noire >>.When the observation means MO cannot determine the direction of observation in progress, for example due to the closure of the driver's eyelids (case of drowsiness), the second image 12 can be "black".

Les moyens de traitement MT sont propres à comparer entre elles les 5 première 11 et seconde I2 images, et à déduire de cette comparaison un premier niveau d’inattention NI1 du conducteur CD.The processing means MT are suitable for comparing the first 11 and second I2 images with each other, and for deducing from this comparison a first level of attention NI1 of the driver CD.

Plus la seconde image I2 aura une portion manquante importante par rapport à la première image 11, plus le premier niveau d’inattention NI1 sera grand et donc plus la vigilance sera faible. Par exemple, le premier niveau îo d’inattention NI1 peut être représentatif du pourcentage de correspondance (ou de pixels sensiblement identiques) entre les première 11 et seconde I2 images ou le nombre d’objets identiques observés (déterminé par corrélation d’images).The larger the second image I2 will have a missing portion compared to the first image 11, the greater the first level of attention NI1 and therefore the lower the vigilance. For example, the first level îo of attention NI1 may be representative of the percentage of correspondence (or of substantially identical pixels) between the first 11 and second I2 images or the number of identical objects observed (determined by correlation of images).

Le premier niveau d’inattention NI1 étant déterminé par une 15 comparaison entre ce qui est observé devant le véhicule V (11) et ce qui est effectivement observé par le conducteur CD (I2), il est donc très représentatif de l’attention que le conducteur CD porte effectivement à la voie de circulation empruntée.The first level of inattention NI1 being determined by a comparison between what is observed in front of vehicle V (11) and what is actually observed by the driver CD (I2), it is therefore very representative of the attention which the CD driver actually carries to the traffic lane taken.

On notera que toute technique connue de l’homme de l’art peut êtreNote that any technique known to those skilled in the art can be

0 mise en œuvre, seule ou en combinaison, par les moyens de traitement MT pour comparer entre elles les première 11 et seconde I2 images.0 implemented, alone or in combination, by the processing means MT to compare the first 11 and second I2 images with each other.

Afin de déterminer si le premier niveau d’inattention NI1 déterminé est fiable, il est possible d’introduire de la redondance dans les traitements effectués par le dispositif d’assistance DA. Pour ce faire, on peut, par exemple, procéder comme décrit ci-dessous.In order to determine whether the first level of attention NI1 determined is reliable, it is possible to introduce redundancy in the processing carried out by the DA assistance device. This can be done, for example, as described below.

Tout d’abord, les premiers moyens d’analyse MA1 peuvent être propres à déterminer dans l’image primaire IP une zone frontale observable ZFO du véhicule V par rapport à un premier repère prédéfini, compte tenu de l’une au moins des informations primaires, et les seconds moyens d’analyseFirst of all, the first analysis means MA1 may be suitable for determining in the primary image IP an observable frontal area ZFO of the vehicle V with respect to a first predefined reference point, taking account of at least one of the primary information , and the second analysis means

0 MA2 peuvent être propres à déterminer une zone de vision optimale ZVO du conducteur CD par rapport à un second repère prédéfini à partir de la direction d’observation.0 MA2 may be suitable for determining an optimal vision zone ZVO of the driver CD with respect to a second predefined reference mark from the direction of observation.

Par exemple, le premier repère prédéfini peut être celui qui est rattaché au véhicule V et décrit plus haut (par exemple situé à la base du pare-brise dans l’axe du conducteur).For example, the first predefined mark can be that which is attached to vehicle V and described above (for example located at the base of the windshield in the driver's axis).

Dans cet exemple de réalisation, dédié à la redondance, les moyens de traitement MT sont tout d’abord propres à déterminer une position de la zone de vision optimale ZVO par rapport à la zone frontale observable ZFO dans le premier repère prédéfini. Puis, les moyens de traitement MT déduisent de cette position déterminée un second niveau d’inattention N12 du conducteur. Puis, les moyens de traitement MT estiment un résidu représentatif d’une différence entre les premier NU et second NI2 niveaux îo d’inattention, et considèrent valide le premier niveau d’inattention NU lorsque ce résidu estimé est inférieur à un premier seuil S1 choisi.In this exemplary embodiment, dedicated to redundancy, the processing means MT are first of all suitable for determining a position of the optimal vision zone ZVO with respect to the observable frontal zone ZFO in the first predefined reference frame. Then, the processing means MT deduce from this determined position a second level of inattention N12 of the driver. Then, the processing means MT estimate a residue representative of a difference between the first NU and second NI2 levels of inattention, and consider valid the first level of inattention NU when this estimated residue is less than a first threshold S1 chosen. .

On comprendra que le second niveau d’inattention NI2 est une information qui est redondante par rapport au premier niveau d’inattention NU, et donc la comparaison entre ces premier NU et second NI2 niveaux i5 d’inattention est destinée à déterminer la fiabilité de ce premier niveau d’inattention NU. S’il existe une différence notable entre les premier NU et second NI2 niveaux d’inattention, cela signifie que l’un au moins d’entre eux est erroné et donc que le premier niveau d’inattention NU ne peut pas, au moins temporairement, être pris en compte du fait d’un problème.It will be understood that the second level of inattention NI2 is information which is redundant with respect to the first level of inattention NU, and therefore the comparison between these first NU and second NI2 levels i5 of inattention is intended to determine the reliability of this first level of NU inattention. If there is a noticeable difference between the first NU and second NI2 levels of inattention, this means that at least one of them is wrong and therefore that the first level of inattention NU cannot, at least temporarily , be taken into account due to a problem.

0 L’estimation du résidu peut, par exemple, être réalisée par les moyens de traitement MT lorsque le niveau de bruit mesuré sur un capteur (des moyens d’acquisition MAQ ou des moyens d’observation MO) est trop important par rapport à un seuil choisi. Mais il pourrait être estimé de façon permanente.0 The estimation of the residue can, for example, be carried out by the MT processing means when the noise level measured on a sensor (MAQ acquisition means or MO observation means) is too high compared to a selected threshold. But it could be estimated permanently.

La détermination de la position de la zone de vision optimale ZVO par rapport à la zone frontale observable ZFO dans le premier repère prédéfini nécessite un changement de repère préalable de la zone de vision optimale ZVO du second repère prédéfini vers le premier repère prédéfini. Ce changement peut être éventuellement réalisé par les seconds moyensThe determination of the position of the optimal vision zone ZVO with respect to the observable frontal zone ZFO in the first predefined reference mark requires a prior change of reference mark of the optimal vision zone ZVO from the second predefined reference point to the first predefined reference point. This change can possibly be achieved by the second means

0 d’analyse MA2, sinon il est réalisé par les moyens de traitement MT.0 MA2 analysis, otherwise it is carried out by the MT processing means.

Par exemple, la zone de vision optimale ZVO peut être matérialisée par une figure géométrique. Ainsi, il pourra s’agir, par exemple, d’un cercle (comme illustré non limitativement sur la figure 2), d’un carré, d’un rectangle, ίο d’un triangle, ou d’un hexagone. Dans ce cas, le centre de la figure géométrique peut représenter l’intersection du plan avec la direction d’observation déduite, et la « largeur » de la figure géométrique peut représenter l’incertitude de calcul sur la direction d’observation déduite.For example, the optimal vision zone ZVO can be materialized by a geometric figure. Thus, it could be, for example, a circle (as illustrated without limitation in FIG. 2), a square, a rectangle, ίο a triangle, or a hexagon. In this case, the center of the geometric figure can represent the intersection of the plane with the direction of observation deduced, and the "width" of the geometric figure can represent the uncertainty of calculation on the direction of observation deduced.

Egalement par exemple, et comme illustré non limitativement sur la figure 2, les premiers moyens d’analyse MA1 peuvent être propres à déterminer dans l’image primaire IP des lignes qui délimitent la voie de circulation, puis à construire la zone frontale observable ZFO du véhicule V avec des portions de ces lignes.Also for example, and as illustrated without limitation in FIG. 2, the first analysis means MA1 may be suitable for determining in the primary image IP lines which delimit the traffic lane, then for constructing the observable frontal area ZFO of the vehicle V with portions of these lines.

îo Dans l’exemple purement illustratif de la figure 2, la zone frontale observable ZFO comprend une partie gauche PLG représentant une portion de ligne gauche délimitant la voie de circulation empruntée, une partie droite PLD représentant une portion de ligne droite délimitant cette voie de circulation, une partie avant reliant les extrémités avant des parties gaucheîo In the purely illustrative example of FIG. 2, the observable frontal zone ZFO comprises a left part PLG representing a portion of the left line delimiting the traffic lane taken, a right part PLD representing a portion of straight line delimiting this traffic lane , a front part connecting the front ends of the left parts

PLG et droite PLD, et une partie arrière reliant les extrémités arrière des parties gauche PLG et droite PLD. Une telle zone frontale observable ZFO, sensiblement symétrique par rapport à un plan vertical médian, correspond à une trajectoire du véhicule V sensiblement linéaire et centrée sur une portion linéaire de voie de circulation située devant ce véhicule V. Lorsque la portionPLG and right PLD, and a rear part connecting the rear ends of the left PLG and right PLD parts. Such an observable frontal zone ZFO, substantially symmetrical with respect to a median vertical plane, corresponds to a trajectory of the vehicle V substantially linear and centered on a linear portion of the taxiway located in front of this vehicle V. When the portion

0 de voie de circulation située devant le véhicule V est curviligne (par exemple dans un virage), les parties gauche PLG et droite PLD de la zone frontale observable ZFO sont très dissymétriques par rapport au plan vertical médian.0 of taxiway located in front of vehicle V is curvilinear (for example in a bend), the left PLG and right PLD parts of the observable frontal area ZFO are very asymmetrical with respect to the median vertical plane.

Sur la figure 2 se trouve schématiquement illustré un exemple de zone frontale observable ZFO du véhicule V, et deux exemples de positions de la zone de vision optimale ZVO du conducteur CD par rapport à cette zone frontale observable ZFO, déterminées à deux instants différents. On considère ici qu’entre ces deux instants différents la zone frontale observable ZFO du véhicule V n’a pas changé de forme. Ici, la zone de vision optimale ZVO située à gauche est légèrement décentrée dans la partie avant gaucheIn FIG. 2 is schematically illustrated an example of an observable frontal zone ZFO of the vehicle V, and two examples of positions of the optimal vision zone ZVO of the driver CD with respect to this observable frontal zone ZFO, determined at two different times. It is considered here that between these two different moments the observable frontal zone ZFO of vehicle V has not changed shape. Here, the optimal vision zone ZVO on the left is slightly off center in the front left part

0 de la zone frontale observable ZFO, ce qui signifie que le second niveau d’inattention NI2 du conducteur CD est moyen supérieur. La zone de vision optimale ZVO située à droite est décentrée dans la partie arrière droite de la zone frontale observable ZFO, ce qui signifie que le second niveau d’inattention NI2 du conducteur CD est moyen inférieur, voire faible. Lorsque la zone de vision optimale ZVO est située à l’extérieur de la zone frontale observable ZFO, cela signifie que le second niveau d’inattention N12 du conducteur CD est (très) faible, voire nul. Plus la zone de vision optimale ZVO est située à l’extérieur de la zone frontale observable ZFO, plus le second niveau d’inattention NI2 du conducteur CD est grand.0 of the observable frontal area ZFO, which means that the second level of attention NI2 of the CD conductor is higher. The ZVO optimal viewing area on the right is off center in the rear right of the ZFO observable frontal area, which means that the second level of attention CD driver NI2 is medium lower or even low. When the ZVO optimal viewing area is located outside the ZFO observable frontal area, this means that the second level of N12 attention from the CD driver is (very) low, or even zero. The further the ZVO optimal vision area is located outside the ZFO observable frontal area, the greater the second level of attention CD driver NI2.

On notera également que toute technique connue de l’homme de l’art peut être mise en œuvre, seule ou en combinaison, par les moyens de traitement MT pour déterminer le résidu à partir des premier NI1 et second ίο N12 niveaux d’inattention.It will also be noted that any technique known to those skilled in the art can be implemented, alone or in combination, by the processing means MT to determine the residue from the first NI1 and second ίο N12 levels of attention.

On notera également que les moyens de traitement MT peuvent être propres à estimer le résidu en fonction également de données représentatives d’un profil comportemental du conducteur CD qui est connu par ailleurs.It will also be noted that the processing means MT may be suitable for estimating the residue also as a function of data representative of a behavioral profile of the conductor CD which is known elsewhere.

Ce profil comportemental peut être utilisé une fois que le conducteur 15 CD a été reconnu, par exemple par les moyens d’observation MO.This behavioral profile can be used once the driver 15 CD has been recognized, for example by means of observation MO.

Par exemple, on peut disposer d’un profil comportemental résultant d’un enregistrement du comportement habituel du conducteur CD en fonction du jour de la semaine et/ou de l’heure et/ou de la position géographique. Dans ce cas, on peut, par exemple, considérer que le conducteur CD n’est pas attentif lorsque le premier niveau d’inattention NI1 en cours ne correspond pas à son comportement habituel, y compris lorsque le résidu (représentatif de la différence entre les premier NI1 et second NI2 niveaux d’inattention) est inférieur au premier seuil S1.For example, one can have a behavioral profile resulting from a recording of the usual behavior of the CD driver as a function of the day of the week and / or the time and / or the geographic position. In this case, one can, for example, consider that the driver CD is not attentive when the first level of inattention NI1 in progress does not correspond to his usual behavior, including when the residue (representative of the difference between the first NI1 and second NI2 inattention levels) is less than the first threshold S1.

A titre d’exemple, le profil comportemental du conducteur peut notamment signaler s’il est plutôt distrait ou concentré et/ou s’il a tendance à couper les virages.For example, the behavioral profile of the driver can notably indicate whether he is rather distracted or concentrated and / or if he tends to cut corners.

On notera également que les moyens de traitement MT peuvent être également propres à déterminer une cause du résidu lorsque ce dernier est supérieur au premier seuil S1, et à générer une alarme représentative deIt will also be noted that the processing means MT can also be suitable for determining a cause of the residue when the latter is greater than the first threshold S1, and for generating an alarm representative of

0 cette cause. Cette alarme peut être destinée à un calculateur du véhicule V, par exemple impliqué dans le contrôle de la cinématique de ce dernier (V), et/ou au conducteur CD. Dans cette dernière alternative, l’alarme peut être affichée sous la forme d’un texte et/ou d’une image sur au moins un écran du véhicule V (par exemple celui du combiné central de la planche de bord PLB ou du combiné CT du tableau de bord), et/ou diffusé par au moins un hautparleur du véhicule V.0 this cause. This alarm may be intended for a computer of the vehicle V, for example involved in controlling the kinematics of the latter (V), and / or the driver CD. In the latter alternative, the alarm can be displayed in the form of text and / or an image on at least one screen of vehicle V (for example that of the central instrument panel of the dashboard PLB or of the instrument panel CT dashboard), and / or broadcast by at least one speaker in vehicle V.

La cause peut résulter d’un problème sur un capteur (par exemple un bruit hors gabarit), ou sur les moyens d’acquisition MAQ. Par exemple, les problèmes peuvent être : des bruits au sein du système (comprenant le dispositif d’assistance DA et les moyens d’acquisition MAQ), ou une différence entre le modèle mathématique de ce système et la réponse réelle îo de ce système, ou une défaillance d’une composante de ce système.The cause can result from a problem with a sensor (for example an oversized noise), or with the MAQ acquisition means. For example, the problems may be: noises within the system (comprising the DA assistance device and the MAQ acquisition means), or a difference between the mathematical model of this system and the real response îo of this system, or a failure of a component of this system.

La modélisation mathématique du système peut, par exemple, être exprimée par les équations d’état suivantes :The mathematical modeling of the system can, for example, be expressed by the following state equations:

X(t/t-1 ) = F(X(t-1), U(t-1 ), ΔΧ, v(t-1 )), et y(t) = G(X(t/t-1), ε(ΐ), ΔΧ, ω(ΐ-1)).X (t / t-1) = F (X (t-1), U (t-1), ΔΧ, v (t-1)), and y (t) = G (X (t / t-1 ), ε (ΐ), ΔΧ, ω (ΐ-1)).

Dans ces équations, X(t/t-1 ) est l’état prédit du système à l’instant t à partir de l’instant précédent et de l’excitation U(t) du système, ΔΧ représente une modélisation mathématique de l’incertitude sur le modèle mathématique du système choisi, et v(t) est une source de bruit sur le système.In these equations, X (t / t-1) is the predicted state of the system at time t from the previous instant and the excitation U (t) of the system, ΔΧ represents a mathematical modeling of l uncertainty on the mathematical model of the chosen system, and v (t) is a source of noise on the system.

Dans la seconde équation, y(t) représente les observations préditesIn the second equation, y (t) represents the predicted observations

0 des capteurs, ω(ΐ-1) est une erreur représentative du bruit sur les moyens d’acquisition MAQ et ε(ΐ) est une erreur due à une défaillance.0 of the sensors, ω (ΐ-1) is an error representative of the noise on the MAQ acquisition means and ε (ΐ) is an error due to a failure.

On considère ici que les différents types de problème sont découplés les uns des autres. Dans ce cas, le résidu r(t) peut être défini par l’équation vectorielle r(t) = C*e(t) + fs(t), où C est une matrice de transformation, fs(t) est une fonction représentant les problèmes des capteurs, et e(t) est un vecteur présentant la différence entre l’état prédit par le modèle mathématique du système et l’état estimé après correction, et lié aux incertitudes du modèle mathématique du système et aux problèmes du système. Le choix de la matrice de transformation C est primordial pour que le découplage desWe consider here that the different types of problem are decoupled from each other. In this case, the residue r (t) can be defined by the vector equation r (t) = C * e (t) + f s (t), where C is a transformation matrix, f s (t) is a function representing the problems of the sensors, and e (t) is a vector presenting the difference between the state predicted by the mathematical model of the system and the state estimated after correction, and linked to the uncertainties of the mathematical model of the system and to the problems of the system. The choice of the transformation matrix C is essential so that the decoupling of

0 problèmes soit réalisé de façon efficace.0 problems be carried out effectively.

De préférence, on impose que le résidu ait une distribution connue centrée autour de 0 lorsque le système fonctionne correctement, et une distribution différente de celle connue en présence d’un problème (par exemple, une moyenne excentrée et/ou une variance différente).Preferably, it is required that the residue have a known distribution centered around 0 when the system is operating correctly, and a distribution different from that known in the presence of a problem (for example, an eccentric mean and / or a different variance).

Si le modèle mathématique du système est parfaitement connu, et 5 que les bruits sur le système et sur les capteurs sont considérés comme gaussiens, le résidu r(t) peut être la différence entre la prédiction et l’estimation effectuée par un filtre de Kalman. On peut alors déduire directement du résidu r(t) une indication sur un problème de capteur ou sur un problème (comportement anormal) du système.If the mathematical model of the system is perfectly known, and 5 the noises on the system and on the sensors are considered to be Gaussian, the residue r (t) can be the difference between the prediction and the estimation made by a Kalman filter . We can then deduce directly from the residue r (t) an indication of a sensor problem or a problem (abnormal behavior) of the system.

îo Par exemple, on peut utiliser un modèle mathématique du système de type ARX (« Auto Régressive eXogenous »), lequel est bien adapté aux systèmes sujets aux bruits. Il est rappelé que le modèle ARX est autorégressif en prenant en compte des entrées extérieures. Il peut être défini par l’équation suivante :îo For example, a mathematical model of the ARX (“Auto Regressive eXogenous”) system can be used, which is well suited to systems subject to noise. It is recalled that the ARX model is autoregressive taking into account external inputs. It can be defined by the following equation:

i5 y(k) = F(y(k-1), y(k-2),..., y(k-n), u(k-1), u(k-2), ..., u(k-m)) + s(k).i5 y (k) = F (y (k-1), y (k-2), ..., y (kn), u (k-1), u (k-2), ..., u (km)) + s (k).

Dans ce cas, le résidu peut être calculé de façon indépendante pour chaque type de problème au moyen d’une équation du type :In this case, the residue can be calculated independently for each type of problem using an equation of the type:

R(k) = Zimi*(Vi - vj) + Σ,η,*(ω, - ω~ ), où m, et η sont des pondérations définies lors d’expérimentations.R (k) = Zimi * (Vi - vj) + Σ, η, * (ω, - ω ~), where m, and η are weights defined during experiments.

0 Comme évoqué plus haut, l’analyse du résidu peut être effectuée au moyen de tests d’hypothèses, et de comparaisons à des seuils. Elle est destinée à permettre une détection efficace d’un problème et une identification du type de problème et de sa cause.0 As mentioned above, the analysis of the residue can be carried out by means of hypothesis tests, and comparisons with thresholds. It is intended to enable effective detection of a problem and the identification of the type of problem and its cause.

A titre d’exemple purement illustratif, si un résidu en mode nominal 25 (hors problème) du système à une valeur rO, alors l’état de ce même résidu varie en présence d’un problème, en faisant l’hypothèse que deux problèmes ne peuvent pas apparaître simultanément. On peut alors utiliser des lois prédéfinies pour distinguer les uns des autres les différents types de problème. Ces lois sont définies lors d’analyses préliminaires destinées àAs a purely illustrative example, if a residual in nominal mode 25 (excluding the problem) of the system at a value rO, then the state of this same residue varies in the presence of a problem, assuming that two problems cannot appear simultaneously. We can then use predefined laws to distinguish the different types of problem from each other. These laws are defined during preliminary analyzes intended to

0 identifier chacun des problèmes possibles et les conséquences de ces problèmes sur le résidu du système.0 identify each of the possible problems and the consequences of these problems on the residual system.

La détermination des problèmes et de leurs causes permet de mieux détecter les situations à risque et de ne pas prendre en compte certaines situations intempestives.The determination of the problems and their causes makes it possible to better detect the risk situations and not to take into account certain untimely situations.

On notera également que les moyens de traitement MT peuvent être propres à générer un message destiné à être diffusé dans le véhicule V et représentatif du premier niveau d’inattention NI1 lorsque ce dernier (NI1 ) est supérieur à un deuxième seuil S2 choisi. La diffusion par au moins un hautparleur du véhicule V est ici préférée à l’affichage sur un écran, car en cas de forte inattention du conducteur CD, ce dernier (CD) n’est généralement pas en mesure de s’apercevoir du fait qu’un message d’alerte vient d’être affiché sur un écran du véhicule V (sauf s’il est en train d’observer cet écran).It will also be noted that the processing means MT may be able to generate a message intended to be broadcast in the vehicle V and representative of the first level of attention NI1 when the latter (NI1) is greater than a second threshold S2 chosen. Diffusion by at least one speaker of the vehicle V is preferred here to the display on a screen, because in the event of strong inattention of the driver CD, this last (CD) is generally not able to notice the fact that '' an alert message has just been displayed on a screen of vehicle V (unless it is observing this screen).

On notera également que les moyens de traitement MT peuvent être propres à générer une alarme ou une consigne destinée à au moins un calculateur du véhicule V impliqué dans le contrôle de la cinématique du véhicule V lorsque le premier niveau d’inattention NI1 est supérieur à un troisième seuil S3 choisi. Ce troisième seuil S3 est de préférence supérieur au deuxième seuil S2.It will also be noted that the processing means MT may be capable of generating an alarm or a setpoint intended for at least one computer of the vehicle V involved in the control of the kinematics of the vehicle V when the first level of inattention NI1 is greater than a third threshold S3 chosen. This third threshold S3 is preferably greater than the second threshold S2.

En présence de cette dernière option, l’alarme générée par les moyens de traitement MT peut servir à déclencher au moins une action sur le véhicule V, fonction du niveau d’inattention du conducteur CD. Cette action peut être, par exemple, une activation temporaire de l’avertisseur sonore (ou « klaxon ») et/ou des feux de détresse (ou « warning ») à partir d’un seuil minimum d’inattention, un freinage, une réduction progressive d’une vitesse maximale programmée par le conducteur CD ou autorisée sur la portion de voie de circulation empruntée, une désactivation de la régulation de vitesse sélectionnée par le conducteur CD, ou une simulation d’une levée du pied de la pédale d’accélérateur, ou une interdiction d’affichage de certaines pages d’informations, ou une variation de l’intensité du signal sonore diffusé par les haut-parleurs du véhicule V, ou une réduction de la température de l’air diffusé dans l’habitacle H, ou une inhibition de certaines commandes du véhicule V, ou l’empêchement d’afficher certains menus ou sous-menus, ou une configuration en mode suspension « dur >>.In the presence of this last option, the alarm generated by the processing means MT can be used to trigger at least one action on vehicle V, depending on the level of attention of the driver CD. This action can be, for example, a temporary activation of the horn (or "horn") and / or the hazard warning lights (or "warning") from a minimum inattention threshold, braking, gradual reduction of a maximum speed programmed by the CD driver or authorized on the portion of the taxiway used, deactivation of the cruise control selected by the CD driver, or a simulation of lifting the foot of the pedal accelerator, or a ban on the display of certain pages of information, or a variation in the intensity of the sound signal broadcast by the speakers of vehicle V, or a reduction in the temperature of the air distributed in the passenger compartment H, or an inhibition of certain commands from vehicle V, or the prevention of displaying certain menus or submenus, or a configuration in “hard” suspension mode.

On notera que les premier S1, deuxième S2 et troisième S3 seuils peuvent être ajustables au fil de l’eau, par exemple en fonction du profil du conducteur (connu par ailleurs).It will be noted that the first S1, second S2 and third S3 thresholds can be adjustable over time, for example according to the profile of the driver (known elsewhere).

On notera également qu’en cas de somnolence, la seconde image 12 peut être une image « noire >>, comme évoqué précédemment, et donc une alerte est préférentiellement déclenchée.It will also be noted that in the event of drowsiness, the second image 12 may be a "black" image, as mentioned previously, and therefore an alert is preferably triggered.

Claims (10)

REVENDICATIONS 1. Dispositif d’assistance (DA) pour assister un conducteur d’un1. Assistance device (DA) to assist a driver of a 5 véhicule (V) pendant une phase de roulage sur une voie de circulation, ledit véhicule (V) ayant une cinématique définie par des informations primaires et comprenant des moyens d’acquisition (MAQ) propres à acquérir des images primaires d’une zone située devant ledit véhicule (V) et des moyens d’observation (MO) propres à déterminer une direction d’observation dudit îo conducteur, caractérisé en ce qu’il comprend i) des premiers moyens d’analyse (MA1) propres à générer à partir d’une image primaire une première image représentative d’une zone observable devant ledit véhicule (V), compte tenu desdites informations primaires, ii) des seconds moyens d’analyse (MA2) propres à générer à partir de cette même image primaire une seconde image i5 représentative d’une zone observée par ledit conducteur devant ledit véhicule (V), compte tenu de ladite direction d’observation, et iii) des moyens de traitement (MT) propres à comparer lesdites première et seconde images et à déduire de cette comparaison un premier niveau d’inattention dudit conducteur.5 vehicle (V) during a driving phase on a traffic lane, said vehicle (V) having a kinematics defined by primary information and comprising acquisition means (MAQ) suitable for acquiring primary images of a zone located in front of said vehicle (V) and observation means (MO) capable of determining a direction of observation of said driver, characterized in that it comprises i) first analysis means (MA1) capable of generating from a primary image a first image representative of an observable area in front of said vehicle (V), taking into account said primary information, ii) second analysis means (MA2) suitable for generating a second from this same primary image image i5 representative of an area observed by said driver in front of said vehicle (V), taking into account said direction of observation, and iii) processing means (MT) suitable for comparing said prem first and second images and to deduce from this comparison a first level of inattention of said driver. 2 0 2. Dispositif selon la revendication 1, caractérisé en ce que lesdits premiers moyens d’analyse (MA1) sont propres à déterminer dans ladite image primaire une zone frontale observable dudit véhicule (V) par rapport à un premier repère prédéfini, compte tenu de l’une au moins desdites informations primaires, en ce que lesdits seconds moyens d’analyse (MA2)2 0 2. Device according to claim 1, characterized in that said first analysis means (MA1) are capable of determining in said primary image an observable frontal area of said vehicle (V) with respect to a first predefined reference point, taking into account at least one of said primary information, in that said second analysis means (MA2) 25 sont propres à déterminer une zone de vision optimale dudit conducteur par rapport à un second repère prédéfini, à partir de ladite direction d’observation, et en ce que lesdits moyens de traitement (MT) sont propres à déterminer une position de ladite zone de vision optimale par rapport à ladite zone frontale observable dans ledit premier repère prédéfini, puis à déduire de cette25 are suitable for determining an optimal vision area of said conductor with respect to a second predefined reference mark, from said direction of observation, and in that said processing means (MT) are suitable for determining a position of said area of optimal vision in relation to said frontal area observable in said first predefined reference frame, then to deduce from this 3 0 position déterminée un second niveau d’inattention dudit conducteur, puis à estimer un résidu représentatif d’une différence entre lesdits premier et second niveaux d’inattention, et à considérer valide ledit premier niveau d’inattention lorsque ledit résidu estimé est inférieur à un premier seuil choisi.Determined position a second level of inattention of said driver, then estimating a residue representative of a difference between said first and second levels of inattention, and considering valid said first level of inattention when said estimated residue is less than a first selected threshold. 3. Dispositif selon la revendication 2, caractérisé en ce que lesdits premiers moyens d’analyse (MA1) sont propres à déterminer dans ladite image primaire des lignes délimitant ladite voie de circulation, puis à construire ladite zone frontale observable du véhicule (V) avec des portions3. Device according to claim 2, characterized in that said first analysis means (MA1) are suitable for determining in said primary image lines delimiting said traffic lane, then for constructing said observable frontal area of the vehicle (V) with portions 5 de ces lignes.5 of these lines. 4. Dispositif selon l’une des revendications 2 et 3, caractérisé en ce que lesdits moyens de traitement (MT) sont propres à déterminer une cause dudit résidu lorsque ce dernier est supérieur audit premier seuil, et à générer une alarme représentative de cette cause.4. Device according to one of claims 2 and 3, characterized in that said processing means (MT) are capable of determining a cause of said residue when the latter is greater than said first threshold, and of generating an alarm representative of this cause . îoîo 5. Dispositif selon l’une des revendications 2 à 4, caractérisé en ce que lesdits moyens de traitement (MT) sont propres à estimer ledit résidu en fonction également de données représentatives d’un profil comportemental dudit conducteur.5. Device according to one of claims 2 to 4, characterized in that said processing means (MT) are suitable for estimating said residue also according to data representative of a behavioral profile of said conductor. 6. Dispositif selon l’une des revendications 1 à 5, caractérisé en ce que6. Device according to one of claims 1 to 5, characterized in that 15 lesdits moyens de traitement (MT) sont propres à générer un message destiné à être diffusé dans ledit véhicule (V) et représentatif dudit premier niveau d’inattention lorsque ce dernier est supérieur à un deuxième seuil choisi.15 said processing means (MT) are capable of generating a message intended to be broadcast in said vehicle (V) and representative of said first level of attention when the latter is greater than a second selected threshold. 7. Dispositif selon l’une des revendications 1 à 6, caractérisé en ce que7. Device according to one of claims 1 to 6, characterized in that 2 0 lesdits moyens de traitement (MT) sont propres à générer une alarme ou une consigne destinée à au moins un calculateur dudit véhicule (V) impliqué dans le contrôle de la cinématique dudit véhicule (V) lorsque ledit premier niveau d’inattention est supérieur à un troisième seuil choisi.2 0 said processing means (MT) are capable of generating an alarm or a setpoint intended for at least one computer of said vehicle (V) involved in controlling the kinematics of said vehicle (V) when said first level of inattention is higher to a third selected threshold. 8. Dispositif selon l’une des revendications 1 à 7, caractérisé en ce qu’il8. Device according to one of claims 1 to 7, characterized in that it 25 comprend lesdits moyens d’observation (MO), ces derniers (MO) comprenant au moins une caméra numérique propre à observer une tête dudit conducteur.25 includes said observation means (MO), the latter (MO) comprising at least one digital camera suitable for observing a head of said conductor. 9. Véhicule (V) ayant une cinématique définie par des informations primaires et comprenant des moyens d’acquisition (MAQ) propres à acquérir9. Vehicle (V) having kinematics defined by primary information and comprising acquisition means (MAQ) suitable for acquiring 3 0 des images primaires d’une zone située devant ledit véhicule (V), caractérisé en ce qu’il comprend en outre un dispositif d’assistance (DA) selon l’une des revendications précédentes.3 0 primary images of an area located in front of said vehicle (V), characterized in that it further comprises an assistance device (DA) according to one of the preceding claims. 10. Véhicule selon la revendication 9, caractérisé en ce qu’il est de type automobile.10. Vehicle according to claim 9, characterized in that it is of the automobile type. 1/11/1
FR1752907A 2017-04-04 2017-04-04 DEVICE FOR ASSISTING A VEHICLE DRIVER BY DETERMINING A LEVEL OF INATTENTION BY IMAGE COMPARISON Pending FR3064791A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1752907A FR3064791A1 (en) 2017-04-04 2017-04-04 DEVICE FOR ASSISTING A VEHICLE DRIVER BY DETERMINING A LEVEL OF INATTENTION BY IMAGE COMPARISON

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1752907A FR3064791A1 (en) 2017-04-04 2017-04-04 DEVICE FOR ASSISTING A VEHICLE DRIVER BY DETERMINING A LEVEL OF INATTENTION BY IMAGE COMPARISON
FR1752907 2017-04-04

Publications (1)

Publication Number Publication Date
FR3064791A1 true FR3064791A1 (en) 2018-10-05

Family

ID=58779216

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1752907A Pending FR3064791A1 (en) 2017-04-04 2017-04-04 DEVICE FOR ASSISTING A VEHICLE DRIVER BY DETERMINING A LEVEL OF INATTENTION BY IMAGE COMPARISON

Country Status (1)

Country Link
FR (1) FR3064791A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120075672A (en) * 2010-12-29 2012-07-09 성균관대학교산학협력단 System and method for safe driving induction using detection of gaze direction
WO2012135018A2 (en) * 2011-03-25 2012-10-04 Tk Holdings Inc. System and method for determining driver alertness
US20160207455A1 (en) * 2015-01-21 2016-07-21 Hyundai Motor Company Safe driving notification system using wearable device and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120075672A (en) * 2010-12-29 2012-07-09 성균관대학교산학협력단 System and method for safe driving induction using detection of gaze direction
WO2012135018A2 (en) * 2011-03-25 2012-10-04 Tk Holdings Inc. System and method for determining driver alertness
US20160207455A1 (en) * 2015-01-21 2016-07-21 Hyundai Motor Company Safe driving notification system using wearable device and method thereof

Similar Documents

Publication Publication Date Title
EP3568803B1 (en) Method for operating an autonomous vehicle
FR2862414A1 (en) METHOD AND COLLISION PREDICTION UNIT FOR A VEHICLE
EP3980308B1 (en) Method for calculating the lateral position of a motor vehicle
FR2906210A1 (en) MOTOR VEHICLE HAVING A DEVICE FOR ASSISTING THE DRIVER DURING PARKING
FR3055288A1 (en) ASSISTANCE DEVICE FOR MONITORING THE STOPPING AND RESTARTING OF A VEHICLE IN ACCORDANCE WITH THE GLOBAL VIGILANCE LEVEL OF THE DRIVER
EP3261893B1 (en) Device for aiding the driving of a vehicle as a function of an estimation of at least one level of overall vigilance of the driver
WO2022175034A1 (en) Method for activating an obstacle avoidance system for a motor vehicle
EP3271236B1 (en) Method and device for controlling the automated lane change of an automated vehicle, by selection of the lane and validation
WO2013004961A1 (en) Device assisting with vehicle manoeuvres on the basis of an estimate of an overall reaction time
FR3064791A1 (en) DEVICE FOR ASSISTING A VEHICLE DRIVER BY DETERMINING A LEVEL OF INATTENTION BY IMAGE COMPARISON
CN111612701A (en) Periphery monitoring device
FR3075737B1 (en) IMPROVED DEVICE FOR ASSISTING THE DRIVING OF A VEHICLE BASED ON AN ESTIMATE OF AT LEAST ONE LEVEL OF GLOBAL VIGILANCE OF THE CONDUCTOR.
FR3063356A1 (en) DEVICE FOR DISPLAYING A DISTRACTION STATUS LEVEL AND A SOMNOLENCE STATUS LEVEL.
WO2020048659A1 (en) Method for detecting false positives of an image-processing device of a camera
FR2795852A1 (en) ON-BOARD ASSISTANCE DEVICE FOR CONTROLLING THE MOVEMENTS OF A MOTOR VEHICLE WITH A VIEW TO A CHANGE OF TRACK
FR3083507A1 (en) METHOD AND DEVICE FOR CONTROLLING THE TRAJECTORY AND INDICATOR OF A VEHICLE IN THE EVENT OF A RISK OF CROSSING A TRAFFIC LANE
EP3867126B1 (en) Method and device for assisting with driving a motor vehicle during reversing
FR2958245A1 (en) Assistance device for assisting operations of e.g. car, to driver, has control units arranged to generate warning before vehicle starts to move along direction and until vehicle moves along another direction at speed equal to threshold
WO2022033891A1 (en) Method for determining the posture of a driver
FR3073482A1 (en) METHOD FOR THE RELIABILITY OF THE CONTROL OF AN AUTONOMOUS VEHICLE
FR3010032A1 (en) METHOD AND DEVICE FOR ASSISTING DRIVING A VEHICLE
FR3097829A1 (en) Method for activating at least one function relating to the safety of a vehicle
WO2019115898A1 (en) Driving assistance method and device for a vehicle with partially automated driving, by comparison of global states
EP3568802A1 (en) Method for driving a motor-vehicle display, and corresponding display
FR2942193A1 (en) Driving securing device for car, has control units activating temporary inhibition of acceleration command of vehicle to prevent inducing of acceleration of vehicle in presence of alarm signaling collision risk of vehicle with obstacle

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20181005

PLFP Fee payment

Year of fee payment: 3

RX Complete rejection

Effective date: 20210715