FR3068158B1 - ELECTRONIC DEVICE AND ON-BOARD EVALUATION SYSTEM OF A POSITION AND / OR AN ORIENTATION ASSOCIATED WITH AN ELEMENT LOCATED IN A VEHICLE CAR - Google Patents
ELECTRONIC DEVICE AND ON-BOARD EVALUATION SYSTEM OF A POSITION AND / OR AN ORIENTATION ASSOCIATED WITH AN ELEMENT LOCATED IN A VEHICLE CAR Download PDFInfo
- Publication number
- FR3068158B1 FR3068158B1 FR1755825A FR1755825A FR3068158B1 FR 3068158 B1 FR3068158 B1 FR 3068158B1 FR 1755825 A FR1755825 A FR 1755825A FR 1755825 A FR1755825 A FR 1755825A FR 3068158 B1 FR3068158 B1 FR 3068158B1
- Authority
- FR
- France
- Prior art keywords
- module
- vehicle
- capture device
- image capture
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
L'invention concerne un dispositif électronique d'évaluation d'une position et/ou d'une orientation associée à un élément situé dans un habitacle (H) de véhicule (V), comprenant : - une unité de réception de données représentatives d'une séquence d'images acquises par un dispositif de capture d'image (6); - un module de calcul conçu pour déterminer une direction de déplacement (T) dans au moins une première zone (Z1) du champ de vision (A) du dispositif de capture d'image (6) ; - un module de détermination de la position et/ou de l'orientation du dispositif de capture d'image en fonction de ladite direction de déplacement (T); - un module d'analyse conçu pour analyser une seconde zone (Z2) du champ de vision (A) du dispositif de capture d'image (6), ladite seconde zone (Z2) incluant une partie au moins de l'élément situé dans l'habitacle (H), et pour évaluer une position et/ou une orientation associée à l'élément situé dans l'habitacle (H) en fonction de la position et/ou de l'orientation déterminée.The invention relates to an electronic device for evaluating a position and / or an orientation associated with an element located in a passenger compartment (H) of a vehicle (V), comprising: a unit for receiving data representative of a sequence of images acquired by an image capture device (6); a calculation module designed to determine a direction of movement (T) in at least a first zone (Z1) of the field of view (A) of the image capture device (6); a module for determining the position and / or the orientation of the image-capture device as a function of said direction of displacement (T); an analysis module designed to analyze a second zone (Z2) of the field of view (A) of the image capture device (6), said second zone (Z2) including at least part of the element located in the cockpit (H), and to evaluate a position and / or an orientation associated with the element located in the cockpit (H) as a function of the position and / or orientation determined.
Description
Domaine technique auquel se rapporte l'inventionTechnical field to which the invention relates
La présente invention concerne l’évaluation de position ou d’orientation d’un élément situé dans un habitacle de véhicule.The present invention relates to the evaluation of position or orientation of an element located in a vehicle cabin.
Elle concerne plus particulièrement un dispositif électronique d’évaluation d’une position et/ou d’une orientation associée à un conducteur de véhicule et leur utilisation par exemple pour sa surveillance. L’invention s’applique particulièrement avantageusement dans le cas où l’on souhaite déterminer un niveau de distraction et/ou un niveau de somnolence d’un conducteur dans un véhicule en mouvement.It relates more particularly to an electronic device for evaluating a position and / or orientation associated with a vehicle driver and their use for example for monitoring. The invention is particularly advantageous in the case where it is desired to determine a level of distraction and / or a level of somnolence of a driver in a moving vehicle.
Arriere-plan technologiqueTechnological background
On utilise, par exemple dans les dispositifs d’évaluation de position et/ou d’orientation d’éléments situés dans un habitacle de véhicule, un dispositif de capture d’image associé à un module d’analyse.For example, in the position evaluation devices and / or orientation of elements located in a vehicle cabin, an image capture device associated with an analysis module is used.
Quand l’élément situé dans l’habitacle est un conducteur du véhicule, le module d’analyse détermine la position et/ou l’orientation du visage et/ou du regard du conducteur à partir des images capturées par le dispositif de capture d’image. Cela lui permet par exemple d’évaluer le niveau d’inaptitude à la conduite du conducteur. En effet, un conducteur dont le visage et/ou le regard n’est pas dirigé vers la route pendant une certaine durée ou de manière répétée peut être considéré comme inapte à la conduite.When the element located in the passenger compartment is a driver of the vehicle, the analysis module determines the position and / or the orientation of the face and / or the driver's view from the images captured by the capture device of the vehicle. picture. This allows him, for example, to assess the level of unfitness to driving the driver. Indeed, a driver whose face and / or gaze is not directed towards the road for a certain period of time or repeatedly may be considered unfit for driving.
Il est donc important de pouvoir déterminer avec précision la position et/ou l’orientation du conducteur, indépendamment de changements contextuels pouvant affecter l’image acquise.It is therefore important to be able to accurately determine the position and / or orientation of the driver, regardless of contextual changes that may affect the image acquired.
De tels changements contextuels peuvent être liés par exemple à la position et/ou l’orientation du dispositif de capture d’image. En effet, le conducteur peut dans certains cas modifier la disposition du dispositif de capture d’image en ajustant l’intérieur du véhicule à ses propres besoins, par exemple à sa propre taille. Ceci est le cas en particulier lorsque le dispositif de capture d’image est monté sur une colonne de direction réglable du véhicule.Such contextual changes may be related for example to the position and / or orientation of the image capture device. Indeed, the driver can in some cases change the layout of the image capture device by adjusting the interior of the vehicle to his own needs, for example to his own size. This is particularly the case when the image capture device is mounted on an adjustable steering column of the vehicle.
Il est alors important de pouvoir déterminer la nouvelle disposition du dispositif de capture d’image afin que celle-ci n’affecte pas la détermination de la position et/ou de l’orientation du conducteur.It is therefore important to be able to determine the new arrangement of the image capture device so that it does not affect the determination of the position and / or orientation of the driver.
Objet de l’inventionObject of the invention
Afin de remédier à l’inconvénient précité de l’état de la technique, la présente invention propose un dispositif électronique d’évaluation d’une position et/ou d’une orientation associée à un élément situé dans un habitacle de véhicule, comprenant une unité de réception de données représentatives d’une séquence d’images acquises par un dispositif de capture d’image, un module de calcul conçu pour déterminer une direction de déplacement dans au moins une première zone du champ de vision du dispositif de capture d’image, un module de détermination de la position et/ou de l’orientation du dispositif de capture d’image en fonction de ladite direction de déplacement, un module d’analyse conçu pour analyser une seconde zone du champ de vision du dispositif de capture d’image, ladite seconde zone incluant une partie au moins de l’élément situé dans l’habitacle , et pour évaluer une position et/ou une orientation associée à l’élément situé dans l’habitacle en fonction de la position et/ou de l’orientation déterminée.In order to overcome the aforementioned drawback of the state of the art, the present invention proposes an electronic device for evaluating a position and / or an orientation associated with an element situated in a vehicle cabin, comprising a data receiving unit representative of a sequence of images acquired by an image capture device, a calculation module adapted to determine a direction of movement in at least a first area of the field of view of the capture device image, a module for determining the position and / or orientation of the image capture device according to said direction of movement, an analysis module designed to analyze a second zone of the field of view of the capture device image, said second zone including at least part of the element located in the passenger compartment, and for evaluating a position and / or an orientation associated with the located in the passenger compartment according to the position and / or orientation determined.
Un tel dispositif électronique permet donc d’évaluer une position et/ou une orientation de l’élément situé dans l’habitacle en fonction de la direction de déplacement du véhicule et non en fonction de la disposition du dispositif de capture d’image. De cette manière, la disposition du dispositif de capture d’image n’affecte pas la position et/ou l’orientation de l’élément situé dans l’habitacle évaluée par le module d’analyse. L’élément situé dans l’habitacle comprend par exemple un conducteur du véhicule. Un tel dispositif permet alors d’améliorer l’évaluation du niveau d’inaptitude du conducteur.Such an electronic device thus makes it possible to evaluate a position and / or an orientation of the element situated in the passenger compartment as a function of the direction of movement of the vehicle and not according to the disposition of the image-capture device. In this way, the arrangement of the image capture device does not affect the position and / or the orientation of the element located in the passenger compartment evaluated by the analysis module. The element located in the passenger compartment comprises for example a driver of the vehicle. Such a device then makes it possible to improve the evaluation of the driver's level of unfitness.
Le module d’analyse est par exemple conçu pour évaluer une direction de regard du conducteur et/ou pour délivrer une information indicative d’un niveau d’inaptitude à la conduite.The analysis module is for example designed to evaluate a direction of gaze of the driver and / or to provide information indicative of a level of unfitness to driving.
Le module de détermination est par exemple conçu pour envoyer une information relative à la position et/ou l’orientation du dispositif de capture d’image à un sous-module de reconnaissance faciale. L’invention propose également un système embarqué comprenant le dispositif électronique tel que proposé ci-dessus et le dispositif de capture d’image.The determination module is for example designed to send information relating to the position and / or orientation of the image capture device to a facial recognition sub-module. The invention also proposes an embedded system comprising the electronic device as proposed above and the image capture device.
Le dispositif de capture d’image est par exemple placé à l’intérieur d’un habitacle du véhicule. Il est par exemple placé sur un module supérieur de la colonne de direction du véhicule.The image capture device is for example placed inside a passenger compartment of the vehicle. It is for example placed on an upper module of the steering column of the vehicle.
Le champ de vision du dispositif de capture d’image comprend une fenêtre du véhicule par exemple une fenêtre latérale ou un toit panoramique.The field of view of the image capture device comprises a vehicle window, for example a side window or a panoramic roof.
Le système embarqué est placé par exemple à l’intérieur d’un habitacle d’un véhicule en déplacement rectiligne.The onboard system is placed for example inside a passenger compartment of a vehicle moving rectilinearly.
Le système embarqué peut par ailleurs comprendre un module de recueil d’informations conçu pour transmettre un signal représentatif des mouvements du véhicule au module de calcul.The embedded system may furthermore comprise an information collection module designed to transmit a signal representative of the movements of the vehicle to the calculation module.
Le système embarqué peut comprendre en outre un module d’enregistrement conçu pour recevoir et mémoriser une matrice de conversion de coordonnées.The embedded system may further include a recording module adapted to receive and store a coordinate conversion matrix.
Description detaillee d’un exemple de réalisationDetailed description of an example of realization
La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.The following description with reference to the accompanying drawings, given as non-limiting examples, will make it clear what the invention consists of and how it can be achieved.
Sur les dessins annexés : - la figure 1 représente schématiquement un exemple de dispositif électronique d’évaluation d’une position et/ou d’une orientation associée à un conducteur de véhicule conforme à l’invention ; - la figure 2 représente schématiquement une vue de haut d’un véhicule utilisant le dispositif électronique conformément à l’invention ; et - la figure 3 représente schématiquement les éléments principaux d’un système conforme à l’invention.In the accompanying drawings: FIG. 1 diagrammatically represents an example of an electronic device for evaluating a position and / or an orientation associated with a vehicle driver in accordance with the invention; - Figure 2 schematically shows a top view of a vehicle using the electronic device according to the invention; and - Figure 3 schematically shows the main elements of a system according to the invention.
La figure 1 représente schématiquement les éléments principaux d’un système dans lequel peut être mise en oeuvre l’invention.Figure 1 shows schematically the main elements of a system in which the invention can be implemented.
Un tel système 2 est embarqué dans un véhicule V (ici un véhicule automobile), par exemple dans un habitacle H du véhicule.Such a system 2 is embedded in a vehicle V (here a motor vehicle), for example in a cabin H of the vehicle.
Ce système embarqué 2 comprend un dispositif de capture d’image 6 (par exemple une caméra), un dispositif électronique 4 d’évaluation d’une position et/ou d’une orientation d’un élément situé dans l’habitacle H du véhicule V, et un module d’illumination 8 (par exemple un émetteur de rayonnement infrarouge). L’élément situé dans l’habitacle H comprend par exemple un conducteur C.This embedded system 2 comprises an image capture device 6 (for example a camera), an electronic device 4 for evaluating a position and / or an orientation of an element located in the passenger compartment H of the vehicle V, and an illumination module 8 (for example an infrared radiation emitter). The element located in the cockpit H comprises for example a conductor C.
Le dispositif de capture d’image 6 est conçu pour générer une image IMG de l’environnement lui faisant face. Le dispositif de capture d’image 6 est sensible à une plage de fréquences du rayonnement qui recouvre au moins en partie l’étendue fréquentielle dans le domaine du rayonnement émis par l’élément d’illumination 8.The image capture device 6 is designed to generate an IMG image of the environment facing it. The image-capturing device 6 is sensitive to a frequency range of the radiation which at least partly covers the frequency range in the range of the radiation emitted by the illumination element 8.
Le dispositif de capture d’image 6 est disposé dans le véhicule V de manière à être orienté de façon générale en direction de la tête du conducteur C du véhicule ; pour ce faire, le dispositif de capture d’image 6 est par exemple placé sur le module supérieur de la colonne de direction du véhicule. Plus précisément, comme bien visible en figure 2, le champ de vision A du dispositif de capture d’image 6 couvre d’une part le visage du conducteur et d’autre part une fenêtre W du véhicule (par exemple une fenêtre latérale au conducteur ou un toit panoramique du véhicule). Le champ de vision A du dispositif de capture d’image comprend ainsi deux zones : - une première zone Z1 couvrant une fenêtre W du véhicule, plus particulièrement l’extérieur du véhicule, par exemple des objets O se trouvant à l’extérieur du véhicule, tels que des arbres ou des lampadaires ; - une deuxième zone Z2 couvrant le conducteur C, plus particulièrement ici son visage.The image pickup device 6 is disposed in the vehicle V so as to be oriented generally towards the driver's head C of the vehicle; to do this, the image capture device 6 is for example placed on the upper module of the steering column of the vehicle. More precisely, as clearly visible in FIG. 2, the field of view A of the image-capture device 6 covers, on the one hand, the driver's face and, on the other hand, a window W of the vehicle (for example a side window to the driver). or a panoramic roof of the vehicle). The field of vision A of the image capture device thus comprises two zones: a first zone Z1 covering a window W of the vehicle, more particularly the exterior of the vehicle, for example O objects located outside the vehicle; such as trees or lampposts; a second zone Z2 covering the conductor C, more particularly here its face.
Pour évaluer le niveau d’inaptitude à la conduite du conducteur, le système embarqué 2 peut par exemple suivre l’évolution de la direction D du regard du conducteur (figure 1) au cours du temps. En pratique, le niveau d’inaptitude est par exemple un niveau de distraction ND du conducteur et/ou un niveau de somnolence Ns du conducteur. De façon générale, un conducteur apte à conduire a un regard dirigé vers la route. Au contraire, un conducteur distrait, inattentif, hypo-vigilant ou somnolent regardera de manière prolongée dans une autre direction D, par exemple vers l’intérieur du véhicule.To assess the level of unfitness to driving the driver, the embedded system 2 may for example follow the evolution of the direction D of the driver's gaze (Figure 1) over time. In practice, the level of unfitness is, for example, a level of distraction ND of the driver and / or a level of somnolence Ns of the driver. In general, a driver able to drive has a look directed towards the road. On the contrary, a distracted, inattentive, hypo-vigilant or sleepy driver will look in a prolonged manner in another direction D, for example towards the inside of the vehicle.
On associe au dispositif de capture 6 un premier système de coordonnées Scd- On établit par exemple un des axes du premier système de coordonnées Scd le long de l’axe optique du dispositif de capture 6. L’image IMG acquise par le dispositif de capture 6 est elle-même associée au premier système de coordonnées Scd- Par conséquent, des informations contenues sur l’image telle que la direction D du regard sont affectées par la position du dispositif de capture 6.A first coordinate system Scd-On is associated with the capture device 6, for example one of the axes of the first coordinate system Scd along the optical axis of the capture device 6. The IMG image acquired by the capture device 6 is itself associated with the first coordinate system Scd. Consequently, information contained on the image such as the viewing direction D is affected by the position of the capture device 6.
La position de la colonne de direction du véhicule est réglable et la disposition du dispositif de capture 6 par rapport aux autres parties du véhicule n’est donc pas fixe dans le temps. En conséquence, la direction D du regard capturée sur l’image IMG peut varier selon le réglage de la position de la colonne de direction, indépendamment de l’orientation effective du regard du conducteur.The position of the steering column of the vehicle is adjustable and the arrangement of the capture device 6 relative to the other parts of the vehicle is not fixed in time. Consequently, the direction D of the look captured on the IMG image can vary according to the adjustment of the position of the steering column, regardless of the actual orientation of the driver's gaze.
On définit un deuxième système de coordonnées Scv associé au véhicule. On établit un des axes du deuxième système de coordonnées Scv le long de l’axe longitudinal Vi_Adu véhicule.A second coordinate system Scv associated with the vehicle is defined. One of the axes of the second coordinate system Scv is established along the longitudinal axis Vi_Adu vehicle.
La figure 3 représente schématiquement les éléments principaux d’un système conforme à l’invention.Figure 3 schematically shows the main elements of a system according to the invention.
Comme décrit précédemment, le système de la figure 3 comprend un dispositif électronique 4 et un dispositif de capture d’image 6.As previously described, the system of FIG. 3 comprises an electronic device 4 and an image capture device 6.
Le dispositif électronique 4 comprend une unité de réception d’image 10, un module de calcul 20 de la direction du déplacement du véhicule, un module de détermination 30 d’une matrice de conversion du premier système de coordonnées Scd au deuxième système de coordonnées Scv, et un module d’analyse 40 du niveau d’inaptitude du conducteur.The electronic device 4 comprises an image receiving unit 10, a calculation module 20 of the direction of movement of the vehicle, a module 30 for determining a conversion matrix from the first coordinate system Scd to the second coordinate system Scv , and an analysis module 40 of the level of unfitness of the driver.
Lorsque le dispositif électronique 4 est réalisé sur la base d’un processeur (par exemple d’un microprocesseur), chaque module est mis en oeuvre par des instructions de programme d’ordinateur (mémorisées par exemple au sein du dispositif électronique) conçues pour effectuer la fonction du module concerné lorsque ces instructions sont exécutées par le processeur. L’image IMG acquise par le dispositif de capture d’image 6 est transmise à l’unité de réception d’image 10. L’unité de réception d’image 10 transmet l’image au module de calcul 20 et au module d’analyse 40.When the electronic device 4 is made on the basis of a processor (for example a microprocessor), each module is implemented by computer program instructions (stored for example within the electronic device) designed to perform the function of the module concerned when these instructions are executed by the processor. The IMG image acquired by the image-capture device 6 is transmitted to the image-receiving unit 10. The image-receiving unit 10 transmits the image to the calculation module 20 and to the image-receiving module. analysis 40.
Le module de calcul 20 évalue la direction de déplacement T (visible en figure 2) du véhicule à partir des données descriptives de la première zone Z1 pour une séquence d’images. Comme expliqué précédemment, la première zone Z1 présente des objets O extérieurs au véhicule (par exemple des lampadaires ou des arbres). Quand le véhicule V est en déplacement (par exemple avec une vitesse supérieure à 15km/h), le mouvement des objets, surfaces et contours O extérieurs sur la séquence d’images, généralement appelé flux optique, est lié à la direction de déplacement T du véhicule. Dans le cas d’une direction de déplacement T rectiligne du véhicule, le flux optique correspond à l’axe longitudinal VLa du véhicule.The calculation module 20 evaluates the direction of travel T (visible in FIG. 2) of the vehicle from the descriptive data of the first zone Z1 for a sequence of images. As explained above, the first zone Z1 has O objects outside the vehicle (for example street lights or trees). When the vehicle V is moving (for example with a speed greater than 15km / h), the movement of the O objects, surfaces and outer contours on the image sequence, generally called optical flow, is related to the direction of travel T of the vehicle. In the case of a rectilinear direction of travel of the vehicle, the optical flux corresponds to the longitudinal axis VLa of the vehicle.
Le module de calcul 20 peut répéter cette opération sur plusieurs séquences d’images afin de réaliser une moyenne de la direction de déplacement T du véhicule. De cette manière, il peut minimiser les erreurs.The calculation module 20 can repeat this operation on several image sequences in order to make an average of the traveling direction T of the vehicle. In this way, it can minimize errors.
Afin d’améliorer le calcul de la direction de déplacement T, le module de calcul 20 peut en outre recevoir une information relative aux mouvements du conducteur ou bien à la position de son corps (ici le tronc et les membres du conducteur) déterminée par un dispositif de suivi des gestes/corps du conducteur (non représenté sur la figure 3). Par exemple, un bras du conducteur peut se trouver à proximité de sa fenêtre latérale et ainsi apparaître dans la première zone Z1. Dans ce cas, le module de calcul 20 est apte à exclure le bras de la première zone Z1 afin qu’il ne soit pas pris en compte dans le calcul de la direction de déplacement T.In order to improve the calculation of the direction of travel T, the calculation module 20 may furthermore receive information relating to the movements of the driver or to the position of his body (here the trunk and the members of the driver) determined by a gesture tracking device / driver body (not shown in Figure 3). For example, a driver arm may be near its side window and thus appear in the first zone Z1. In this case, the calculation module 20 is able to exclude the arm from the first zone Z1 so that it is not taken into account in the calculation of the direction of displacement T.
Selon une possibilité de réalisation, le système embarqué de surveillance 2 peut comprendre un module de recueil 50 d’information relative aux mouvements du véhicule. Ce module de recueil 50 est apte à recevoir des informations relatives par exemple à la trajectoire et à la vitesse du véhicule. Par exemple, grâce à un capteur connecté au volant du véhicule ou à l’orientation des roues, le module de recueil 50 peut déterminer si la trajectoire du véhicule est rectiligne ou si le véhicule V est en train de tourner. De même, le module de recueil 50 peut déterminer si le véhicule est à l’arrêt ou en mouvement.According to one possible embodiment, the on-board monitoring system 2 may comprise a module 50 for collecting information relating to the movements of the vehicle. This collection module 50 is able to receive information relating for example to the trajectory and speed of the vehicle. For example, with a sensor connected to the vehicle steering wheel or the orientation of the wheels, the collection module 50 can determine whether the vehicle trajectory is straight or if the vehicle V is turning. Similarly, the collection module 50 can determine whether the vehicle is stationary or in motion.
Le module de recueil 50 est apte à transmettre au module de calcul 20 un signal représentatif des mouvements du véhicule. Ainsi, si le véhicule est à l’arrêt ou en train de tourner, le module de calcul 20 peut interrompre ses opérations.The collection module 50 is able to transmit to the calculation module 20 a signal representative of the movements of the vehicle. Thus, if the vehicle is stationary or in the process of turning, the calculation module 20 can interrupt its operations.
Le module de calcul génère un signal St représentatif de la direction de déplacement T du véhicule et le transmet au module de détermination 30 de la matrice de conversion des coordonnées.The calculation module generates a signal St representative of the traveling direction T of the vehicle and transmits it to the determination module 30 of the coordinate conversion matrix.
Le module de détermination 30 détermine la position et/ou l’orientation du dispositif de capture d’image relativement aux autres parties du véhicule (c’est-à-dire dans le référentiel lié au deuxième système de coordonnées Scv) en fonction de la direction de déplacement T du véhicule. On appelle ce calcul une auto-calibration du dispositif de capture d’image.The determination module 30 determines the position and / or the orientation of the image-capturing device with respect to the other parts of the vehicle (i.e., in the frame linked to the second coordinate system Scv) according to the direction of travel T of the vehicle. This calculation is called an auto-calibration of the image capture device.
Le module de détermination 30 génère en outre une matrice de conversion des coordonnées M permettant la conversion entre le premier système de coordonnées Scd associé au dispositif de capture d’image et le deuxième système de coordonnées Scv associé au véhicule. Cette matrice de conversion M est transmise au module d’analyse 40 sous forme de signal.The determination module 30 further generates an M-coordinate conversion matrix for converting between the first coordinate system Scd associated with the image-capturing device and the second coordinate system Scv associated with the vehicle. This conversion matrix M is transmitted to the analysis module 40 in the form of a signal.
Il est possible de réaliser cette opération d’auto-calibration pour d’autres dispositifs de capture d’image placés dans le véhicule. Par exemple pour le dispositif de suivi des gestes/corps du conducteur.It is possible to perform this self-calibration operation for other image capture devices placed in the vehicle. For example for the device for tracking gestures / body of the driver.
Le système embarqué de surveillance peut comprendre un module d’enregistrement 60 apte à recevoir et à mémoriser la matrice de conversion de coordonnées M. Le module d’enregistrement 60 comprend par exemple un disque dur. En variante, il pourrait s’agir d’une mémoire à semi-conducteurs (telle qu’une mémoire non-volatile réinscriptible).The on-board monitoring system may comprise a recording module 60 able to receive and memorize the coordinate conversion matrix M. The recording module 60 comprises, for example, a hard disk. Alternatively, it could be a semiconductor memory (such as a rewritable non-volatile memory).
La matrice de conversion mémorisée peut être transmise au module d’analyse 40 par exemple quand le module de calcul 20 n’a pas pu déterminer la direction de déplacement T du véhicule. C’est le cas par exemple si aucun n’objet O n’est détecté sur la première zone Z1, ou bien si l’image IMG est trop sombre, ou encore si le module de calcul 20 interrompt ses opérations sur la base d’informations reçues du module de recueil 50.The stored conversion matrix can be transmitted to the analysis module 40 for example when the calculation module 20 could not determine the direction of travel T of the vehicle. This is the case for example if no object O is detected on the first zone Z1, or if the image IMG is too dark, or if the calculation module 20 interrupts its operations on the basis of information received from the collection module 50.
Le module d’analyse 40 comprend un sous-module de reconnaissance 41 faciale, un sous-module de conversion 43 et un sous-module d’évaluation 45 du niveau d’inaptitude du conducteur.The analysis module 40 comprises a facial recognition sub-module 41, a conversion sub-module 43 and an evaluation sub-module 45 of the level of the driver's unfitness.
Le sous-module de reconnaissance faciale 41 est apte à recevoir une image IMG ou une séquence d’images transmise par l’unité de réception 10 d’image.The facial recognition sub-module 41 is able to receive an IMG image or a sequence of images transmitted by the image receiving unit.
Le sous-module de reconnaissance 41 faciale est conçu pour identifier la position de la tête du conducteur ainsi que la direction D de son regard sur les images reçues. Les positions et directions identifiées sont exprimées dans le premier système de coordonnées Scd-The facial recognition sub-module 41 is designed to identify the position of the driver's head and the direction D of his gaze on the images received. The positions and directions identified are expressed in the first coordinate system Scd-
En première approximation, le conducteur se trouve dans la deuxième zone Z2 du champ de vision du dispositif de capture d’image 6. Pour faciliter l’identification du conducteur, le module de détermination 30 peut en outre envoyer au sous-module de reconnaissance 41 faciale une information relative à la position et/ou l’orientation du dispositif de capture d’image. En connaissant la position et/ou l’orientation du dispositif de capture d’image le sous-module de reconnaissance 41 peut déterminer un emplacement le plus probable de la tête du conducteur et ainsi réduire le temps nécessaire pour identifier la position de ladite tête.As a first approximation, the driver is in the second zone Z2 of the field of view of the image-capture device 6. In order to facilitate the identification of the driver, the determination module 30 may further send to the recognition sub-module 41 facial information relating to the position and / or orientation of the image capture device. By knowing the position and / or the orientation of the image capture device, the recognition sub-module 41 can determine a most probable location of the driver's head and thus reduce the time necessary to identify the position of said head.
Le sous-module de conversion 43 reçoit d’une part l’information relative à la direction du regard D du conducteur (en provenance du sous-module de reconnaissance 41), et d’autre part la matrice de conversion M des coordonnées (en provenance du module de détermination 30).The conversion sub-module 43 receives on the one hand the information relating to the direction of the driver's view D (from the recognition sub-module 41), and on the other hand the conversion matrix M of the coordinates (in from the determination module 30).
Le sous-module de conversion 43 utilise la matrice de conversion pour calculer la position/et ou l’orientation du visage et/ou du regard du conducteur D dans le deuxième système de coordonnées Scv- Cette information est ensuite transmise au sous-module d’évaluation 45 de niveau d’inaptitude du conducteur.The conversion sub-module 43 uses the conversion matrix to calculate the position / and or orientation of the face and / or the look of the driver D in the second coordinate system Scv. This information is then transmitted to the sub-module. driver level 45 assessment.
Le sous-module d’évaluation 45 de niveau d’inaptitude du conducteur évalue un niveau d’inaptitude à la conduite, c’est-à-dire par exemple en pratique un niveau de distraction ND du conducteur et/ou un niveau de somnolence Ns du conducteur.The driver demerit level assessment sub-module 45 evaluates a level of unfitness to driving, i.e., in practice, for example, a level of driver ND distraction and / or a level of sleepiness. Ns of the driver.
Pour ce faire le sous-module d’évaluation 45 peut par exemple déterminer (par analyse de l’image acquise IMG ou d’une séquence d’images acquises) le niveau de distraction ND et/ou le niveau de somnolence Ns en évaluant la direction du regard D dans le deuxième système de coordonnées Scv associé au véhicule ou son évolution au cours du temps. De cette manière, le dispositif électronique 4 permet de corriger la variation de la direction du regard D du conducteur liée à la disposition du dispositif de capture d’image 6.For this purpose, the evaluation sub-module 45 may for example determine (by analysis of the acquired image IMG or of a sequence of acquired images) the level of distraction ND and / or the level of sleepiness Ns by evaluating the direction of gaze D in the second coordinate system Scv associated with the vehicle or its evolution over time. In this way, the electronic device 4 makes it possible to correct the variation in the direction of the driver's gaze D linked to the disposition of the image-capture device 6.
Le sous-module d’évaluation 45 peut également déterminer par exemple le niveau de somnolence Ns du conducteur en identifiant les zones de l’image IMG correspondant aux yeux du conducteur et en mesurant (dans une séquence d’images IMG) la durée et/ou la fréquence de clignement des yeux du conducteur.The evaluation sub-module 45 can also determine, for example, the driver's level of somnolence Ns by identifying the areas of the IMG image corresponding to the driver's eyes and by measuring (in a sequence of IMG images) the duration and / or or the blink frequency of the driver's eyes.
Le sous-module d’évaluation 45 peut également déterminer par exemple le niveau de distraction Nd du conducteur en déterminant la posture de la tête du conducteur et l’évolution de cette posture au cours du temps (au moyen d’une séquence d’images IMG).The evaluation sub-module 45 can also determine, for example, the level of distraction Nd of the driver by determining the posture of the driver's head and the evolution of this posture over time (by means of a sequence of images IMG).
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1755825A FR3068158B1 (en) | 2017-06-26 | 2017-06-26 | ELECTRONIC DEVICE AND ON-BOARD EVALUATION SYSTEM OF A POSITION AND / OR AN ORIENTATION ASSOCIATED WITH AN ELEMENT LOCATED IN A VEHICLE CAR |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1755825 | 2017-06-26 | ||
| FR1755825A FR3068158B1 (en) | 2017-06-26 | 2017-06-26 | ELECTRONIC DEVICE AND ON-BOARD EVALUATION SYSTEM OF A POSITION AND / OR AN ORIENTATION ASSOCIATED WITH AN ELEMENT LOCATED IN A VEHICLE CAR |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3068158A1 FR3068158A1 (en) | 2018-12-28 |
| FR3068158B1 true FR3068158B1 (en) | 2019-08-23 |
Family
ID=59409572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1755825A Active FR3068158B1 (en) | 2017-06-26 | 2017-06-26 | ELECTRONIC DEVICE AND ON-BOARD EVALUATION SYSTEM OF A POSITION AND / OR AN ORIENTATION ASSOCIATED WITH AN ELEMENT LOCATED IN A VEHICLE CAR |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3068158B1 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2688764A4 (en) * | 2011-03-25 | 2014-11-12 | Tk Holdings Inc | System and method for determining driver alertness |
| US9405982B2 (en) * | 2013-01-18 | 2016-08-02 | GM Global Technology Operations LLC | Driver gaze detection system |
-
2017
- 2017-06-26 FR FR1755825A patent/FR3068158B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| FR3068158A1 (en) | 2018-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11681299B2 (en) | Vehicle sensor system and method of use | |
| EP3084511B1 (en) | System and method for controlling the luminosity of a head-up display and display using said system | |
| EP3049283B1 (en) | Driving assistance device and method | |
| US10116873B1 (en) | System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle | |
| JP4888761B2 (en) | Virtual lane display device | |
| KR101433837B1 (en) | Method of operating a night-view system in a vehicle and corresponding night-view system | |
| US20190149813A1 (en) | Method and apparatus for camera fault detection and recovery | |
| US20070291231A1 (en) | Eyeglass detection method | |
| CN109501807B (en) | Automatic driving attention detection system and method | |
| AU2015276536A1 (en) | Device, method, and computer program for detecting momentary sleep | |
| US9398227B2 (en) | System and method for estimating daytime visibility | |
| FR2984837A1 (en) | FLYWHEEL POSITION CONTROL SYSTEM FOR VEHICLE | |
| US20190147275A1 (en) | Driver monitoring apparatus, method, and recording medium | |
| CN109415018A (en) | Method and control unit for digital rearview mirror | |
| FR3066158B1 (en) | METHOD AND SYSTEM FOR ALERTING A PRESENCE IN A DEAD ANGLE OF A VEHICLE | |
| FR3068158B1 (en) | ELECTRONIC DEVICE AND ON-BOARD EVALUATION SYSTEM OF A POSITION AND / OR AN ORIENTATION ASSOCIATED WITH AN ELEMENT LOCATED IN A VEHICLE CAR | |
| FR3062977A1 (en) | VIDEO SEQUENCE COMPRESSION DEVICE AND CONDUCTOR MONITORING DEVICE COMPRISING SUCH A COMPRESSION DEVICE | |
| AU2021105935A4 (en) | System for determining physiological condition of driver in autonomous driving and alarming the driver using machine learning model | |
| FR3079652A1 (en) | METHOD FOR EVALUATING A DISTANCE, ASSOCIATED EVALUATION SYSTEM AND SYSTEM FOR MANAGING AN INFLATABLE CUSHION | |
| JP4601376B2 (en) | Image abnormality determination device | |
| EP3786764A1 (en) | Method and localization device for localizing an image sensor mounted on a vehicle | |
| JP7059566B2 (en) | Vehicle alarm device | |
| FR3105949A1 (en) | Device for detecting the position of a headrest of a seat, for example a vehicle seat | |
| EP3867126B1 (en) | Method and device for assisting with driving a motor vehicle during reversing | |
| FR3140845A1 (en) | Method and device for determining a state of attention of a driver of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLSC | Publication of the preliminary search report |
Effective date: 20181228 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |