FR3066303B1

FR3066303B1 - Procede de calibration d'un dispositif de surveillance d'un conducteur dans un vehicule

Info

Publication number: FR3066303B1
Application number: FR1754166A
Authority: FR
Inventors: Jeremie Pinoteau; Pantelis Maroudis
Original assignee: Valeo Comfort and Driving Assistance SAS
Current assignee: Valeo Comfort and Driving Assistance SAS
Priority date: 2017-05-12
Filing date: 2017-05-12
Publication date: 2019-07-12
Anticipated expiration: 2037-05-12
Also published as: WO2018206331A1; FR3066303A1

Abstract

L'invention concerne un procédé de calibration d'un dispositif de surveillance d'un conducteur dans un véhicule à l'aide d'un dispositif de suivi de mouvements du conducteur, ledit dispositif de surveillance étant adapté à capturer au moins une image bidimensionnelle de la tête du conducteur, selon lequel : a) à l'aide du dispositif de suivi de mouvements, on détermine la position (X1, Y1, Z1) dans l'espace d'au moins un point remarquable (C1) associé à la tête du conducteur, et, b) on déduit de ladite position du point remarquable déterminée à l'étape a), et d'une information relative à la position et/ou à l'orientation dans l'espace dudit dispositif de surveillance, une grandeur représentative du rapport (R) entre une dimension réelle de l'espace et une dimension correspondante dans l'image bidimensionnelle capturée par le dispositif de surveillance.

Description

Domaine technique auquel se rapporte l'invention

La présente invention concerne un procédé de calibration d’un dispositif de surveillance d’un conducteur dans un véhicule.

Elle concerne aussi un module de calibration pour mettre en œuvre le procédé.

Arriere-plan technologique

On connaît des procédés de surveillance de conducteur pour surveiller, entre autres, la direction du regard du conducteur, les mouvements de tête ou encore le clignement des yeux du conducteur au volant d’un véhicule. Ces procédés sont basés sur la reconnaissance de points particuliers du visage du conducteur tels que les narines, le coin des lèvres, le coin des yeux, les sourcils ou encore les oreilles.

Pour ce faire, les procédés de surveillance commandent des dispositifs de surveillance, comportant en général une caméra, de sorte que ces derniers capturent régulièrement des images de la tête du conducteur. Les procédés de surveillance identifient alors sur les images capturées les points particuliers précités.

La mise en œuvre de ces procédés nécessitent de calibrer chaque dispositif de capture d’image de sorte que la correspondance entre les dimensions mesurées sur l’image et les dimensions réelles soit connue.

Une telle calibration débute par l’estimation de l’orientation dans l’espace de la caméra du dispositif de surveillance, qui peut être réalisée en utilisant une mire spécifique que le conducteur doit alors, avant chaque utilisation du dispositif de surveillance, tenir devant le dispositif de surveillance, à une distance prédéterminée. Cette estimation est contraignante pour le conducteur car elle doit être répétée à chaque utilisation, et nécessite de stocker la mire à proximité du conducteur, ce qui peut être encombrant.

La calibration du dispositif de surveillance est ensuite basée sur des statistiques morphologiques de visages humains telles que la distance moyenne séparant les yeux, la largeur moyenne d’un visage, la hauteur moyenne d’un visage, etc. Cependant, une telle calibration est peu précise de sorte qu’elle est susceptible de ralentir la détection du visage et des points particuliers de ce visage, voire d’induire des erreurs de détection. Pour améliorer cette calibration, il serait nécessaire de connaître précisément les données morphologiques du conducteur surveillé, ce qui est bien trop contraignant en réalité pour pouvoir être mis en œuvre.

Objet de l’invention

Afin de remédier aux inconvénients précités de l’état de la technique, la présente invention propose un procédé de calibration automatique d’un dispositif de surveillance d’un conducteur intégré au véhicule et ne nécessitant aucune intervention du conducteur, tout en étant précis.

Plus particulièrement, on propose selon l’invention un procédé de calibration d’un dispositif de surveillance d’un conducteur dans un véhicule à l’aide d’un dispositif de suivi de mouvements du conducteur, ledit dispositif de surveillance étant adapté à capturer au moins une image bidimensionnelle de la tête du conducteur, selon lequel : a) à l’aide du dispositif de suivi de mouvements, on détermine la position dans l’espace d’au moins un point remarquable associé à la tête du conducteur, et, b) on déduit de ladite position du point remarquable déterminée à l’étape a), et d’une information relative à la position et/ou à l’orientation dans l’espace dudit dispositif de surveillance, une grandeur représentative du rapport entre une dimension réelle de l’espace et une dimension correspondante dans l’image bidimensionnelle capturée par le dispositif de surveillance.

Ainsi, le procédé de calibration selon l’invention utilise le dispositif de suivi de mouvements disponible dans le véhicule pour calibrer automatiquement le dispositif de surveillance, sans aucune intervention du conducteur.

En outre, le procédé de calibration permet d’améliorer la précision et la pertinence des informations résultant du procédé de surveillance du conducteur mis en œuvre par le dispositif de surveillance. En effet, le visage du conducteur et les paramètres de surveillance tels que la direction du regard du conducteur, les mouvements de tête ou encore le clignement des yeux du conducteur, sont détectés avec une meilleure précision lorsque le dispositif de surveillance est calibré. D’autres caractéristiques non limitatives et avantageuses du procédé conforme à l’invention sont les suivantes : - à l’étape b), ladite grandeur représentative du rapport est déterminée comme l’une des dimensions de l’espace réel imagée par un pixel de ladite image bidimensionnelle capturée par le dispositif de surveillance ; - à l’étape b), on met en œuvre les sous-étapes suivantes : b1) on détermine la distance séparant un plan de capture d’image du dispositif de surveillance et un plan parallèle audit plan de capture d’image et contenant ledit point remarquable, et b2) on déduit ladite grandeur représentative du rapport à partir de la distance déterminée à l’étape b1) ; - à l’étape b1), ladite grandeur représentative du rapport est déduite d’une relation mathématique reliant ladite distance calculée à l’étape b1), un paramètre de capture angulaire du dispositif de surveillance et un paramètre de définition dudit dispositif de surveillance ; - à l’étape a), on détermine la position dans l’espace d’au moins un autre point remarquable associé à la tête du conducteur, et, à l’étape b), on met en œuvre les sous-étapes suivantes : b3) on détermine la distance réelle séparant lesdits deux points remarquables projetés dans un plan de projection parallèle à un plan de capture d’image du dispositif de surveillance, et b4) on détermine la distance séparant les images desdits deux points remarquables dans l’image bidimensionnelle capturée par le dispositif de surveillance ; - à l’étape a), la position dans l’espace du point remarquable est déterminée à partir d’une image tridimensionnelle du conducteur capturée par le dispositif de suivi de mouvements ; - dans l’image tridimensionnelle du conducteur, l’image de la tête du conducteur est assimilée à une forme géométrique tridimensionnelle prédéterminée, et la position dans l’espace du point remarquable est déterminée en fonction de ladite forme géométrique ; - on itère les étapes a) et b) avec d’autres points remarquables associés à la tête du conducteur, et, dans une étape additionnelle c), on déduit une grandeur corrigée représentative du rapport entre ladite dimension réelle de l’espace et ladite dimension correspondante dans l’image bidimensionnelle. L’invention propose également un module de calibration d’un dispositif de surveillance d’un conducteur dans un véhicule, comportant : - un dispositif de suivi de mouvements du conducteur adapté à déterminer la position dans l’espace d’au moins un point remarquable associé à la tête du conducteur, et - une unité de commande programmée pour déduire de ladite position du point remarquable associé à la tête du conducteur, et d’une information relative à la position et/ou à l’orientation dans l’espace dudit dispositif de surveillance, une grandeur représentative du rapport entre une dimension réelle de l’espace et une dimension correspondante dans l’image bidimensionnelle capturée par le dispositif de surveillance.

Ainsi, le module de calibration est adapté à mettre en œuvre le procédé de calibration selon l’invention.

Avantageusement, dans le module de calibration selon l’invention, le dispositif de suivi de mouvements comprend une unité de capture d’images à temps de vol et/ou une unité de capture d’images stéréoscopique, et/ou une unité de capture d’images à lumière structurée. L’invention propose enfin un module de surveillance d’un conducteur dans un véhicule comprenant un dispositif de surveillance adapté à capturer au moins une image bidimensionnelle de la tête du conducteur et un module de calibration selon l’invention.

Description detaillee d’un exemple de réalisation

La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.

Sur les dessins annexés : - la figure 1 représente schématiquement, en vue avant, un véhicule automobile comprenant un module de calibration selon l’invention ; - la figure 2 représente un organigramme des étapes principales du procédé de calibration selon l’invention ; - la figure 3 représente schématiquement, en vue de profil, le dispositif de surveillance d’un module de surveillance d’un conducteur selon l’invention ; et, - la figure 4 reproduit schématiquement, dans le plan de capture d’images, la représentation du visage du conducteur capturée par le dispositif de surveillance de la figure 3.

Dispositif

Sur la figure 1, on a représenté l’avant d’un véhicule 1 automobile embarquant un module de calibration 100 d’un dispositif de surveillance 10 d’un conducteur 4 du véhicule 1 selon l’invention.

Le dispositif de surveillance, plus connu sous l’acronyme anglo-saxon DMS pour « Driver Monitoring System », est connu de l’homme du métier et ne sera pas décrit en détails. On précisera simplement qu’un tel dispositif de surveillance 10 comprend des moyens de capture d’images adaptés à capturer des images bidimensionnelles de la tête du conducteur 4 au cours du temps, et des moyens d’analyse de ces images programmés pour déterminer, à partir de ces images bidimensionnelles, la valeur d’au moins un paramètre de surveillance du conducteur 4, par exemple représentatif de la direction du regard et/ou de la posture de la tête, et/ou de la fermeture des paupières, et pour estimer, à partir de ladite valeur du paramètre de surveillance, un état de vigilance de ce conducteur 4. Cet état de vigilance peut être par exemple suffisant ou insuffisant.

Ici, les moyens de capture d’images du dispositif de surveillance 10 comprennent une caméra, disposée derrière le volant 3 du véhicule 1 (voir figure 1). La caméra capture des images bidimensionnelles de la tête du conducteur 4 dans un plan de capture d’images PCI correspondant ici au plan du capteur de la caméra (voir figure 3).

Comme le montre la figure 3, la caméra présente un paramètre de capture angulaire Θ qui correspond à l’angle de champ du capteur, c’est-à-dire à l’angle solide que peut capturer la caméra du dispositif de surveillance 10. La caméra présente un paramètre de définition Pd qui correspond à la taille de l’image bidimensionnelle capturée par ladite caméra du dispositif de surveillance 10, c’est-à-dire au nombre total de pixels formant ladite image bidimensionnelle. En pratique, le paramètre de définition Pd de la caméra comprend une composante horizontale Pdn et une composante verticale Pdv qui correspondent respectivement au nombre de pixel dans la largeur et dans la hauteur d’une image bidimensionnelle capturée (voir figure 4).

Les moyens d’analyse du dispositif de surveillance 10 sont programmés pour reconnaître, dans les images capturées par la caméra, l’image d’au moins un point particulier du visage du conducteur 4, et pour suivre l’évolution au cours du temps de l’image de ce point particulier afin d’en déduire le paramètre de surveillance et l’état de vigilance du conducteur 4. Les méthodes de reconnaissance d’images de points particuliers du visage sont bien connues de l’Homme du métier et ne seront pas décrites plus en détails.

Les points particuliers du visage du conducteur 4 sont par exemple les narines, les coins de la bouche, les coins de chacun des yeux, le centre de chaque oreille, la pupille de chacun des yeux, les coins externes et internes de chacun des sourcils, etc. La position de ces points particuliers peut être amenée à changer au cours du temps, de sorte que la position des images de ces points varie dans les images bidimensionnelles capturées par le dispositif de surveillance 10. C’est notamment à partir de ces variations de position que les moyens d’analyse du dispositif de surveillance 10 déduisent le paramètre de surveillance et l’état de vigilance associé au conducteur 4.

Les moyens d’analyse du dispositif de surveillance 10 reçoivent les images bidimensionnelles capturées par la caméra dudit dispositif de surveillance 10 et peuvent être intégrés à un boîtier comprenant ladite caméra du dispositif de surveillance 10, ou être déportés à distance de la caméra, par exemple intégrés à une unité électronique et informatique du véhicule qui reçoit des informations de différents capteurs du véhicule 1 et commande le fonctionnement de certains organes de ce véhicule 1.

Le module de calibration 100 est adapté à calibrer le dispositif de surveillance 10 de sorte que ce dernier puisse faire une mise à l’échelle des images bidimensionnelles qu’il capture dans l’espace réel, c’est-à-dire de sorte que ledit dispositif de surveillance 10 ait en mémoire la correspondance entre une dimension réelle de l’espace et une dimension correspondante dans les images bidimensionnelles qu’il capture à un moment donné. C’est notamment grâce à cette mise à l’échelle que le dispositif de surveillance 10 peut reconnaître les points particuliers du visage du conducteur 4 et suivre leur évolution.

Le module de calibration 100 du dispositif de surveillance 10 comprend à cet effet : - un dispositif de suivi de mouvements 20 du conducteur 4 adapté à déterminer la position (X1, Y1, Z1) dans l’espace d’au moins un point remarquable C1 associé à la tête du conducteur 4, et - une unité de commande 50 programmée pour déduire de ladite position (X1, Y1, Z1) du point remarquable C1 associé à la tête du conducteur 4, et d’une information relative à la position et/ou à l’orientation dans l’espace dudit dispositif de surveillance 10, une grandeur représentative du rapport R entre une dimension réelle de l’espace et une dimension correspondante dans l’image bidimensionnelle capturée par le dispositif de surveillance 10.

De préférence, le dispositif de suivi de mouvement 20 est un dispositif du véhicule 1 utilisé par ailleurs, notamment pour la mise en œuvre de procédés de détection des mouvements du conducteur 4 au volant du véhicule 1.

Ainsi, le procédé de calibration selon l’invention utilise le dispositif de suivi de mouvements 20 disponible dans le véhicule 1 pour calibrer automatiquement le dispositif de surveillance 10.

Le dispositif de suivi de mouvements 20 aussi appelé « body tracking System » en langue anglaise, comporte des moyens de capture d’images adaptés à capturer des images tridimensionnelles du conducteur 4 au cours du temps, et des moyens d’analyse de ces images tridimensionnelles programmés pour déterminer, à partir de ces images tridimensionnelles, la position dans l’espace d’au moins un point remarquable C1, C2 associé à la tête du conducteur 4.

Un tel point remarquable associé à la tête du conducteur 4 peut être un des points particuliers du visage du conducteur 4 précédemment cités, mais aussi plus généralement un point du sommet du crâne (C1 sur les figures 1 et 3) du conducteur 4, une extrémité avant du nez du conducteur 4, un point le plus bas du visage (C2 sur les figures 1 et 3) du conducteur 4, ou encore un point au centre du visage, voire de la tête, du conducteur 4.

Les moyens de capture d’images du dispositif de suivi de mouvements 20 sont ici disposés dans une région centrale de la plage avant du véhicule 1, à proximité du parebrise, de manière à présenter un champ de capture d’images large couvrant le haut du corps du conducteur 4. Plus précisément, le dispositif de suivi de mouvements 20 capture des images tridimensionnelles comprenant l’image du haut du torse, des épaules et de la tête du conducteur 4 (voir figure 1 ).

Les moyens de capture d’images du dispositif de suivi de mouvements 20 comprennent par exemple une unité de capture d’images à temps de vol, telle qu’une caméra à temps de vol, (« Time of Flight » ou TOF selon l’acronyme anglo-saxon) adaptée à envoyer de la lumière vers le conducteur 4 et à mesurer le temps que met cette lumière à revenir vers ladite caméra à temps de vol pour déduire l’image tridimensionnelle du conducteur 4. En variante ou en complément, lesdits moyens de capture d’images peuvent aussi comprendre une unité de capture d’images stéréoscopique comportant au moins deux caméras, chacune capturant une image du conducteur 4 selon son propre point de vue. Les images de chaque caméra sont ensuite superposées pour déduire l’image tridimensionnelle du conducteur 4. En variante ou en complément encore, lesdits moyens de capture d’images peuvent aussi comprendre une unité de capture d’images à lumière structurée adaptée à projeter un motif sur le conducteur 4 et à analyser la déformation de ce motif pour déduire l’image tridimensionnelle du conducteur 4.

Quels que soient ses moyens de capture d’images, le dispositif de suivi de mouvements 20 est adapté, grâce à ses moyens d’analyse, à déterminer la position de n’importe quel point de l’espace dans un référentiel prédéterminé dès lors que ce point a été imagé dans une image tridimensionnelle capturée par lesdits moyens de capture d’images. Le référentiel prédéterminé peut par exemple être le référentiel du dispositif de suivi de mouvements 20, le référentiel du véhicule 1, le référentiel du module de calibration 100 ou encore le référentiel du dispositif de surveillance 10. Ici, on considérera que le référentiel prédéterminé est le référentiel du véhicule, dans lequel la position et l’orientation du dispositif de suivi de mouvements sont connues. L’utilisation d’un autre référentiel suppose la détermination d’informations concernant la position relative du dispositif de suivi de mouvements 20 et du référentiel prédéterminé choisi.

Les moyens d’analyse du dispositif de suivi de mouvements 20 reçoivent les images tridimensionnelles capturées par les moyens de capture d’images dudit dispositif de suivi de mouvements 20. Ils sont par exemple programmés pour assimiler, dans ces images tridimensionnelles, l’image de la tête du conducteur 4 à une forme géométrique tridimensionnelle prédéterminée. Par exemple, en première approximation, les moyens d’analyse assimilent la tête du conducteur 4 à une sphère dont le diamètre et le centre sont tels que ladite sphère représente le mieux possible la tête du conducteur 4, c’est-à-dire est au plus près du contour de la tête du conducteur 4.

Les moyens d’analyse du dispositif de suivi mouvements 20 sont aussi programmés pour, d’une part, identifier sur l’image tridimensionnelle capturée l’image du point remarquable C1 associé à la tête du conducteur 4 en fonction de ladite forme géométrique, et pour, d’autre part, déduire la position (X1, Y1, Z1) dans l’espace réel du point remarquable C1 associé à la tête du conducteur 4.

En déterminant la position de l’image du point remarquable C1 dans l’image tridimensionnelle du conducteur 4 capturée par le dispositif de suivi de mouvements 20, les moyens d’analyse du dispositif de suivi de mouvements 20 peuvent déduire la position (X1, Y1, Z1) dans le référentiel prédéterminé, du point remarquable C1 correspondant associé à la tête du conducteur 4.

Par exemple, les moyens d’analyse du dispositif de suivi de mouvements 20 sont programmés pour identifier l’image du point remarquable « centre de la tête du conducteur » comme le centre de la sphère à laquelle est assimilée la tête du conducteur 4. Après repérage du centre de la sphère dans l’image tridimensionnelle du conducteur 4, les moyens d’analyse sont programmés pour déduire la position, dans le référentiel prédéterminé, du centre de la tête du conducteur 4.

Similairement, les moyens d’analyse du dispositif de suivi de mouvements 20 peuvent par exemple identifier l’image du point remarquable « sommet du crâne C1 du conducteur » comme le sommet supérieur de la sphère, ou l’image du point remarquable « le bas du visage C2 du conducteur » comme le sommet inférieur de la sphère, et en déduire la position dans le référentiel prédéterminé du sommet du crâne C1 et du bas du visage C2 du conducteur 4.

Les moyens d’analyse du dispositif de suivi de mouvements 20 peuvent être intégrés à un boîtier comprenant les moyens de capture d’images dudit dispositif de suivi de mouvements 20 ou être déportés à distance de ces moyens de capture d’images, par exemple intégrés à l’unité électronique et informatique du véhicule 1.

Le dispositif de suivi de mouvements 20 et le dispositif de surveillance 10 sont adaptés à échanger des informations avec l’unité de commande 50 du module de calibration 100. L’unité de commande 50 comporte par ailleurs une mémoire adaptée à stockée des informations utiles à son fonctionnement. L’unité de commande 50 du module de calibration 100 est programmée pour, à partir de la position (X1, Y1, Z1) dans le référentiel prédéterminé du point remarquable C1 associé à la tête du conducteur 4 et de la position dans ce référentiel prédéterminé des moyens de capture d’images du dispositif de surveillance 10, déduire la grandeur représentative du rapport R de mise à l’échelle des images capturées par le dispositif de surveillance 10 dans l’espace réel.

En pratique, ladite grandeur représentative du rapport R est déterminée comme la dimension de l’espace réel, dans un plan parallèle au plan de capture d’images PCI passant par le point remarquable C1, imagée par un pixel de ladite image bidimensionnelle capturée par le dispositif de surveillance 10.

Plus précisément, ici, le rapport R de mise à l’échelle correspond au rapport entre une distance quelconque de l’espace réel dans un plan prédéterminé parallèle au plan de capture d’images PCI et passant par le point remarquable C1, et la quantité de pixels imageant cette distance quelconque dans l’image capturée par le dispositif de surveillance 10. La grandeur représentative de ce rapport R peut par exemple être ce rapport lui-même, l’inverse de ce rapport, ou encore proportionnelle à ce rapport R (le facteur de proportionnalité étant alors constant et prédéterminé). Dans la suite, on considérera que la grandeur représentative du rapport R de mise à l’échelle est le rapport R lui-même.

Selon une première variante, l’unité de commande 50 est programmée pour déterminer la distance D séparant le plan de capture d’image PCI du dispositif de surveillance 10 et ledit plan parallèle audit plan de capture d’image et contenant ledit point remarquable C1 associé à la tête du conducteur 4. A cet effet, la position du plan de capture d’images PCI des moyens de capture d’images du dispositif de surveillance 10 dans ledit référentiel prédéterminé est déterminée au préalable et mise en mémoire dans l’unité de commande 50.

Autrement dit, l’unité de commande 50 est programmée pour déterminer la distance D la plus courte séparant le plan de capture d’images PCI et le point remarquable C1, en connaissant les positions (X1, Y1, Z1) respectives du point remarquable associé à la tête du conducteur 4 et du plan de capture d’images PCI du dispositif de surveillance 10 dans un même référentiel.

Il est aussi envisageable que l’unité de commande 50 soit programmée pour déterminer la distance D en connaissant les positions respectives du point remarquable C1 associé à la tête du conducteur 4 et du plan de capture d’images PCI dans deux référentiels différents prédéterminés, ladite unité de commande 50 étant alors programmée pour calculer au moins une desdites positions dans l’autre référentiel prédéterminé que celui où elle est connue. L’unité de commande 50 est enfin programmée pour déterminer ledit rapport R de mise à l’échelle en utilisant une relation mathématique reliant la distance D séparant le plan de capture d’images PCI et ledit plan parallèle audit plan de capture d’image PCI contenant le point remarquable C1, le paramètre de capture angulaire Θ du dispositif de surveillance 10 et le paramètre de définition Pd de l’image bidimensionnelle capturée par ledit dispositif de surveillance 10.

Le rapport R est par exemple calculé selon la formule mathématique suivante :

Les déformations éventuelles de l’image bidimensionnelle, dues aux moyens de capture d’images du dispositif de surveillance 10 et du dispositif de suivi de mouvement 20 sont considérées comme négligeables.

En pratique, il est envisageable que le rapport de mise à l’échelle ne soit pas identique selon une composante verticale et selon une composante horizontale de l’image bidimensionnelle.

Dans ce cas, le rapport vertical Rv de mise à l’échelle répond à la formule mathématique suivante :

Similairement, le rapport horizontal Rh de mise à l’échelle répond à la formule mathématique suivante :

D‘une manière plus générale encore, on pourrait envisager qu’il existe un rapport de mise à l’échelle distinct pour chaque direction du plan de capture d’images PCI, et pas seulement un rapport horizontal et un rapport vertical de mise à l’échelle.

Selon une deuxième variante, lorsque le dispositif de suivi de mouvements 20 est adapté à déterminer la position dans le référentiel prédéterminé d’au moins deux points remarquables associés à la tête du conducteur 4, par exemple le sommet du crâne C1 et le bas du visage C2, l’unité de commande 50 est programmée pour déterminer directement le rapport R de mise à l’échelle.

Plus précisément, l’unité de commande 50 est programmée pour

comparer la distance réelle séparant les deux points remarquables C1, C2, et la distance Δ séparant les images IC1, IC2 de ces deux points remarquables C1, C2 dans l’image bidimensionnelle capturée par le dispositif de surveillance 10.

De préférence, la distance réelle séparant les deux points remarquables C1, C2 est évaluée sous le même angle de vue que celui sous lequel est évaluée la distance Δ séparant les images IC1, IC2 desdits points remarquables C1, C2 dans l’image bidimensionnelle (voir figure 4). Pour ce faire, l’unité de commande 50 est programmée pour déterminer la distance |C1C2| réelle séparant les projections des points remarquables C1 et C2 dans un plan de projection π parallèle au plan de capture d’images PCI du dispositif de surveillance 10. A cet effet, l’unité de commande 50 a en mémoire l’orientation latérale dudit plan de capture d’images PCI, c’est-à-dire l’angle d’orientation dudit plan de capture d’images PCI par rapport à un plan vertical comprenant l’axe longitudinal du véhicule 1. L’unité de commande 50 est ainsi programmée pour, d’une part, déterminer la distance |C1C2| réelle séparant lesdites projections des deux points remarquables dans le plan de projection π, et, d’autre part, identifier les images IC1, IC2 des deux points remarquables C1, C2 dans l’image bidimensionnelle de la tête du conducteur 4 capturée par le dispositif de surveillance 10 (c’est-à-dire dans le plan de capture d’images PCI) et déterminer la distance Δ séparant lesdites images IC1, IC2 des deux points remarquables C1, C2 dans le plan de capture d’images PCI. L’unité de commande 50 est alors programmée pour calculer le rapport R de mise à l’échelle en divisant la distance |C1C2| réelle séparant les projections des deux points remarquables C1, C2 dans le plan de projection π par la distance Δ séparant les images IC1, IC2 des deux points remarquables C1, C2 dans l’image bidimensionnelle capturée par le dispositif de surveillance 10 dans le plan de capture d’images PCI.

Autrement dit, le rapport R de mise à l’échelle répond à la formule mathématique suivante :

De manière analogue, on pourrait encore envisager que le rapport de mise à l’échelle soit déterminé comme le rapport entre une surface réelle et une

surface correspondante dans l’image bidimensionnelle capturée par le dispositif de surveillance. Cette variante est particulièrement intéressante lorsque le dispositif de suivi de mouvements 20 est adapté à déterminer la position dans le référentiel prédéterminé d’au moins trois points remarquables associés à la tête du conducteur 4, par exemple des points C1 et C2 explicités ci-dessus et d’un troisième point remarquable C3 qui pourrait être le centre du visage, ou le point supérieur d’une des oreilles. On pourrait alors envisager que l’unité de commande soit capable de délimiter une surface à partir des projections desdits points remarquables dans le plan de projection π et de déterminer l’aire de cette surface. L’unité de commande pourrait aussi être capable de délimiter une surface similaire à partir des images desdits points remarquables dans le plan de capture d’mages PCI du dispositif de surveillance et de déterminer l’aire de cette surface similaire. Le rapport de mise à l’échelle serait alors égal à l’aire de la surface réelle définie dans le plan de projection, divisée par l’aire de la surface similaire correspondante dans l’image bidimensionnelle capturée.

Procédé

On s’est attaché dans la suite à décrire le procédé de calibration du dispositif de surveillance 10 mis en œuvre par le module de calibration 100.

Selon ce procédé : a) à l’aide du dispositif de suivi de mouvements 20, le module de calibration 100 détermine la position (X1, Y1, Z1) dans l’espace d’au moins un point remarquable C1 associé à la tête du conducteur 4, et, b) le module de calibration 100 déduit de ladite position (X1, Y1, Z1) du point remarquable C1 déterminée à l’étape a), et d’une information relative à la position et/ou à l’orientation dans l’espace dudit dispositif de surveillance 10, la grandeur représentative du rapport R entre une dimension réelle de l’espace (notamment une distance) et une dimension correspondante dans l’image bidimensionnelle capturée par le dispositif de surveillance 10.

De manière remarquable, comme il sera détaillé ci-après, le procédé selon l’invention permet de calibrer automatiquement le dispositif de surveillance 10 en utilisant le dispositif de suivi de mouvements 20 présent dans le véhicule 1.

Sur la figure 2, on a représenté les étapes principales de ce procédé.

Etape a) A l’étape a), les moyens de capture du dispositif de suivi de mouvements 20 capturent une image tridimensionnelle 3D du conducteur 4 (bloc E1 de la figure 2), et identifient l’image du point remarquable C1 associé à la tête du conducteur 4 dans ladite image tridimensionnelle.

Pour ce faire, les moyens d’analyse du dispositif de suivi de mouvements 20 récupèrent l’image capturée par les moyens de capture dudit dispositif de suivi de mouvements 20 et assimilent par exemple, dans cette image tridimensionnelle, l’image de la tête du conducteur 4 à une forme géométrique tridimensionnelle prédéterminée, par exemple à une sphère. Les moyens d’analyse du dispositif de suivi de mouvements 20 identifient ensuite l’image du point remarquable C1 à l’aide de cette forme géométrique, comme expliqué précédemment.

Les moyens d’analyse du dispositif de suivi de mouvements 20 déterminent alors, à partir de la position de l’image du point remarquable C1 dans ladite image tridimensionnelle du conducteur 4, la position (X1, Y1, Z1), dans le référentiel prédéterminé du point remarquable C1 (bloc E2 de la figure 2).

Selon une première variante (1) de mise en œuvre, à l’étape b), les sous-étapes suivantes sont mises en œuvre : b1) l’unité de commande 50 détermine la distance D séparant le plan de capture d’image PCI du dispositif de surveillance 10 et un plan parallèle audit plan de capture d’image et contenant ledit point remarquable C1, et b2) l’unité de commande 50 déduit ladite grandeur représentative du rapport R à partir de la distance D déterminée à l’étape b1).

Sous-étape b1 ) L’unité de commande 50 récupère dans une phase d’initialisation, la position du plan de capture d’images PCI des moyens de capture d’images du dispositif de surveillance 10 préalablement mise en mémoire. Cette position est soit directement connue dans le référentiel prédéterminé, soit connue dans un autre référentiel, puis ramenée dans le référentiel prédéterminé.

Elle reçoit par ailleurs, du dispositif de suivi de mouvements 20, la position (X1, Y1, Z1 ), dans le référentiel prédéterminé, du point remarquable C1. L’unité de commande 50 a ainsi en mémoire la position relative dudit plan de capture PCI et dudit point remarquable C1 dans le référentiel prédéterminé.

Elle déduit alors de cette position relative la distance D la plus courte séparant ledit point remarquable C1 du plan de capture d’image PCI du dispositif de surveillance 10 (bloc E3 de la figure 2).

Ainsi, grâce au procédé de calibration automatique selon l’invention, le dispositif de surveillance 10 détermine et met en mémoire, au moins en première approximation, la distance D séparant le conducteur 4 et ledit dispositif de surveillance 10.

Sous-étape b2) L’unité de commande 50 déduit alors la grandeur représentative du rapport R de mise à l’échelle, à savoir ici le rapport R de mise à l’échelle lui-même, à partir de la distance D déterminée à l’étape b1) (bloc E4 de la figure 2).

Plus précisément, le rapport R de mise à l’échelle est déduit de la relation mathématique reliant ladite distance D, le paramètre de capture angulaire Θ du dispositif de surveillance 10 et le paramètre de définition Pd de l’image bidimensionnelle capturée par ledit dispositif de surveillance 10 :

Comme expliqué précédemment, ce rapport peut être différent selon une composante horizontale et selon une composante verticale de l’image. Dans ce cas, le rapport horizontal de mise à l’échelle répond à la formule mathématique

et le rapport vertical de mise à l’échelle répond à la formule mathématique suivante

Le rapport de mise à l’échelle pourrait encore être différent selon chaque direction contenue dans le plan de capture d’images, et pas seulement selon les directions verticale et horizontale. L’unité de commande 50 peut aussi déterminer la distance moyenne Dmoy séparant le plan de capture d’images PCI dispositif de surveillance 10 et la tête du conducteur 4.

Pour ce faire, les moyens d’analyse du dispositif de suivi de mouvements 20 identifient d’autres images de point remarquable dans l’image tridimensionnelle capturée par les moyens de capture du dispositif de suivi de mouvements 20, et détermine la position, dans le référentiel prédéterminé, desdits points remarquables correspondants. L’unité de commande 50 détermine alors les distances D séparant le plan de capture d’image PCI du dispositif de surveillance 10 et chaque plan

parallèle audit plan de capture d’images contenant un autre point remarquable associé à la tête du conducteur 4, et calcule la moyenne Dmoy séparant la tête du conducteur 4 et le plan de capture d’images PCI en calculant la moyenne desdites distances D. L’unité de commande 50 détermine alors ledit rapport R de mise à l’échelle en utilisant la relation mathématique précédente dans laquelle la distance D séparant le plan de capture d’images PCI et le point remarquable est remplacée par la distance moyenne Dmoy séparant la tête du conducteur 4 et le plan de capture d’images PCI :

Selon le procédé, il est aussi possible d’itérer les étapes a) et b) avec d’autres points remarquables associés à la tête du conducteur 4, et, dans une étape additionnelle c), de déduire une grandeur corrigée représentative du rapport R entre ladite dimension réelle de l’espace et ladite dimension correspondante dans l’image bidimensionnelle.

Pour ce faire, l’unité de commande 50 détermine les distances D séparant le plan de capture d’image PCI du dispositif de surveillance 10 et chaque plan parallèle audit plan de capture d’image PCI contenant chaque autre point remarquable associé à la tête du conducteur 4, déduit le rapport R de mise à l’échelle pour chaque distance D déterminée, et calcule un rapport corrigé Rc de mise à l’échelle, par exemple égal à la moyenne des rapports R de mise à l’échelle obtenu pour chaque point remarquable.

Selon une deuxième variante (2) de mise en œuvre du procédé, à l’étape a), les moyens d’analyse du dispositif de suivi de mouvements 20 déterminent la position dans l’espace d’au moins un autre point remarquable C2 associé à la tête du conducteur 4, et, à l’étape b), l’unité de commande 50 met en œuvre les sous étapes suivantes : b3) elle détermine la distance réelle |C1C2| séparant les projections des deux points remarquables C1, C2 dans le plan de projection π parallèle au plan de capture d’image PCI du dispositif de surveillance 10, et b4) elle détermine la distance Δ séparant les images IC1, IC2 desdits deux points remarquables C1, C2 dans l’image bidimensionnelle capturée par le dispositif de surveillance 10.

Ainsi, selon la deuxième variante de mise en oeuvre, les moyens d’analyse du dispositif de suivi de mouvements 20 déterminent la position (X1, Y1, Z1), (X2, Y2, Z2) de deux points remarquables C1, C2 distincts dans le référentiel prédéterminé, de la même manière que lorsque la position d’un seul point remarquable est déterminée (blocs E2 et F1 de la figure 2).

Sous-étape b3) L’unité de commande 50 récupère dans une phase d’initialisation, l’orientation du plan de capture d’images PCI du dispositif de surveillance 10 préalablement mise en mémoire. On entend par « orientation », l’angle d’orientation dudit plan de capture d’images PCI, à avoir l’angle dudit plan de capture d’images par rapport au plan vertical contenant l’axe longitudinal du véhicule 1.

Elle projette ensuite virtuellement les deux points remarquables C1, C2 dans le plan de projection π parallèle au plan de capture d’images PCI, dont l’orientation est connue. L’unité de commande 50 détermine alors la distance |C1C2| séparant les projections des points remarquables dans le plan de projection (bloc F2 de la figure 2).

Sous-étape b4) L’unité de commande 50 reçoit l’image bidimensionnelle capturée par le dispositif de surveillance 10 et identifie dans cette image bidimensionnelle les images IC1, IC2 des deux points remarquables C1, C2 associés à la tête du conducteur 4. L’unité de commande 50 détermine alors la distance Δ séparant les images IC1, IC2 desdits deux points remarquables C1, C2 dans l’image bidimensionnelle capturée par le dispositif de surveillance 10 (bloc F3 de la figure 2). L’unité de commande 50 détermine enfin le rapport R de mise à l’échelle en divisant la distance réelle |C1C2| séparant les projections des points remarquables C1, C2 dans le plan de projection π par la distance Δ séparant les images IC1, IC2 des points remarquables C1, C2 dans l’image bidimensionnelle (bloc E4 de la figure 2).

Autrement dit, l’unité de commande 50 effectue le calcul suivant : IC1C21 R = ^-^, où |C1C2| est la distance réelle séparant les projections des deux points remarquables dans le plan de projection.

Selon cette deuxième variante, il est aussi possible d’itérer les étapes a) et b) avec d’autres points remarquables associés à la tête du conducteur 4, et, dans une étape additionnelle c), de déduire une grandeur corrigée représentative du rapport R entre ladite distance réelle de l’espace et ladite distance correspondante dans l’image bidimensionnelle.

Pour ce faire, les moyens d’analyse du dispositif de suivi de mouvements 20 déterminent la position, dans le référentiel prédéterminé, de paires de points remarquables associés à la tête du conducteur 4, distinctes de la paire de points remarquables C1, C2. Ces positions sont déterminées de la même manière que lorsque la position d’un seul point remarquable est déterminée par le dispositif de suivi de mouvements 20. L’unité de commande 50 détermine alors les distances réelles séparant les projections des points remarquables de chacune de ces paires de points remarquables, dans le plan de projection π, et identifie les images des points remarquables de chacune de ces paires de points remarquables dans l’image bidimensionnelle capturée par le dispositif de surveillance 10 pour déterminer la distance séparant ces images de points remarquables dans ladite image bidimensionnelle. L’unité de commande 50 détermine alors le rapport R de mise à l’échelle pour chaque paire de points remarquables, et en déduit un rapport corrigé Rc de mise à l’échelle, le rapport corrigé de mise à l’échelle étant calculé par exemple comme la moyenne des rapports R de mise à l’échelle obtenu pour chaque paire de points remarquables.

Quelle que soit la variante de mise en œuvre du procédé envisagée, l’unité de commande 50 communique au dispositif de surveillance 10 ledit rapport R de mise à l’échelle, ou le rapport corrigé Rc de mise à l’échelle, de sorte que ledit dispositif de surveillance 10 est calibré.

En pratique, le procédé de calibration est par exemple mis en œuvre à chaque démarrage du dispositif de surveillance 10. II peut aussi être mis en œuvre à intervalle de temps régulier lors de l’utilisation du dispositif de surveillance 10. Dans ce cas, le module de calibration 100 utilise des images bidimensionnelles de la tête du conducteur 4 et des images tridimensionnelles du conducteur 4 qui sont prises à des instants se correspondant temporellement, afin de garantir que le conducteur 4 n’ait pas bougé entre les captures d’images bidimensionnelles effectuées par le dispositif de surveillance en vue de la calibration et les captures d’images tridimensionnelles effectuées par le dispositif de suivi de mouvements pour cette calibration. En pratique, les images bidimensionnelle et tridimensionnelle utilisées par l’unité de commande 50 sont par exemple capturées simultanément par les moyens de capture d’images respectifs du dispositif de surveillance 10 et du dispositif de suivi de mouvements 20. En variante, il est envisageable que l’image bidimensionnelle soit capturée par les moyens de capture d’images du dispositif de surveillance 10 dans un intervalle de temps entourant l’instant de la capture de l’image tridimensionnelle par les moyens de capture d’images du dispositif de suivi de mouvements 20, ou inversement.

Le procédé selon l’invention permet ainsi d’augmenter la précision de détection du dispositif de surveillance, notamment la reconnaissance des points particuliers du visage du conducteur.

Selon d’autres perfectionnements de l’invention, en plus d’être nécessaire à la calibration automatique du dispositif de surveillance 10, le dispositif de suivi de mouvements 20 peut permettre des améliorations de l’utilisation dudit dispositif de surveillance 10.

Notamment, il est envisageable que l’unité de commande 50 commande l’extinction du dispositif de surveillance 10 lorsque la position de la tête du conducteur 4, déterminée à partir de l’image tridimensionnelle capturée par ledit dispositif de suivi de mouvements 20, est telle que la tête du conducteur 4 est en dehors du champ de capture d’images dudit dispositif de surveillance 10. II est aussi envisageable que le dispositif de suivi de mouvements 20 soit utile à une méthode de prédiction d’une position préliminaire de la tête du conducteur 4 dans l’image bidimensionnelle du dispositif de surveillance 10.

Pour ce faire, l’unité de commande 50 identifie la position dans le référentiel prédéterminé, de la tête du conducteur 4, à partir de l’image tridimensionnelle capturée par le dispositif de suivi de mouvements 20. L’unité de commande 50 ayant par ailleurs en mémoire la position du plan de capture d’images PCI des moyens de capture d’images du dispositif de surveillance 10, détermine une zone de l’image bidimensionnelle dans laquelle la tête du conducteur 4 est susceptible de se trouver. L’unité de commande 50 envoie alors au dispositif de surveillance 10 la position de cette zone dans l’image bidimensionnelle.

Cette méthode de prédiction permet au dispositif de surveillance 10 de détecter plus rapidement la tête du conducteur 4 dans les images bidimensionnelles qu’il capture, et donc de détecter plus rapidement les points particuliers du visage du conducteur 4 nécessaires à l’estimation de l’état de vigilance du conducteur 4.

Claims

REVENDICATIONS

1. Procédé de calibration d’un dispositif de surveillance (10) d’un conducteur (4) dans un véhicule (1) à l’aide d’un dispositif de suivi de mouvements (20) du conducteur (4), ledit dispositif de surveillance (10) étant adapté à capturer au moins une image bidimensionnelle de la tête du conducteur (4), selon lequel : a) à l’aide du dispositif de suivi de mouvements (20), on détermine la position (X1, Y1, Z1) dans l’espace d’au moins un point remarquable (C1) associé à la tête du conducteur (4), et, b) on déduit de ladite position (X1, Y1, Z1) du point remarquable (C1) déterminée à l’étape a), et d’une information relative à la position et/ou à l’orientation dans l’espace dudit dispositif de surveillance (10), une grandeur représentative du rapport (R) entre une dimension réelle de l’espace et une dimension correspondante dans l’image bidimensionnelle capturée par le dispositif de surveillance (10).
2. Procédé de calibration selon la revendication 1, selon lequel à l’étape b), ladite grandeur représentative du rapport (R) est déterminée comme l’une des dimensions de l’espace réel imagée par un pixel de ladite image bidimensionnelle capturée par le dispositif de surveillance (10).
3. Procédé de calibration selon l’une des revendications 1 et 2, selon lequel, à l’étape b), on met en œuvre les sous-étapes suivantes : b1) on détermine la distance (D) séparant un plan de capture d’image (PCI) du dispositif de surveillance (10) et un plan parallèle audit plan de capture d’image (PCI) et contenant ledit point remarquable (C1), et b2) on déduit ladite grandeur représentative du rapport (R) à partir de la distance (D) déterminée à l’étape b1).
4. Procédé de calibration selon l’une des revendications 1 et 2, selon lequel, à l’étape a), on détermine la position (X2, Y2, Z2) dans l’espace d’au moins un autre point remarquable (C2) associé à la tête du conducteur (4), et, à l’étape b), on met en œuvre les sous-étapes suivantes : b3) on détermine la distance (|C1 C2|) réelle séparant lesdits deux points remarquables (C1, C2) projetés dans un plan de projection parallèle à un plan de capture d’image (PCI) du dispositif de surveillance (10), et b4) on détermine la distance (Δ) séparant les images desdits deux points remarquables (C1, C2) dans l’image bidimensionnelle capturée par le dispositif de surveillance (10).
5. Procédé de calibration selon l’une des revendications 1 à 4, selon lequel, à l’étape a), la position (X1, Y1, Z1) dans l’espace du point remarquable (C1) est déterminée à partir d’une image tridimensionnelle du conducteur (4) capturée par le dispositif de suivi de mouvements (20).
6. Procédé de calibration selon la revendication 5, selon lequel, dans l’image tridimensionnelle du conducteur (4), l’image de la tête du conducteur (4) est assimilée à une forme géométrique tridimensionnelle prédéterminée, et la position dans l’espace (X1, Y1, Z1) du point remarquable (C1) est déterminée en fonction de ladite forme géométrique.
7. Procédé de calibration selon l’une des revendications 1 à 6, selon lequel on itère les étapes a) et b) avec d’autres points remarquables associés à la tête du conducteur (4), et, dans une étape additionnelle c), on déduit une grandeur corrigée représentative du rapport (R) entre ladite dimension réelle de l’espace et ladite dimension correspondante dans l’image bidimensionnelle.
8. Module de calibration (100) d’un dispositif de surveillance (10) d’un conducteur (4) dans un véhicule (1), comportant : - un dispositif de suivi de mouvements (20) du conducteur (4) adapté à déterminer la position (X1, Y1, Z1) dans l’espace d’au moins un point remarquable (C1 ) associé à la tête du conducteur (4), et - une unité de commande (50) programmée pour déduire de ladite position (X1, Y1, Z1) du point remarquable (C1) associé à la tête du conducteur (4), et d’une information relative à la position et/ou à l’orientation dans l’espace dudit dispositif de surveillance (10), une grandeur représentative du rapport (R) entre une dimension réelle de l’espace et une dimension correspondante dans l’image bidimensionnelle capturée par le dispositif de surveillance (10).
9. Module de calibration (100) selon la revendication 8, dans lequel le dispositif de suivi de mouvements (20) comprend une unité de capture d’images à temps de vol et/ou une unité de capture d’images stéréoscopique, et/ou une unité de capture d’images à lumière structurée.
10. Module de surveillance d’un conducteur (4) dans un véhicule (1) comprenant un dispositif de surveillance (10) adapté à capturer au moins une image bidimensionnelle de la tête du conducteur (4), et un module de calibration (100) selon l’une des revendications 8 et 9.