FR3062938A1 - Dispositif et procede d'analyse du regard en temps reel - Google Patents
Dispositif et procede d'analyse du regard en temps reel Download PDFInfo
- Publication number
- FR3062938A1 FR3062938A1 FR1700159A FR1700159A FR3062938A1 FR 3062938 A1 FR3062938 A1 FR 3062938A1 FR 1700159 A FR1700159 A FR 1700159A FR 1700159 A FR1700159 A FR 1700159A FR 3062938 A1 FR3062938 A1 FR 3062938A1
- Authority
- FR
- France
- Prior art keywords
- subject
- scene
- gaze
- head
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004458 analytical method Methods 0.000 title claims description 10
- 238000005259 measurement Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 5
- 210000003128 head Anatomy 0.000 claims description 63
- 210000001747 pupil Anatomy 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000011521 glass Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 25
- 238000012549 training Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000027455 binding Effects 0.000 description 1
- 238000009739 binding Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Eye Examination Apparatus (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
La présente invention concerne un dispositif et un procédé permettant d'analyser en temps réel le regard d'un sujet observant une scène. Le dispositif comprend : - un système de suivi des yeux apte à fournir des informations sur la direction d'au moins un œil du sujet dans un repère de mesures lié au dispositif ; - un système de mesure de posture de tête apte à fournir des informations sur la position et l'orientation de la tête du sujet dans un repère de mesures lié à la scène observée par le sujet; - un système de capture vidéo apte à fournir un flux vidéo instantané de la scène observée par le sujet; et - un système de traitement de données en communication avec les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, configuré pour combiner les informations produites par les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, et pour calculer en temps réel la direction du regard du sujet dans le repère de mesures lié à la scène observée par le sujet.
Description
Domaine technique
L’invention concerne le domaine de l’analyse du regard, et en particulier concerne un dispositif et un procédé permettant la capture, la mesure et l’analyse en temps réel du regard d’une personne.
Etat de la technique
II existe de nombreux dispositifs et méthodes permettant la capture et la mesure du regard d’un sujet que ce soit au cours d’une mission opérationnelle ou pendant une formation ou un entrainement. Une application particulièrement intéressante est celle de l’évaluation du comportement d’un sujet opérant dans un environnement de poste de pilotage, que ce soit un poste de conduite terrestre ou aérien, de type cockpit d’avion ou d’hélicoptère.
On peut citer les dispositifs « REGT » (Remote Eye Gaze Tracker) utilisés pour regarder des écrans plats et destinés à mesurer précisément où le regard du sujet est posé sur un tel écran. Bien que ces instruments de mesures soient assez précis, la couverture angulaire de rotation et de position de la tête reste très limitée, et ils ne permettent pas de faire des mesures lorsqu’une personne dans un cockpit regarde un piédestal ou un plafonnier ou regarde latéralement, car il faudrait ajouter des marqueurs dans l’environnement opérationnel de travail.
Des solutions basées sur des installations avec des caméras fixes par rapport à un cockpit et situées face au sujet à observer, connues comme « Outside-in tracking », permettent d’une part de détecter la position et l’orientation de la tête dans le repère des caméras fixes, et d’autre part de détecter la position et la taille de la pupille et l’orientation du regard relativement à la tête du sujet, puis par construction de remettre ces mesures dans le repère des caméras fixes. Ce type de dispositif est efficace lorsque le sujet reste dans une couverture angulaire déterminée et restreinte, du fait du nombre de caméras fixes à poser dans l’environnement. II est donc contraint en couverture angulaire de l’orientation de la tête d’une part et en volume de capture de la position de la tête d’autre part, par le nombre de caméras disposées dans l’environnement de travail, qui dans les dispositifs actuels sont de 4 à 8. Aussi pour augmenter la couverture angulaire, il faudrait intégrer des caméras supplémentaires dans la zone à couvrir, ce qui peut perturber l'environnement opérationnel, que ce soit un cockpit ou un poste de conduite. Par ailleurs, ce type de dispositif est sensible au port de lunettes avec verres correcteurs qu’un sujet aurait à porter.
II existe aussi des solutions basées sur des dispositifs composites. On peut citer les solutions composées d’une part par un dispositif de suivi du regard ou « eyetracking » basé sur des caméras fixées sur une monture portée par un sujet et d'autre part par un dispositif de suivi de posture de la tête ou « head-tracking ». Les caméras fixées sur la monture fournissent une orientation du regard et une position et une taille de la pupille par rapport au repère de la monture. Le dispositif de « head-tracking » est basé sur des caméras fixées dans la scène où le sujet évolue (« outside-in tracking») avec des marqueurs (en général des leds) posés sur la monture de lunettes qui sont détectés par ces caméras fixes et qui déterminent la position de la tête dans le repère de ces caméras fixes. Par combinaison des deux mises en repère monture et scène, la position du regard et de la pupille dans le repère des caméras fixes sont calculés. Bien que ce type de solution permette une bonne couverture avec un nombre relativement réduit de caméras fixes, néanmoins cela nécessite d’intégrer des caméras dans la zone à couvrir, ce qui peut perturber l’environnement, que ce soit un cockpit ou un poste de conduite.
II existe d’autres solutions composites formées d’une part par un dispositif de « eye-tracking » basé sur des caméras fixées sur une monture portée par un sujet et fournissant une orientation du regard et une position de la pupille par rapport au repère de la monture, et d’autre part par un dispositif de « head-tracking » basé sur une caméra fixée sur la tête du sujet (on parle de « inside-out tracking ») avec des marqueurs posés dans la scène où évolue le sujet et qui déterminent la position de la tête dans le repère de ces marqueurs fixes. Par combinaison de ces deux mises en repère monture et marqueurs, la position du regard et de la pupille dans le repère des marqueurs fixes sont calculés. Bien que ce type de dispositif permette une très bonne couverture avec uniquement des marqueurs positionnés dans l’environnement où se situe le sujet, néanmoins l’ajout de ces marqueurs peut perturber l’environnement, que ce soit un cockpit ou un poste de conduite.
D’autres solutions composites sont formées d’une part par un dispositif de « eyetracking » basé sur des caméras fixées sur une monture portée par un sujet et fournissant une orientation du regard et de la position de la pupille par rapport au repère de la monture, et d’autre part par une caméra positionnée sur la monture et orientée vers l’avant, caméra dite égocentrique, fournissant une vidéo du champ d’observation par le sujet et sur laquelle un point localisant la position du regard peut être positionné après traitement. La vidéo de la caméra égocentrique peut être exploitée pour faire un traitement vidéo de recalage dans la scène sans marqueurs. Même si un tel dispositif permet de faire un recalage dans le repère de la scène, néanmoins il ne fonctionne pas en temps réel mais en traitement décalé. Ainsi il ressort que les solutions existantes ne permettent pas d’exploiter la vidéo d’une caméra égocentrique pour faire des traitements de recalage temps réel, parce que le champ de la caméra est trop petit, en particulier pour les utilisations de cockpit d’hélicoptères qui comportent de grandes zones vitrées transparentes sans élément de cabine qui soit visible par la caméra frontale.
Ainsi, il existe un besoin pour un dispositif et une méthode de capture, de mesure et d’analyse du regard qui fournisse en temps réel, un positionnement d’un point regardé par un sujet, dans le repère d’une scène, sans avoir à réaliser d’intervention ou d’installation particulière qui modifie ou altère l’environnement dans lequel évolue le sujet (un cockpit ou un poste de conduite).
Il existe aussi le besoin d’un dispositif facilement acceptable par un sujet, qui ne le gêne pas ni ne l’entrave dans son comportement dans le cadre d’un entrainement par exemple, afin de ne pas créer de biais vis-à-vis d’une situation réelle.
Par ailleurs, il existe un besoin pour un dispositif et une méthode de capture, de mesure et d’analyse en temps réel du regard qui permette pendant la formation et l’entrainement de pilotes, une couverture totale d’un cockpit ou d’un poste de conduite, en particulier les cockpits d’hélicoptère. En effet, l’analyse des données des systèmes existants est très souvent destinée à un usage de dépouillement ultérieur, soit pour des recherches sur le comportement humain, en vue de la conception d’objets industriels (automobiles, aéronefs), soit pour des études d’intérêt de personnes pour des objets dans un environnement où elles évoluent (comme par exemple des études visant la disposition de produits dans des surfaces de vente). L’analyse des données n’est en général pas faite en temps réel durant une session opérationnelle pour une exploitation immédiate. Cependant, dans le domaine de la formation et de l’entrainement de pilotes où il existe un besoin pour la réalité augmentée et la réalité virtuelle, il est nécessaire de pouvoir faire du traitement temps réel de la direction du regard, afin de désigner un objet d’une scène avec le regard, soit pour demander son identification rapide via un service déporté, soit pour effectuer une action immédiate sur l’objet visé (par exemple,· modifier virtuellement l’état d’un interrupteur réel ou virtuel vu dans un « Head Mounted Display » (HMD)), ou encore pour mémoriser sa position pour un service déporté (par exemple, mémoriser ia localisation d’une cible pour la détruire ou pour la suivre).
Quelques approches de calcul temps réel sont étudiées, mais les solutions soit nécessitent de positionner dans la scène observées des caméras ou des marqueurs qui peuvent modifier l’environnement, avec le risque associé de la perte de certification pour des simulateurs de formation et d’entrainement déjà certifiés. L’ajout de caméras et marqueurs peut influer et perturber le comportement du sujet dans son environnement, amenant une gêne ou des éléments non réalistes de l’environnement réel. Des solutions de laboratoire fonctionnelles ne sont pourtant pas assez précises ou peu fiables et fonctionnent à des fréquences trop faibles, et ne peuvent être utilisables en pratique par un équipage d’aéronef car étant trop encombrantes.
La présente invention propose de répondre aux besoins précités.
Résumé de l’invention
Un objet de la présente invention est de proposer un dispositif et une méthode pour permettre la capture, la mesure et l’analyse en temps réel du regard d’un sujet.
Avantageusement, le principe général de l’invention consiste à effectuer un recalage en 3D et en temps réel dans la scène où évolue un sujet sans ajout de marqueurs, et sans modification de l’environnement.
Avantageusement, le dispositif de l’invention n’utilise pas de marqueurs ajoutés à l’environnement et permet d’exploiter des points caractéristiques existant naturellement dans les environnements de cockpit, cabines d’aéronef ou postes de pilotage, tels que des contrastes de matériaux, la boutonnique, les équipements, ....
Avantageusement, le recalage dans le repère de la scène est effectué à partir de l’exploitation d’un flux vidéo issu de caméras égocentriques intégrées au dispositif de l’invention.
L’invention a ainsi pour objet un dispositif allégé de type monture qui peut être porté par un sujet, équipé de caméras qui suivent le regard du sujet portant la monture, d’une ou plusieurs caméras égocentriques orientées vers l’environnement extérieur, couplé à un module de traitement de données ou calculateur qui est apte à analyser et combiner en temps réel les informations issues des captures des caméras et à effectuer un recalage en 3D dans le repère de la scène observée par le sujet.
L’invention trouvera des applications avantageuses dans les domaines du contrôle d’équipage, dit « Crew Monitoring », comme nouveau service pour le contrôle, l’analyse et l’évaluation du comportement d’un équipage. Le dispositif de l’invention peut être utilisé dans des simulateurs de pilotage existants sans avoir à dégrader ou à altérer les capacités et la certification du simulateur.
Ainsi, l’invention a ainsi pour objet un dispositif pour analyser en temps réel le regard d’un sujet observant une scène, le dispositif comprenant :
- un système de suivi des yeux apte à fournir des informations sur la direction d’au moins un œil du sujet dans un repère de mesures lié au dispositif ;
- un système de mesure de posture de tête apte à fournir des informations sur la position et l’orientation de la tête du sujet dans un repère de mesures lié à la scène observée par le sujet;
- un système de capture vidéo apte à fournir un flux vidéo instantané de la scène observée par le sujet; et
- un système de traitement de données en communication avec les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, configuré pour combiner les informations produites par les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, et pour calculer en temps réel la direction du regard du sujet dans le repère de mesures lié à la scène observée par le sujet.
Selon des modes de réalisation, le dispositif de l’invention peut comprendre :
- un système de suivi des yeux qui comprend au moins une caméra dirigée vers la pupille d’au moins un œil permettant la capture de la position de l’œil ;
- un système de mesure de posture de tête qui comprend au moins une caméra égocentrique dirigée vers une zone prédéfinie de repérage dans la scène observée par le sujet ;
- un système de capture vidéo qui comprend une caméra égocentrique dirigée vers l’avant pour faire une capture vidéo du point de vue du sujet ;
- un système de suivi des yeux, un système de mesure de posture de tête et un système de capture vidéo, intégrés sur une monture de type lunettes ou sur une monture de type serre-tête ;
- un système de traitement de données couplé de manière filaire ou non-filaire aux systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo ;
- un système de traitement de données qui comprend un processeur configuré pour synchroniser les informations fournies par les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, pour les fusionner et déterminer en temps réel un point de la scène regardé par le sujet ;
- un système de traitement de données en communication avec un poste de visualisation distant ;
Selon des modes de réalisation, le poste de visualisation distant comprend une interface homme-machine apte à afficher la scène sous la forme d’un modèle tridimensionnel. Dans une variante, le point regardé qui est calculé par le processeur est affiché sur le modèle tridimensionnel.
Dans une implémentation particulière, le dispositif est utilisé dans un cockpit d’aéronef.
L’invention couvre aussi un procédé pour analyser en temps réel le regard d’un sujet observant une scène, le procédé comprenant les étapes suivantes:
- générer par un système de suivi des yeux agencé sur un support porté par le sujet, des informations sur la direction d’au moins un œil du sujet dans un repère de mesures lié au support;
- générer par un système de mesure de posture de tête, des informations sur la position et l’orientation de la tête du sujet dans un repère de mesures lié à la scène observée par le sujet;
- générer par un système de capture vidéo, un flux vidéo instantané de la scène observée par le sujet; et
- combiner les informations produites par les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, pour calculer en temps réel la direction du regard du sujet dans le repère de mesures lié à la scène observée par le sujet.
Selon des variantes d’implémentation du procédé:
- l’étape de générer des informations sur la direction d’au moins un œil comprend l’utilisation d’algorithme de « mapping »,
- l’étape de générer des informations sur la position et l’orientation de la tête du sujet comprend l’utilisation d’algorithme basé sur la localisation et la cartographie simultanée ;
- l’étape de générer des informations sur la position et l’orientation de la tête du sujet comprend l’utilisation d’un algorithme de fusion de capteurs à filtre de Kalman ;
- l’étape de calculer la direction du regard du sujet dans le repère de mesures lié à la scène observée consiste à déterminer un point de la scène regardé par le sujet ;
- une étape permet de représenter symboliquement le point regardé dans le flux vidéo ;
- une étape initiale incluant une étape de modélisation et une étape de calibration est réalisée. L’étape de modélisation permet de générer un modèle tridimensionnel de la scène, et l’étape de calibration permet de calibrer les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo ;
- une étape permet de représenter le point regardé sur le modèle tridimensionnel.
L’invention couvre aussi un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé d’analyse en temps réel du regard d’un sujet observant une scène, lorsque ledit programme est exécuté sur un ordinateur.
Description des figures
Différents aspects et avantages de l'invention vont apparaître en appui de la description d’un mode préféré d’implémentation de l’invention mais non limitatif, avec référence aux figures ci-dessous :
La figure 1 illustre schématiquement le dispositif de l’invention selon un mode de réalisation lunette;
La figure 2 illustre schématiquement le dispositif de l’invention selon un mode de réalisation serre-tête;
La figure 3 montre des enchaînements d’étapes du procédé de capture d’une scène selon un mode de réalisation;
La figure 4 montre des enchaînements d’étapes du procédé de l’invention selon un mode de réalisation ;
La figure 5 illustre schématiquement l’utilisation du dispositif de l’invention selon la figure 1 dans un environnement de cockpit.
Description détaillée de l’invention
D’une manière générale, la problématique résolue par l’invention est celle de fournir un dispositif léger permettant la capture, la mesure et l’analyse en temps réel du regard d’un sujet, sans recourir à des ajouts de matériel ou de marqueurs dans l’environnement d’évolution. La légèreté du dispositif et sa non-intrusivité dans la scène le rendent facilement intégrable dans tout environnement d’instruction et de formation, même dans des aéronefs en vol. Le dispositif permet de plus, dans le cadre d’une session d’entrainement ou de formation, l’affichage de l’impact de la direction du regard sur la scène, vue d’un observateur, qui peut être situé à une position et une orientation quelconques dans ou en dehors de la scène. La restitution temps réel de l’analyse du regard du sujet lui apporte une compréhension dans la répartition des zones observées, dans l’enchaînement de ses actions et de sa maîtrise des procédures et de la situation. La restitution temps réel de l’analyse du regard fournie à l’instructeur lui permet de réagir au cours de l’exercice. Dans le cadre de la description, on définit la restitution temps réel comme étant la capacité à restituer dans un temps permettant à un instructeur de réagir à chaud au cours d’un exercice de formation ou d’entraînement en exécution, et de réagir sur le scénario en cours. L’ordre de grandeur de cette capacité temps-réel peut varier de quelques dizaines de millisecondes à quelques secondes (voire minutes) en fonction du dispositif de restitution envisagé et des grandeurs et indicateurs utilisés pour remonter l’information pertinente à l’instructeur. La restitution peut comporter à la fois des paramètres bruts, et des paramètres composés à partir des paramètres bruts et calculés sur des fenêtres temporelles. Elle permet ainsi à l’instructeur de disposer des informations qui lui permettent de réagir directement au cours de l’exercice/session et d’apporter des évolutions dans le déroulé de l’exercice, des recommandations, des alertes, etc. permettant ainsi plus facilement d’adapter la session de formation au comportement de l’élève et de lui prodiguer des conseils.
D’une manière générale, le dispositif de l’invention peut être implémenté comme un système portable par un sujet, qui peut prendre diverses formes. Deux exemples sont décrits, pour expliquer les principes de l’invention, mais ne sont pas limitatifs, et d’autre formes de réalisation peuvent être déclinées. Ainsi, la figure 1 illustre schématiquement un dispositif (100) de mesure temps réel du regard selon un mode de réalisation de l’invention de type lunette. La forme, le design de la lunette représentée en figure 1 sont simplifiés pour permettre une description claire des caractéristiques du dispositif de l’invention.
Il n’est pas détaillé la structure d’une lunette (ou paire de lunettes) qui comprend généralement deux zones dans une partie frontale (102) de la monture (pour insérer des verres dans le cadre d’un paire de lunette correctrice ou solaire), et des branches (104) qui sont reliées à la partie frontale. La partie frontale (102) comprend généralement un pontet central (106) qui prend appuie sur le nez. Dans l’exemple du dispositif de l’invention, la configuration de la lunette permet qu’elle soit portée de manière stable par un sujet. Les éléments peuvent être réalisés dans des matériaux plastiques ou métalliques ou autres permettant l’insertion de capteurs et autres composants du dispositif.
Le dispositif (100) comprend un système de suivi des yeux apte à effectuer une mesure de la direction de chaque œil, composé d’une caméra (108, 110) pour suivre chaque œil. Chaque caméra est positionnée sur la lunette de manière à être dirigée vers la pupille et permettre la capture de la position respective d’un œil. Dans une réalisation préférentielle, les caméras sont disposées sur la partie inférieure de la monture.
Selon les modes de réalisation, les caméras de suivi des yeux sont des caméras configurées pour utiliser le spectre visible dans le cas d’un procédé de mesure basé sur l’analyse d’image sans source de lumière spécifique. Alternativement, elles peuvent être configurées pour utiliser le spectre infrarouge proche du visible dans le cas de l’utilisation d’une source de lumière externe (source fournie par exemple par des « led » (Light Emitting Diode) Infrarouge générant des éclairs ou « glints » en anglais permettant d’obtenir des mesures plus précises.
Le dispositif (100) comprend aussi un système de mesure de la posture de la tête, qui est composé d’au moins une caméra égocentrique (114, 116) positionnée sur la lunette de manière à être dirigée vers une zone prédéfinie de repérage dans la scène observée par le sujet. La zone de repérage peut être définie comme étant une zone dans le haut de la scène ou au-dessus de la tête du sujet. Le système de mesure de la posture de la tête permet de faire la mesure de la position et de l’orientation de la tête du sujet dans le repère de la scène relativement à une zone de repérage prédéfinie.
Le dispositif (100) comprend aussi une caméra égocentrique (112) disposée en partie centrale avant (106) de la monture, sur le plan médian entre les deux yeux du sujet. La caméra (112) est dirigée vers l’avant pour faire une capture vidéo du point de vue de l’observateur. Dans un mode de réalisation, la caméra centrale (112) peut servir aussi à faire la mesure de la position et de l’orientation de la tête, en particulier pour les cas où la focale est suffisamment courte, ou pour certaines configurations de scène où les éléments opaques occupent un volume important.
Selon les modes de réalisation, les caméras égocentriques peuvent être des caméras courtes focales dans le domaine spectral visible ou proche infrarouge, ou des Z caméras courtes focales donnant une information de distance de la scène sur chaque pixel (LIDAR), ou des caméras « Light Field Area » donnant une information de la direction d’arrivée du rayon optique sur chaque pixel de la caméra.
Dans un mode de réalisation particulier où la vitesse des caméras de mesure de la posture de la tête est insuffisante pour obtenir des temps de réponse souhaités (par exemple < 200Hz), une microcentrale inertielle « IMU » (118) composée d’un gyroscope 3 axes et d’un accéléromètre 3 axes, peut être ajoutée au dispositif de l’invention et intégrée dans la monture. Dans les applications où le simulateur est une plateforme qui bouge, l’usage d’une IMU dans la monture peut nécessiter l’ajout d’une seconde IMU fixée sur la cabine pour améliorer les mesures des mouvements de la cabine. La différence de mesure entre les 2 IMUs permet de corriger les erreurs de mesures inertielles introduites par les mouvements de la cabine. Une alternative à l’ajout d’une seconde microcentrale inertielle peut consister à utiliser des informations de position et d’orientation temps réel de la cabine par rapport au référentiel inertie! fournies par un autre dispositif de mesure.
Le dispositif de l’invention comprend aussi un système de traitement de données en communication avec les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo apte à recevoir et combiner les informations produites par les différents capteurs. Le système de traitement de données peut être un processeur de calcul embarqué couplé aux différents capteurs de manière filaire ou sans-fil (selon des technologies connues de type WiFi, RFID par exemple) configuré pour calculer en temps réel la direction du regard du sujet dans le repère de mesure lié à la scène observée par le sujet.
Le système de traitement de données peut être intégré dans un boitier directement attaché à la monture ou être placé dans le cockpit de manière à ne pas entraver les mouvements du sujet.
La figure 2 illustre schématiquement sous une vue de profil un dispositif (200) de mesure temps réel du regard selon un mode de réalisation de l’invention de type serretête. Le serre-tête est généralement maintenu sur la tête du sujet par un serrage arrière (202) et un appui frontal (204). Dans cette variante d’implémentation, le dispositif est fixé par le haut sur la structure du serre-tête, et comprend un système de suivi des yeux apte à effectuer une mesure de la direction de chaque œil, composé d’au moins une caméra (108) dirigée vers la pupille pour suivre les mouvements d’un œil et permettre la capture de la position respective de l’œil. Bien que non illustré, dans une variante de réalisation, une deuxième caméra peut être positionnée de manière symétrique pour suivre les mouvements du deuxième œil. Le dispositif (200) comprend aussi un système de mesure de la posture de la tête, composé d’au moins une caméra égocentrique (114, 116) positionnée sur la monture de manière à être dirigée vers le haut de la scène que le sujet va observer ou au-dessus de sa tête. Le système de mesure de la posture de la tête permet de faire la mesure de la position et de l’orientation de la tête du sujet dans le repère de la scène. Le dispositif (200) comprend aussi une caméra égocentrique (112) dirigée vers l’avant pour faire une capture vidéo du point de vue de l’observateur. La caméra égocentrique de capture de flux vidéo peut être disposée dans le plan vertical d’un œil pour les réalisations de type monoculaire ou être positionnée dans un plan vertical médian entre les deux yeux du sujet pour les réalisations de type binoculaire.
La figure 3 montre des enchaînements d’étapes du procédé (300) de capture d’une scène selon un mode de réalisation. Une phase de préparation (dite « off-line ») relative à l’environnement où va évoluer un sujet, est opérée avant la mise en œuvre (ou phase « on-line ») du procédé de mesure du regard en temps réel, décrit en référence à la figure 4. Cette phase de préparation consiste en la capture de la scène qui va être la scène observée par le sujet et sur laquelle portera son regard. Le procédé de capture de la scène comporte une étape (302) d’acquisition d’un modèle tridimensionnel (3D) de la totalité de la scène. Dans le cas d’un cockpit, l’intégralité de la scène couvre la planche de bord, le plafonnier, le piédestal, mais également la verrière, les parois latérales, et l’arrière du cockpit. L’étape (302) permet l’acquisition d’un modèle précis, avec une précision pouvant être millimétrique pour la mesure de la posture de la tête, couvrant l’ensemble de la scène d’opération. Le modèle 3D de la scène sert ultérieurement d’objet virtuel de référence lors de l’étape du recalage de la posture de la tête du sujet (détaillé en référence à la figure 4). Dans un mode de réalisation, l’acquisition du modèle 3D peut être réalisée à partir d’un Scan 3D.
Avantageusement, le modèle 3D généré sert de plus comme objet d’affichage 3D synthétique sur une interface homme-machine (IHM) dans lequel il est possible d’ajouter des éléments qui peuvent être utiles à un instructeur ou à un opérateur chargé d’exploiter les données analysées par le processeur.
Dans une étape suivante (304) du procédé, des zones d’intérêt sont représentées sur le modèle 3D généré à l’étape précédente. Dans un mode de réalisation, les zones d’intérêt sont représentées sous forme de surfaces labellisées. Les surfaces labellisées représentent une segmentation de la scène correspondant à des éléments pour lesquels le procédé de mesure du regard en temps réel, déterminera s’ils sont instantanément regardés. Dans le cas d’un cockpit, les zones labellisées peuvent correspondre à des parties du tableau de bord, à des instruments, à des secteurs aperçus au travers de la verrière, à des zones occupées par les autres membres d’équipage, etc. Les zones d’intérêt peuvent être définies selon l’application et la scène où évolue le sujet. Cette étape (304) permet d’obtenir un modèle 3D labellisé de la scène d’opération.
Le procédé de capture de la scène comprend aussi une étape (306) d’acquisition d’une image photographique de la totalité de la scène d’opération. Des photo-textures sont créées dans une étape suivante (308). Avantageusement, pour que les phototextures soient les plus réalistes possibles elles sont créées sous plusieurs ambiances : ambiance de jour et ambiance de nuit, par exemple. D’autres conditions peuvent être prévues, comme ambiances de jour plus ou moins ensoleillé, nuageux, pluvieux, etc, ambiances de soleil levant, soleil couchant, ambiances de nuit avec et sans lune, etc.
Dans une étape suivante (310), les photo-textures sont combinées avec le modèle 3D labellisé (304).
Le procédé permet ensuite (312) de générer un objet 3D photo réaliste dans un repère unifié de la scène, dans différentes conditions d’éclairage. Cet objet est alors en cohérence directe avec la mesure du regard qui est effectué selon le procédé de l’invention dans ce même repère de la scène. Le modèle peut être transmis sur un poste déporté et ainsi en phase opérationnelle, être observé par un instructeur quelquesoit l’angle de vue et la position du point d’observation.
La phase de préparation consiste aussi en une phase de calibration du dispositif de l’invention. La calibration couvre la calibration des composants matériels et logiciels. Elle consiste à calibrer les caméras dirigées sur la pupille, la ou les caméras egocentriques, le dispositif de mesure de la position et orientation de la tête dans le repère de la scène. Dans l’implémentation avec microcentrale inertielle, la calibration couvre la micro centrale inertielle de la monture ou de la tête et celle de la microcentrale inertielle attachée à la scène. La calibration porte aussi (via la position de la pupille et des « glints » et éventuellement via un modèle de l’œil théorique initial) sur l’algorithme qui permet de mesurer la direction du regard dans le repère de la monture La calibration porte aussi sur l’algorithme de transformation de la mesure de la direction du regard du repère de la monture ou de la tête dans le repère de la scène.
La figure 4 montre selon un mode de réalisation, des enchaînements d’étapes du procédé (400) de l’invention pour la mesure du regard en temps réel. D’une manière générale, les étapes de calcul sont opérées par le système de traitements de données embarqué et selon le principe de l’invention, le procédé permet après la capture instantanée d’un ensemble de paramètres du regard, le recalage en temps réel de cette capture vis-à-vis du repère de la scène où évolue un sujet dont le regard est mesuré.
Dans une première étape (402), le procédé permet la capture de la position des yeux (ou au moins d’un œil) par rapport à la monture à l’aide de la caméra correspondante (108, 110) positionnée dans la partie inférieure de la monture. La capture des données se fait de manière préférentielle à une fréquence de 60 ou 120 Hz. Les informations capturées concernent à la fois la direction des yeux, mais également les paramètres intrinsèques de l’œil, tels que l’ouverture, la dilatation de la pupille, le clignement de l’œil, etc. Cette étape permet de renseigner sur la direction des yeux dans le référentiel de la monture (type lunette ou autre support constituant le référentiel porté par le sujet).
Le calcul de la direction des yeux peut être effectué selon différentes techniques algorithmiques, par exemple celles dites de « mapping 2D-2D, ou 3D-3D ou 2D-3D, décrites dans l’article de Mansouryar et al. 2016, « 3D Gaze Estimation from 2D Pupil Positions on Monocular Head-Mounted Eye Trackers ».
Dans une étape simultanée (404), le procédé permet la capture des vidéos des caméras égocentriques (114, 116) du système de mesure de la posture de la tête installées sur la monture, pour calculer en temps réel la posture de la monture et donc de la tête (en orientation et en position) dans le repère de la scène. Différentes méthodes ou algorithmes connus peuvent être utilisés pour effectuer ce calcul.
Une première technique est basée sur la localisation et la cartographie simultanée comme par exemple, la méthode « SLAM » pour Simultaneous Localization And Mapping en anglais ou la méthode « CML » pour Concurrent Mapping and Localization en anglais, qui peut être assistée et accélérée avec l’aide du modèle 3D de la scène déjà construit.
Une autre approche peut consister à se baser uniquement sur le modèle 3D photoréalisme et effectuer un calcul de pose sans utiliser de localisation basée sur l'historique des images vidéo, mais utiliser une localisation basée sur une seule image vidéo.
Il est à noter que l’utilisation de plusieurs caméras permet d’améliorer la précision des mesures et la fiabilité.
Avantageusement, l’utilisation d’un algorithme de fusion de capteurs à filtre de
Kalman permet d’obtenir une précision égale à celle obtenue par le calcul de la posture de la tête par la caméra vidéo, mais elle est augmentée d’un temps de réponse et d’une fréquence d’échantillonnage équivalent à celui d’une centrale inertielle.
Ainsi, cette étape (404) permet de fournir des informations sur la posture de la tête (ou la monture portée par le sujet) dans le référentiel de la scène.
Dans une étape simultanée (406), le procédé permet la capture vidéo par la caméra égocentrique centrale (112) du point de vue du sujet. La capture de la vidéo se fait de manière préférentielle à une fréquence de 24 ou 30 Hz, mais peut aussi se faire à des fréquences supérieures. Cette étape permet d’obtenir un flux vidéo instantané dans la direction de la tête, la caméra égocentrique étant positionnée sur la monture.
Les étapes de captures des paramètres relatifs aux yeux, à la tête et de vidéo sont effectuées par les différents capteurs intégrés à une monture (40).
Dans une étape suivante (408) opérée par le processeur embarqué (50), le procédé permet de faire en temps réel un calcul de changement de repère de la direction du regard. En utilisant les informations issues des capteurs yeux, tête et vidéo, le procédé permet de recaler les deux vecteurs de direction des yeux calculés lors de l’étape de détermination de la direction des yeux, afin de déterminer la direction du regard dans le repère de la scène, et déterminer un point regardé.
Ainsi, le procédé proposé permet par un traitement temps réel de déterminer la position du regard d’un sujet, contrairement à la plupart des procédés connus pour les dispositifs portés qui n’effectuent pas la restitution d’un point observé en temps réel, mais dans une phase ultérieure à la session, en dépouillement. Par ailleurs, le procédé de l’invention permet un recalage de la position du point regardé dans le repère de la scène, contrairement à la plupart des procédés connus pour des dispositifs portés qui recalent dans le repère local de la monture, le point regardé dans une image. Avantageusement, le procédé temps réel de l’invention opère sans avoir recours à l’installation d’éléments ou de marqueurs ou de matériel (capteur, caméra) modifiant la scène observée. L’utilisation d’une caméra égocentrique installée sur la monture pour réaliser le recalage dans le repère de la scène associée aux traitements des différentes données relevées, permet par le traitement effectué par le processeur, le recalage dans le repère de la scène sans marqueur.
Dans des étapes suivantes (410, 412), le procédé permet d’incruster en temps réel dans le flux vidéo de la caméra égocentrique frontale et sur le modèle photo réaliste 3D qui est affiché sur un poste distant, le point d’intersection de la direction du regard avec la scène. L’impact du regard peut être représenté sur la vidéo symboliquement par un point ou par toute autre forme, par des techniques conventionnelles que l’homme du métier peut appliquer. Sur la représentation 3D du cockpit, l’impact du regard peut être représenté par un point en surbrillance par exemple ou par une surbrillance de l’élément regardé (instrument ou autre), aussi par des techniques conventionnelles. D’autres paramètres utiles comme une carte de chaleur des fixations ou des saccades peuvent être représentés sur l’interface de l’observateur (ou l’instructeur) qui observe une scène dynamique 3D synthétique de la position, avec un angle modifiable en temps réel.
La figure 5 illustre de manière schématique un cockpit (500), où un pilote (ou copilote) porte une monture de type lunette équipée du dispositif de l’invention (100). Le cockpit dans l’exemple choisi, comprend deux sièges de pilotages. Bien que l’illustration ne montre qu’un seul pilote équipé d’une monture, l’homme du métier peut étendre les principes décrits à une utilisation par chacun des pilotes. Le cockpit comprend aussi sur un tableau de bord (502) des écrans d’affichage (504-1 à 502-n), des actuateurs, des manettes et autres instruments conventionnels d’un poste de pilotage. Pour la phase de préparation et de capture de la scène pour l’acquisition du modèle 3D, la scène considérée est constituée par l’environnement du pilote et couvre le tableau de bord (502), le plafonnier (506), la verrière (508), les parois latérales (510), la console centrale (512), le plancher, l’arrière du cockpit. Les zones d’intérêt qui sont représentées sous forme de surfaces labellisées correspondent à des éléments de l’environnement, et peuvent être des parties du tableau de bord, des instruments, des zones visibles derrière la verrière, une zone occupée par un autre pilote, etc.. Le dispositif de l’invention porté par le pilote permet par l’analyse des mesures fournies par les différents capteurs (suivi des yeux, posture de tête, flux vidéo instantané) au processeur embarqué (non illustré) de déterminer en temps réel la direction du regard du pilote (illustrée par la flèche noire).
Ainsi l’invention apporte des innovations notables sur les aspects suivants:
- solution complètement intégrée dans une monture portée par un sujet ;
- solution qui ne nécessite pas l’ajout de dispositif complémentaire (caméras et/ou marqueurs) dans l’environnement ;
- solution qui fournit un recalage en temps-réel dans un repère de scène ;
- solution qui permet à un instructeur dans un simulateur de voir en temps réel de manière détaillée et précise les postures de l’équipage, associées à la direction du regard et aux équipements regardés ;
- solution qui permet à un instructeur de détecter des situations d’attention et 5 d’inattention d’un équipage ;
- solution qui permet de mieux évaluer la pertinence immédiate de la formation apportée.
La présente description illustre une implémentation préférentielle de l’invention, 10 mais n’est pas limitative. Des exemples ont été choisis pour permettre une bonne compréhension des principes de l’invention, et une application concrète à l’environnement des cockpits, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en gardant les mêmes principes.
Claims (20)
- Revendications1. Un dispositif pour analyser en temps réel le regard d’un sujet observant une scène, le dispositif comprenant :- un système de suivi des yeux (108, 110) apte à fournir des informations sur la direction d’au moins un œil du sujet dans un repère de mesures lié au dispositif ;- un système de mesure de posture de tête (114, 116) apte à fournir des informations sur la position et l’orientation de la tête du sujet dans un repère de mesures lié à la scène observée par le sujet;- un système de capture vidéo (112) apte à fournir un flux vidéo instantané de la scène observée par le sujet; et- un système de traitement de données en communication avec les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, configuré pour combiner les informations produites par les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, et pour calculer en temps réel la direction du regard du sujet dans le repère de mesures lié à la scène observée par le sujet.
- 2. Le dispositif selon la revendication 1 dans lequel le système de suivi des yeux comprend au moins une caméra dirigée vers la pupille d’au moins un œil permettant la capture de la position de l’œil.
- 3. Le dispositif selon la revendication 1 ou 2 dans lequel système de mesure de posture de tête comprend au moins une caméra égocentrique dirigée vers une zone prédéfinie de repérage dans la scène observée par le sujet.
- 4. Le dispositif selon l’une quelconque des revendications 1 à 3 dans lequel le système de capture vidéo comprend une caméra égocentrique dirigée vers l’avant pour faire une capture vidéo du point de vue du sujet.
- 5. Le dispositif selon l’une quelconque des revendications 1 à 4 dans lequel le système de traitement de données est couplé de manière filaire ou non-filaire aux systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo.
- 6. Le dispositif selon l’une quelconque des revendications 1 à 5 dans lequel le système de traitement de données comprend un processeur configuré pour synchroniser les informations fournies par les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, pour les fusionner et déterminer en temps réel un point de la scène regardé par le sujet.
- 7. Le dispositif selon la revendication 6 dans lequel le système de traitement de données est apte à communiquer des données relatives au point de la scène regardé par le sujet à un poste distant, ledit poste distant comprenant une interface homme-machine apte à afficher la scène observée par le sujet sous la forme d’un modèle tridimensionnel et à afficher le point de la scène regardé par le sujet sur ledit modèle tridimensionnel.
- 8. Le dispositif selon l’une quelconque des revendications 1 à 7 dans lequel les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo sont intégrés sur une monture de type lunettes.
- 9. Le dispositif selon l’une quelconque des revendications 1 à 8 dans lequel les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo sont intégrés sur une monture de type serre-tête.
- 10. Le dispositif selon l’une quelconque des revendications 1 à 9 dans lequel la scène est observée dans un cockpit d’aéronef.
- 11. Un procédé pour analyser en temps réel le regard d’un sujet observant une scène, le procédé comprenant les étapes suivantes:- générer par un système de suivi des yeux agencé sur un support porté par le sujet, des informations sur la direction d’au moins un œil du sujet dans un repère de mesures lié au support;• - générer par un système de mesure de posture de tête, des informations sur la position et l’orientation de la tête du sujet dans un repère de mesures lié à la scène observée par le sujet;- générer par un système de capture vidéo, un flux vidéo instantané de la scène observée par le sujet; et- combiner les informations produites par les systèmes de suivi des yeux, de mesure de posture de tête et de capture vidéo, pour calculer en temps réel la direction du regard du sujet dans le repère de mesures lié à la scène observée par le sujet.
- 12. Le procédé selon la revendication 11 dans lequel l’étape de générer des informations sur la direction d’au moins un œil comprend l’utilisation d’algorithme de mapping.
- 13. Le procédé selon la revendication 11 ou 12 dans lequel l’étape de générer des informations sur la position et l’orientation de la tête du sujet comprend l’utilisation d’algorithme basé sur la localisation et la cartographie simultanée.
- 14. Le procédé selon l’une quelconque des revendications 11 à 13 dans lequel l’étape de générer des informations sur la position et l’orientation de la tête du sujet comprend l’utilisation d’un algorithme de fusion de capteurs à filtre de Kalman.
- 15. Le procédé selon l’une quelconque des revendications 11 à 14 dans lequel l’étape de calculer la direction du regard du sujet dans le repère de mesures lié à la scène observée consiste à déterminer un point de la scène regardé par le sujet.
- 16. Le procédé selon l’une quelconque des revendications 11 à 15 comprenant de plus une étape pour représenter symboliquement le point regardé dans le flux vidéo.
- 17. Le procédé selon l’une quelconque des revendications 11 à 16 comprenant une étape initiale incluant une étape de modélisation et une étape de calibration.
- 18. Le procédé selon la revendication 17 dans lequel l’étape de modélisation permet de générer un modèle tridimensionnel de la scène, et l’étape de calibration permet de calibrer les systèmes de suivi des yeux, de mesure de posture de tête5 et de capture vidéo.
- 19. Le procédé selon les revendications 17 ou 18 comprenant de plus une étape pour représenter le point regardé sur le modèle tridimensionnel.10
- 20. Un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé d’analyse en temps réel du regard d’un sujet observant une scène, selon l’une quelconque des revendications 11 à 19, lorsque ledit programme est exécuté sur un ordinateur.100
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1700159A FR3062938B1 (fr) | 2017-02-14 | 2017-02-14 | Dispositif et procede d'analyse du regard en temps reel |
| EP18704561.2A EP3583542A1 (fr) | 2017-02-14 | 2018-02-14 | Dispositif et procede d'analyse du regard en temps-reel |
| PCT/EP2018/053676 WO2018149875A1 (fr) | 2017-02-14 | 2018-02-14 | Dispositif et procede d'analyse du regard en temps-reel |
| AU2018222619A AU2018222619A1 (en) | 2017-02-14 | 2018-02-14 | Device and method for real-time eye-gaze analysis |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1700159 | 2017-02-14 | ||
| FR1700159A FR3062938B1 (fr) | 2017-02-14 | 2017-02-14 | Dispositif et procede d'analyse du regard en temps reel |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3062938A1 true FR3062938A1 (fr) | 2018-08-17 |
| FR3062938B1 FR3062938B1 (fr) | 2021-10-08 |
Family
ID=59811349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1700159A Active FR3062938B1 (fr) | 2017-02-14 | 2017-02-14 | Dispositif et procede d'analyse du regard en temps reel |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3583542A1 (fr) |
| AU (1) | AU2018222619A1 (fr) |
| FR (1) | FR3062938B1 (fr) |
| WO (1) | WO2018149875A1 (fr) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021004799A1 (fr) * | 2019-07-11 | 2021-01-14 | Thales | Dispositif et procede d'analyse du comportement d'un sujet |
| CN112633128A (zh) * | 2020-12-18 | 2021-04-09 | 上海影创信息科技有限公司 | 余光区域中感兴趣对象信息的推送方法和系统 |
| CN114415832A (zh) * | 2022-01-07 | 2022-04-29 | 中山大学 | 一种战斗机头盔显示瞄准系统、方法、设备及终端 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019154511A1 (fr) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Dispositifs, systèmes et procédés de prédiction de paramètres liés au regard à l'aide d'un réseau neuronal |
| US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| WO2020147948A1 (fr) | 2019-01-16 | 2020-07-23 | Pupil Labs Gmbh | Procédés de génération de données d'étalonnage pour des dispositifs pouvant être portés sur la tête et système de suivi des yeux |
| US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN111680546A (zh) * | 2020-04-26 | 2020-09-18 | 北京三快在线科技有限公司 | 注意力检测方法、装置、电子设备及存储介质 |
| CN114531560A (zh) * | 2022-02-18 | 2022-05-24 | 深圳地平线机器人科技有限公司 | 一种视频通话方法及装置 |
-
2017
- 2017-02-14 FR FR1700159A patent/FR3062938B1/fr active Active
-
2018
- 2018-02-14 AU AU2018222619A patent/AU2018222619A1/en not_active Abandoned
- 2018-02-14 EP EP18704561.2A patent/EP3583542A1/fr not_active Withdrawn
- 2018-02-14 WO PCT/EP2018/053676 patent/WO2018149875A1/fr unknown
Non-Patent Citations (8)
| Title |
|---|
| "Springer", 1 January 2017, article MICHAEL BURCH: "Eye Tracking and Visualization: Foundations, Techniques and Applications", pages: 172 - 179, XP055433662 * |
| ANDREW DUCHOWSKI: "Eye Tracking Methodology: Theory and Practice, 1e ed.", 1 January 2003, SPRINGER, pages: 72 - 8275, XP055433252 * |
| AUROOP GANGULY: "Knowledge Discovery from Sensor Data", 1 January 2009, CRC, pages: 118 - 121, XP055433622 * |
| FIORA PIRRI ET AL: "3D Saliency maps", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 2011 IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, 20 June 2011 (2011-06-20), pages 9 - 14, XP031926506, ISBN: 978-1-4577-0529-8, DOI: 10.1109/CVPRW.2011.5981736 * |
| PAOLO SPAGNOLO: "Human Behavior Understanding in Networked Sensing: Theory and Applications of Networks of Sensors", 1 January 2014, SPRINGER, pages: 58 - 59, XP055433613 * |
| SANTNER KATRIN ET LUCAS PALETTA ET AL: "Visual recovery of saliency maps from human attention in 3D environments", 2013 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA); 6-10 MAY 2013; KARLSRUHE, GERMANY, IEEE, US, 6 May 2013 (2013-05-06), pages 4297 - 4303, XP032506728, ISSN: 1050-4729, ISBN: 978-1-4673-5641-1, [retrieved on 20131013], DOI: 10.1109/ICRA.2013.6631185 * |
| SUSAN M. MUNN ET AL: "3D point-of-regard, position and head orientation from a portable monocular video-based eye tracker", EYE TRACKING RESEARCH & APPLICATIONS : PROCEEDINGS ; ETRA 2008 ; [EYE TRACKING RESEARCH AND APPLICATIONS SYMPOSIUM] ; SAVANNA, GEORGIA, USA, MARCH 26 - 28, 2008, 1 January 2008 (2008-01-01), New York, NY, pages 181, XP055352612, ISBN: 978-1-59593-982-1, DOI: 10.1145/1344471.1344517 * |
| THIES PFEIFFER ET AL: "EyeSee3D: A Low-Cost Approach for Analyzing Mobile 3D Eye TrackingData Using Computer Vision and Augmented Reality Technology", EYE TRACKING RESEARCH AND APPLICATIONS, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, 26 March 2014 (2014-03-26), pages 195 - 202, XP058045492, ISBN: 978-1-4503-2751-0, DOI: 10.1145/2578153.2578183 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021004799A1 (fr) * | 2019-07-11 | 2021-01-14 | Thales | Dispositif et procede d'analyse du comportement d'un sujet |
| FR3098389A1 (fr) * | 2019-07-11 | 2021-01-15 | Thales | Dispositif et procede d'analyse du comportement d'un sujet |
| CN112633128A (zh) * | 2020-12-18 | 2021-04-09 | 上海影创信息科技有限公司 | 余光区域中感兴趣对象信息的推送方法和系统 |
| CN114415832A (zh) * | 2022-01-07 | 2022-04-29 | 中山大学 | 一种战斗机头盔显示瞄准系统、方法、设备及终端 |
| CN114415832B (zh) * | 2022-01-07 | 2023-08-04 | 中山大学 | 一种战斗机头盔显示瞄准系统、方法、设备及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3062938B1 (fr) | 2021-10-08 |
| AU2018222619A1 (en) | 2019-09-05 |
| EP3583542A1 (fr) | 2019-12-25 |
| WO2018149875A1 (fr) | 2018-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3062938A1 (fr) | Dispositif et procede d'analyse du regard en temps reel | |
| JP6672326B2 (ja) | 異なる照明条件下でのイメージングのためのデュアルモード照明器 | |
| JP6659924B2 (ja) | ヘッドマウントディスプレイの提示の調整 | |
| US8971570B1 (en) | Dual LED usage for glint detection | |
| US10747312B2 (en) | Image enhancement devices with gaze tracking | |
| EP2783252B1 (fr) | Procédé d'utilisation de la poursuite oculaire pour centrer un contenu d'image sur un affichage | |
| ES2965027T3 (es) | Registro mejorado para realidad aumentada vehicular que usa autoarmonización | |
| US8767306B1 (en) | Display system | |
| EP2030193B1 (fr) | Systeme et procede pour afficher des instructions operationnelles et de maintenance d'un appareil a l'aide d'une realite augmentee | |
| US10438410B2 (en) | Text enhancements for head-mounted displays | |
| EP2793070B1 (fr) | Systeme de visualisation hybride affichant des informations en superposition sur l'exterieur | |
| US20170263017A1 (en) | System and method for tracking gaze position | |
| FR3011952A1 (fr) | Procede d'interaction par le regard et dispositif associe | |
| US20110310238A1 (en) | Apparatus and method for inputting coordinates using eye tracking | |
| CN107003521A (zh) | 基于眼睛会聚的显示能见度 | |
| CN105378632A (zh) | 用户焦点控制的有向用户输入 | |
| EP2533095B1 (fr) | Système d'aide au pilotage et aéronef | |
| US12112440B2 (en) | Mixed-reality visor for in-situ vehicular operations training | |
| US11579449B2 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
| US11442275B2 (en) | Eyewear including a push-pull lens set | |
| US11169374B1 (en) | Eyewear eye-tracking using optical waveguide | |
| Fu et al. | Telescope aiming point tracking method for bioptic driving surveillance | |
| US11860371B1 (en) | Eyewear with eye-tracking reflective element | |
| WO2024132690A1 (fr) | Système de réalité immersive embarqué sur un véhicule | |
| WO2023195995A1 (fr) | Systèmes et procédés permettant d'effectuer un test neurologique de compétences motrices à l'aide d'une réalité augmentée ou virtuelle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20180817 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |