FR3080696A1 - Systeme d'ajustement de localisation en environnement virtuel immersif - Google Patents

Systeme d'ajustement de localisation en environnement virtuel immersif Download PDF

Info

Publication number
FR3080696A1
FR3080696A1 FR1853599A FR1853599A FR3080696A1 FR 3080696 A1 FR3080696 A1 FR 3080696A1 FR 1853599 A FR1853599 A FR 1853599A FR 1853599 A FR1853599 A FR 1853599A FR 3080696 A1 FR3080696 A1 FR 3080696A1
Authority
FR
France
Prior art keywords
selection
interface
last
user
pointing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1853599A
Other languages
English (en)
Other versions
FR3080696B1 (fr
Inventor
Antoine Lassagne
Andras Kemeny
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Priority to FR1853599A priority Critical patent/FR3080696B1/fr
Priority to EP19716920.4A priority patent/EP3785098A1/fr
Priority to PCT/EP2019/059673 priority patent/WO2019206719A1/fr
Priority to KR1020207033714A priority patent/KR20210002623A/ko
Publication of FR3080696A1 publication Critical patent/FR3080696A1/fr
Application granted granted Critical
Publication of FR3080696B1 publication Critical patent/FR3080696B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Système de sélection (30) dans un environnement virtuel immersif (11), comprenant : -un système d'affichage (17) en 3D apte à afficher un élément graphique de sélection dans une région d'une surface virtuelle de commande, -un système de localisation (18) et de détection des mouvements de la tête d'un utilisateur et d'un moyen de pointage (22) tenu par ledit utilisateur, ledit système de sélection (30) comprenant une interface apte à détecter l'approche et la position du moyen de pointage par rapport à ladite surface virtuelle de commande pour atteindre une zone de sélection (33) d'un élément graphique de sélection (31), caractérisé en ce que l'interface est apte à modifier la zone de sélection de l'élément de sélection (31) en gardant l'affichage dudit élément (31) figé, quand la position d'impact du moyen de pointage (22) avec l'élément de sélection sur la surface de commande diffère d'une position efficace de la zone de sélection d'un écart inférieur à un seuil.

Description

SYSTEME D’AJUSTEMENT DE LOCALISATION EN ENVIRONNEMENT VIRTUEL IMMERSIF
Domaine technique de l’invention
La présente invention concerne un système de localisation d’un élément de commande en environnement virtuel immersif.
La présente invention concerne également un système d’affichage en environnement virtuel immersif.
La présente invention concerne plus particulièrement un système autoadaptatif de localisation d’un élément de commande en environnement virtuel immersif.
Etat de la technique
L’avancement technologique actuel de la réalité virtuelle permet de projeter un utilisateur au sein d’un univers virtuel dans lequel sont affichés divers contenus, par exemple un objet 3D à étudier. Il est non seulement possible de visualiser différents contenus 3D mais également d’interagir avec ceux-ci en temps réel, ce qui ouvre la voie à bon nombre d’applications. La revue de projet numérique immersive par exemple se matérialise par l’utilisation de la réalité virtuelle comme un outil de contrôle et un support de discussion entre les différents interlocuteurs d’un projet.
Dans le domaine automobile, des maquettes numériques de véhicules peuvent alors être utilisées par différents interlocuteurs dont des designers, des ingénieurs, des ergonomes, et autres qui peuvent dialoguer lors de réunions immersives centrées sur la maquette numérique servant alors de support de communication et d’échange de points de vue entre les différents métiers. Ladite maquette numérique permet également de vérifier que le modèle du véhicule respecte bien des critères d’architecture, d’ergonomie, de qualité perçue ou encore d’habitabilité entre autres.
De manière connue, dans l’environnement virtuel immersif avec un système d’affichage dit « see-through » qui permet de voir des objets virtuels, un utilisateur est apte à interagir avec l’environnement virtuel.
Le CAVE acronyme Cave Automatic Virtual Environment est une salle de visualisation 3D sensiblement en cube. Il est composé d’une salle immersive comprenant trois parois verticales jointes disposées entre un plafond et un plancher et équipée de caméras et de capteurs aux coins du plafond et/ou du plancher de ladite salle et de rétroprojecteurs pour diffuser des images de l’environnement enregistrées dans une mémoire d’une unité de contrôle. Lesdits capteurs et projecteurs sont reliés à ladite unité de contrôle. L’utilisateur est apte à se déplacer dans ledit environnement et à interagir avec ledit environnement virtuel.
Pour ce faire, ledit utilisateur est localisé au niveau de son point de vue et au niveau d’un élément de commande qui appartient à l’utilisateur. L’élément de commande est généralement une main dudit utilisateur. La localisation du point de vue de l’utilisateur est facilitée par un dispositif de tracking de tête porté par l’utilisateur, par exemple le port de lunettes par ledit utilisateur. Lesdites lunettes sont généralement munies d’élément de repérage qui est formé par exemple par une boule avec une surface métallique disposé entre les deux verres de lunettes.
Des pyramides de vision obliques sont alors calculées en temps réel depuis la position théorique de chaque œil. Or, cette position n’est pas toujours exacte ni stable : Elle est souvent interpolée. Les variations de morphologie entre les personnes par exemple, l’écart inter-pupillaire ou la profondeur des yeux ou la hauteur du nez sont autant de paramètres sources d’erreur de perception de l’échelle, de la profondeur, ou même de la position latérale de l’image.
La position du dispositif de tracking est rarement très robuste et peut varier d’une session à l’autre, ou même au cours d’une même session.
Il se produit alors des erreurs sur la position des yeux affectant les pyramides de vison oblique.
Les dispositifs d’affichage peuvent aussi être source d’erreurs. La position desdits dispositifs peut être approximative selon d’une part la géométrie de la salle (murs) et la disposition des vidéoprojecteurs et très variable selon la qualité du CAVE.
Le contenu des scènes virtuelles est rarement aussi riche en indices de perception spatiale que celui d’une scène réelle. De nombreux conflits de perceptions sont présents (accommodation/vergence, taille des pixels, latence) et induisent une perception peu robuste par le cerveau. Les informations spatiales sont pleines d’incertitudes, et les utilisateurs sont peu confiants sur les distances, échelles et profondeurs visuelles. Particulièrement, le mélange entre objets physiques, ici la main de l’utilisateur, et les objets virtuels est parfois difficile à appréhender
Des techniques permettant d’améliorer la performance des interactions lorsque celles-ci sont imprécises, existent dans l’état de l’art.
La conception des claviers virtuels de téléphone portable constitue un exemple. Pour inciter l’appui de certaines touches, ladite touche suggérée peut être actionnée avec un contact dans un espace plus important. On différencie ainsi la taille de la boite de collision de chaque touche qui représente chacune des touches augmente et diminue en fonction des touches touchées précédemment. Plus précisément, par exemple, après l’appui sur un « q », la lettre « u » qui est visuellement de mêmes dimensions que la lettre « q » présente une boite de collision plus grande, de façon à être plus facilement touchée. La boite de collision d’un objet représente sensiblement l’espace alloué pour le contact dudit objet. La publication GB201009714-A décrit cette amélioration.
La publication FR3028968-B1 propose une interface tactile comportant un écran apte à détecter l'approche et la position d'un doigt d'un utilisateur. L'interface est configurée pour afficher sur l'écran des éléments graphiques superposés à des zones de sélection ou boites de collision, distinctes l’une de l’autre, ladite interface permet de centrer la zone de sélection tactile sous le doigt de l’utilisateur quand ce dernier essaie de toucher un élément graphique associé.
Les deux publications proposent des interfaces qui nécessitent une position de l’élément de commande qui est ici le doigt de l’utilisateur, relativement proche de la boite de collision pour pouvoir apprécier le point d’impact du doigt de l’utilisateur sur la boite de collision.
Un inconvénient de ces publications est de ne pas permettre un contact entre le doigt de l’utilisateur avec la boite de collision de chaque objet depuis une distance suffisamment grande comme dans un environnement virtuel immersif.
Un autre inconvénient de ces publications est de ne pas faire intervenir le point de vision de l’utilisateur, ce qui réduit sensiblement le champ d’application des interfaces.
Le but de l’invention est de remédier à ces problèmes et un des objets de l’invention est
Présentation de l’invention
La présente invention concerne plus particulièrement un système de sélection dans un environnement virtuel immersif, comprenant :
-un système d’affichage en 3D apte à afficher un élément graphique de sélection dans une région d’une surface virtuelle de commande,
-un système de localisation et de détection des mouvements de la tête d’un utilisateur et d’un moyen de pointage tenu par ledit utilisateur,
Ledit système de sélection comprenant une interface apte à détecter l'approche et la position du moyen de pointage par rapport à ladite surface virtuelle de commande pour atteindre une zone de sélection associé à l’élément graphique de sélection,
Caractérisé en ce que l’interface est apte à modifier la zone de sélection de l’élément graphique en gardant l’affichage dudit élément figé quand la position d’impact du moyen de pointage avec l’élément de sélection sur la surface de commande diffère d’une position efficace de la zone de sélection d’un écart inférieur à un seuil.
De manière avantageuse, le système de sélection selon l’invention est efficace dans un environnement immersif virtuel qui peut être un CAVE comprenant une salle immersive avec des capteurs et des projecteurs aptes à diffuser des images sur les murs de ladite salle. Ledit système de sélection comprend un système d’affichage en 3D formé par les projecteurs de la salle immersive qui est apte à afficher un élément graphique de sélection qu’un utilisateur va pouvoir pointer et toucher, dans une région spatiale d’une surface virtuelle de commande. Les images projetées sur les murs de la salle peuvent être interprétées pour afficher l’élément graphique de sélection dans une région spatiale d’une surface de commande. Le contact avec ladite surface de commande permet de valider une commande, notamment au contact d’une zone de sélection associée à l’élément graphique de valider une commande liée audit élément graphique. Ladite surface de commande est virtuelle est représentée par ses coordonnées spatiales par exemple.
Le système de sélection comprend un système de localisation et de détection des mouvements de la tête afin de définir le point de vue de l’utilisateur et de permettre l’affichage de l’élément graphique de sélection au niveau de la surface de commande, et d’un moyen de pointage tenu par l’utilisateur qui permet de sélectionner ledit élément graphique. Ledit moyen de pointage peut être un doigt de l’utilisateur dont l’extrémité est entourée par un capuchon de suivi permettant la détection et le suivi dudit doigt.
Le système de sélection comprend une interface apte à détecter l'approche et la position du moyen de pointage par rapport à ladite surface virtuelle de commande pour atteindre la zone de sélection associée à l’élément graphique de sélection. Ladite interface est apte à vérifier l’impact ou non du moyen de pointage sur la zone de sélection associée à l’élément graphique d’une part selon un plan parallèle à la surface de commande et d’autre en profondeur c’est-à-dire selon un axe orthogonal à la surface de commande. En effet, l’affichage de l’élément graphique peut être différemment interprété par chacun des yeux de l’utilisateur, le point de vue de chacun des yeux de l’utilisateur étant sensiblement différent du point de vue central entre les deux yeux pris en compte pour les affichages dans la salle immersive, ce qui induit des erreurs de relief pour l’utilisateur. Ces erreurs de relief peuvent aussi évoluer tout au long de la session de tests dans la salle immersive.
De manière avantageuse, l’interface du système de sélection est apte à corriger ces erreurs de relief en modifiant la zone de sélection que veut atteindre l’utilisateur avec son moyen de pointage, tout en gardant figé l’affichage dudit élément, quand la position d’impact du moyen de pointage avec l’élément de sélection sur la surface de commande diffère d’une position efficace antérieure de la zone de sélection d’un écart inférieur à un seuil. Ladite position efficace antérieure de la zone de sélection est définie par les sélections précédentes. Ainsi le système de sélection est apte à prendre en compte les dérives de perception par l’utilisateur de l’élément graphique affiché dans la salle immersive. Le seuil étant défini au préalable par exemple pour éviter des interférences entre deux éléments graphiques voisins.
Selon d’autres caractéristiques de l’invention,
-l’interface déplace la position efficace de sélection de l’élément de sélection.
De manière avantageuse, l’interface déplace la position efficace de la zone de sélection de l’élément de sélection et ne perturbe pas la vision de l’utilisateur.
-l’interface est apte à modifier la position efficace de la zone de sélection de l’élément graphique selon les positions des N derniers pointages de l’élément de sélection.
De manière avantageuse, l’interface du système de sélection est apte à retenir N manipulations de sélections dudit élément graphique et notamment plusieurs écarts entre les positions d’impact du moyen de pointage sur la surface de commande avec l’élément graphique avec la position efficace antérieure de la zone de sélection de l’élément graphique associé afin d’éviter des modifications trop rapides qui risquent de perturber l’utilisateur.
-l’interface évalue la cohérence entre la moyenne des N-1 avantdernières positions de pointage avec la dernière position de pointage.
De manière avantageuse et efficace, l’interface évalue la dernière position de pointage de la zone de sélection de l’élément de sélection avec la moyennes des N-1 avant-dernières positions de pointage afin de vérifier la dérive de perception de l’utilisateur. En effet si le dernier pointage est sensiblement dans le même espace que les N-1 avant-derniers pointages, alors l’interface consolide sa stratégie et déplace la position efficace de la zone de sélection de l’élément de sélection. Par contre si le dernier pointage ne se trouve pas dans le même espace, alors l’interface ne prend pas la dernière position de pointage avec le même poids que la moyenne des N-1 avant-derniers pointages et attend le pointage suivant pour vérifier si ce dernier pointage est suite à une erreur ou à une correction de la part de l’utilisateur.
-l’interface de sélection définit la nouvelle position efficace de la zone de sélection de l’élément de sélection en fonction de la moyenne des positions des N-J avant-derniers pointages et des J derniers pointages.
De manière avantageuse, l’interface définit une nouvelle position efficace de sélection pour la zone de sélection de l’élément de sélection lorsque les J derniers pointages diffèrent de la moyenne des N-J j-avant-derniers pointages, en augmentant le poids des J derniers pointages par rapport à la moyenne des N-J j-avant-derniers pointages. De ce fait, l’interface va déplacer rapidement la zone de sélection dudit élément de sélection pour se rapprocher de la perception de l’utilisateur.
-le nombre minimal de sélections consécutives du même élément de sélection est supérieur ou égal à 5.
De manière avantageuse, le nombre N de sélections consécutives d’un même élément de sélection pris en compte dans la stratégie de l’interface est 5, ce qui d’une part donne une inertie suffisante pour ne pas modifier continuellement la position efficace de la zone de sélection dudit élément et en même temps une réactivité suffisante pour la correction de ladite position efficace.
-la position efficace antérieure de la zone de sélection est le centre de la projection de la zone de sélection sur la surface de commande.
De manière avantageuse, l’interface évalue les écarts entre les positions de pointages et le centre de la projection de la zone de sélection dur la surface de commande, ce qui rend plus aisés les calculs et améliore la réactivité de l’interface.
-le moyen de pointage est un élément de suivi tenu à l’extrémité d’un doigt de l’utilisateur.
De manière avantageuse, le moyen de pointage est un élément de suivi reconnu par le système de localisation et de suivi de la salle immersive et il peut être simplement formé par un embout entourant un doigt, généralement l’index d’une main de l’utilisateur.
Brève description des figures
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes particuliers de réalisation de l'invention donnés à titre d'exemples non limitatifs et représentés sur les dessins annexés, dans lesquels :
-la figure 1 est une vue schématique d’un environnement virtuel immersif.
-la figure 2 est une vue schématique d’une interface du système de sélection selon l’invention.
-la figure 3 est une vue schématique de modification d’une zone de sélection d’un élément graphique.
Description détaillée des figures
Dans la description qui va suivre, des chiffres de référence identiques désignent des pièces identiques ou ayant des fonctions similaires.
Selon la figure 1, un utilisateur 10 est immergé dans un environnement immersif de réalité virtuelle 11, ici un « CAVE » acronyme pour Cave Automatic Virtual Environment. Ledit environnement virtuel est composé d’une salle immersive 12 formée avec trois murs verticaux 14, un plancher 13 et un plafond 15, avec un système d’affichage 17 comprenant des appareils de rétroprojection disposés aux coins supérieurs des murs verticaux 14 et aptes à diffuser des images sur les parois de la salle immersive 12, notamment sur les murs verticaux 14 et le plancher 13, et un système de localisation 18 comprenant des capteurs ou des caméras 19 aptes à repérer et à suivre les mouvements d’un ou des éléments de suivi 20 identifiés.
Dans la salle immersive 12, l’utilisateur 10 est équipé de lunettes de vision 3D qui lui permettent de percevoir à partir des images diffusées sur les parois de la salle par les appareils de rétroprojection 16, un ou des objets virtuels en trois dimensions 3D. De manière connue, entre les verres des lunettes, est disposé un moyen de suivi 21 représentant le point de vue de l’utilisateur. Selon l’invention, lesdits objets virtuels comprennent des éléments de sélection 31. Ledit moyen de suivi 21 est par exemple une boule argentée repérée et suivie par les capteurs 19 du système de localisation 18 de la salle immersive 12. Toutefois, le point de vue défini grâce à ce moyen de suivi peut ne pas être représentatif du point de vue de chacun des yeux de l’utilisateur à cause par exemple de la distance entre les yeux qui varie pour chaque utilisateur 10. De ce fait, chacun des yeux de l’utilisateur peut voir une image différente ce qui entraîne une erreur de perception de l’élément de sélection qui peut être une erreur de relief.
L’erreur de perception de l’élément de sélection 31 peut ne pas être systématique ou dirigée selon une direction donnée.
D’une part, la perception de l’élément de sélection peut dériver tout au long de la séance de tests et d’essais dans la salle immersive. D’autre part, l’utilisateur 10 peut de lui-même effectuer des corrections tout au long de la séance de tests et d’essais. Les deux causes peuvent entraîner des erreurs de perception de l’élément de sélection 31 dans des directions différentes voire opposées.
L’utilisateur 10 tient à la main un moyen de pointage 22 qui est également détecté et suivi par les capteurs de la salle immersive. De manière connue, ledit moyen de pointage peut être un embout porté au bout d’un doigt, notamment un index d’une main de l’utilisateur, comme représenté en figure 1 et 2.
Dans la description qui suit, l’invention se rapporte à une tablette quadrillée ou un pavé numérique 21 pour faciliter la compréhension de l’invention mais l’invention peut concerner un autre objet.
L’invention concerne un système de sélection 30 des boutons 31 formant le pavé numérique 23, chacun desdits boutons est un élément de sélection 31.
La description est centrée sur un bouton mais il va de soi que l’invention concerne tous les boutons du pavé numérique pris en compte de façon individuelle.
Ledit pavé numérique 23 et les éléments de sélection 31 qui sont les boutons sont affichés sur une surface virtuelle de commande 34 et ledit affichage du pavé et des éléments de sélection reste figé. Les images diffusées sur les parois de la salle immersive sont perçues par l’utilisateur 10 comme un objet en trois dimensions à une position spatiale fixe.
Le système de sélection 30 comprend une interface apte à détecter la position du moyen de pointage 22 formé par l’embout au doigt de l’utilisateur et donc l’approche dudit moyen de pointage de la surface virtuelle de commande 34.
L’interface définit une zone de sélection 33 pour chacun des éléments de sélection 31 ou boutons du pavé numérique. Chacune des zones de sélection 33 est sensiblement un élément virtuel sans apparence ici un cube repéré par ses coordonnées spatiales, associé à chacun des éléments de sélection 31 affichés et qui est initialement confondu avec l’élément de sélection 31 sur la surface de commande 34. Selon les figures 2 et 3, les zones de sélection 33 n’apparaissent pas à l’utilisateur et sont représentées en pointillé. La zone de sélection appelée également boite de collision est un élément logique représentant un volume virtuellement solide ici l’élément de sélection, qui est apte entrer en collision avec d’autres boites de collision. La plupart du temps, la boite de collision épouse la forme de l’élément de sélection.
Le contact « virtuel » du moyen de pointage 22 tenu par l’utilisateur 10 avec la zone de sélection 33 ou boite de collision valide la sélection de l’élément de sélection 31. Le contact virtuel est vérifié par la présence de coordonnées spatiales communes du moyen de pointage 22 d’avec celles de la zone de sélection 31.
L’interface est apte à suivre le moyen de pointage dans l’environnement virtuel immersif et à détecter l'approche et la position du moyen de pointage 22 par rapport à ladite surface virtuelle de commande 34 pour atteindre une zone de sélection 33 associée à l’élément graphique de sélection 31, grâce aux capteurs 19 de la salle immersive.
Selon la figure 3, l’interface est apte à déplacer la zone de sélection 33 ou boite de collision de l’élément de sélection 31 lorsque le moyen de pointage 22 rate la cible virtuelle affichée par le système d’affichage, ladite cible virtuelle représentée par l’élément de sélection 31 reste figée au même emplacement. Le système d’affichage 17 est indépendant du système de sélection 30 notamment de ladite interface du système de sélection. Toutefois l’écart entre la position d’impact du moyen de pointage 22 sur la surface de commande 34 ne doit pas dépasser un seuil de distance afin d’éviter les interférences entre les différentes zones de sélection 33 ou boites de collision voisines.
Pour ce faire l’interface définit une position efficace de la zone de sélection 33 de l’élément de sélection. Cette position efficace est initialement c’est-à-dire au démarrage de la séance de tests confondue avec la position d’affichage de l’élément de sélection 31.
La position efficace est au-moins la dernière position de la zone de sélection pour atteindre l’élément de sélection. Ladite position efficace est susceptible de varier selon l’invention afin de prendre en compte les erreurs répétées de pointage par exemple des dérives de perception de l’élément de sélection dans l’environnement virtuel immersif. Selon l’invention ladite zone de sélection 33 présente son centre disposé à la position efficace 36.
L’interface du système de sélection est apte à modifier la zone de sélection de l’élément de sélection pour prendre en compte les erreurs de perception de l’élément de sélection et notamment quand la position d’impact du moyen de pointage 22 tenu par l’utilisateur sur la surface de commande 34 diffère de la position efficace de la zone de sélection associée audit élément de sélection. Par exemple sur la figure 3, le centre de la zone de sélection 33 peut être déplacé, par exemple par une translation parallèlement à la surface de commande 34, du point A vers le point B au vu des positions des points d’impact 35 qui sont décalés par rapport au centre de la zone de sélection 33. Les points A et B sont des positions efficaces 36 de la zone de sélection 33. L’écart pris en compte est fonction des coordonnées spatiales d’une part du point d’impact du moyen de pointage sur la surface de commande 34, et d’autre part de la position efficace 36 de la zone de sélection 33 sur la surface de commande 34 représenté dans la figure 3 par le centre A.
Afin de ne pas sur-réagir à chaque écart entre la position d’impact 35 du moyen de pointage 22 sur le surface de commande 34 et la position efficace 36 de la zone de sélection, l”interface retient au moins un nombre N des dernières itérations de sélection sur le même élément de sélection 31. De manière préférentielle le nombre N d’itérations est fixé à 5, ce qui a pour avantage de ne pas surcharger la mémoire d’enregistrement de l’unité centrale qui déroule le programme de ladite interface. De plus le nombre N fixé à 5 permet d’avoir une inertie suffisante pour permettre un ajustement de la position efficace de façon optimale.
Afin de déplacer la position efficace de la zone de sélection de l’élément de sélection, l’interface applique une stratégie de déplacement qui comprend plusieurs phases dans lesquelles l’interface prend en compte les N derniers pointages du même élément de sélection 31 avec des poids d’influence variables, lesdites phases sont :
-une première phase d’évaluation de la position d’impact su moyen de pointage sur la surface de commande du dernier pointage vis-à-vis des pointages précédents sur le même élément de sélection. L’interface est apte à évaluer la cohérence entre la moyenne des N-1 avant-dernières positions de pointage avec la dernière position de pointage ou position d’impact du moyen de pointage sur la surface de commande. Dans une première phase, l’interface vérifie si la position du point d’impact sur la surface de commande du dernier pointage se trouve sensiblement dans la même région de zone de sélection de l’élément de sélection. De façon plus simple, l’interface vérifie si les coordonnées spatiales du point d’impact 35 sur la surface de commande 34 du dernier pointage sont sensiblement voisines avec les coordonnées de la position moyenne obtenue avec les N-1 derniers pointages.
-une phase de confirmation du déplacement. Les coordonnées du point d’impact du moyen de pointage sur la surface de commande du dernier pointage sont sensiblement voisines de la moyenne des coordonnées des points d’impact pour le même élément de sélection pour les N-1 avant-derniers pointages. L’interface affecte aux différents pointages un même poids d’influence et valide alors la dérive de la position efficace de la zone de sélection associé à l’élément sélection et comme représenté en figure 3, l’interface valide le déplacement et est apte à déplacer le centre de la zone de sélection à position moyenne des N derniers pointages.
-une phase d’infirmation du déplacement. Dans ce cas, les coordonnées du point d’impact du moyen de pointage sur la surface de commande du dernier pointage sont sensiblement éloignées de la moyenne des coordonnées des points d’impact pour le même élément de sélection pour les N-1 avant-derniers pointages. L’interface ne valide le déplacement de la position efficace de la zone de sélection associé audit élément de sélection. L’interface affecte à la position spatiale du dernier pointage un poids d’influence faible par rapport aux poids d’influence des N-1 derniers pointages et valide la position moyenne des N derniers pointages. Le dernier pointage N est considéré comme une erreur et la correction associée à ce dernier pointage n’a pas lieu. L’interface est apte à déplacer le centre de la zone de sélection à ladite position moyenne des N derniers pointages.
De manière astucieuse, la phase d’infirmation est suivie par :
-une phase de confirmation de l’erreur précédente. L’interface prend en compte ce pointage suivant qui devient dernier pointage N. Si les cordonnées spatiales de ce dernier pointage N sont sensiblement voisines de la position spatiale de la moyenne précédente, alors l’interface affecte à ce dernier pointage un même poids d’influence que la moyenne des N-1 derniers pointages sur le même élément de sélection.
-une phase de confirmation de correction. Dans ce cas, le pointage précédent devient alors avant-dernier avec un autre pointage suivant sur le même élément de sélection. Les coordonnées spatiales du dernier et de l’avantdernier pointages sur le même élément de sélection sont sensiblement voisines. L’interface valide alors une correction et affecte au dernier pointage N un poids d’influence important pour prendre en compte la correction apportée par le dernier et avant-dernier pointage. L’interface calcule alors la position moyenne avec les deux derniers pointages et est apte à déplacer a position efficace de la zone de sélection de l’élément de sélection en conséquence.
Dans ces deux exemples sont pris en compte les deux derniers pointages par rapport aux N-2 derniers pointages. Il va de soi que l’on peut prendre J derniers pointages et N-J avant-derniers pointages avec une valeur de J inférieur à la moitié de N ou N/2. Dans les exemples précédents J vaut 2.
L’interface du système de sélection comprend une fonction de limitation afin de ne pas trop s’éloigner du visuel. Ladite fonction de limitation peut être discrète, c’est-à-dire qu’elle arrête la dérive à l’atteinte d’un seuil de divergence, ou encore dégressive, c’est-à-dire qu’elle applique un coefficient de décroissance graduel (à quoi ?).
Selon un mode préféré de réalisation, l’interface déroule un algorithme de logique « floue ». L’algorithme est exécuté sur un calculateur pour chaque pointage. L’algorithme décrit ci-après est un exemple de réalisation de l’invention.
L’algorithme est apte à garder en mémoire les réussites ou erreurs de l’utilisateur et de les traiter mais sans sur-réagir en cas d’erreur sur un pointage de temps en temps. Enfin, l’interface est apte à rattraper l’erreur plus rapidement si celle-ci se répète.
L’algorithme utilise des variables linguistiques qui sont :
• (A,[-100,100],{Proche, Moyen, Loin}) - pour la prise en compte de la proximité du dernier pointage par rapport au centre, associée à une erreur relative dans l’intervalle [-100,100] par rapport au centre, et aux sous-ensembles flous {Proche, Moyen, Loin}.
• (B,[-100,100],{Proche, Moyen, Loin}) - pour la prise en compte de la proximité du dernier pointage par rapport à la moyenne mobile, associée à une erreur relative dans l’intervalle [-100,100], et aux sous-ensembles flous {Proche, Moyen, Loin}.
• (X,[0,100],{Peu, Moyennement, Beaucoup}) - pour la prise en compte de la correction à exercer par rapport à dernier pointage.
• (Y,[0,100],{Peu, Moyennement, Beaucoup}) - pour la prise en compte de la correction à exercer par rapport à la dernière moyenne mobile.
Les fonctions d’appartenance aux variables A et B sont trois gaussiennes, dont la somme vaut 1 partout dans l’intervalle de valeurs [-100,100], Les fonctions d’appartenance aux variables X et Y sont définies par une matrice de décisions.
L’algorithme définit une fonction de correction pour le déplacement à partir l’addition de six fonctions dites partielles. Chaque fonction partielle est une réponse à l’appartenance plus ou moins forte dans un sous-ensemble flou ; Il y a donc 6 fonctions partielles associées aux 6 sous-ensembles flous (3 pour le dernier pointage (proche, moyen, loin), 3 pour la dernière moyenne mobile (proche, moyen, loin). Chaque fonction partielle est une fonction linéaire par rapport à l’erreur ou écart entre le dernier pointage et l’avant-dernier pointage ou bien l’écart entre le dernier pointage et la dernière moyenne mobile. Chaque fonction partielle possède un gain variable qui est ici le degré d’appartenance au sous-ensemble flou associé et un gain fixe représenté par un coefficient Ki optimisé par le calcul.
Dans la suite de ce paragraphe, le terme « pointage » désigne la position spatiale du pointage sur la surface de commande.
Dans l’algorithme, des opérateurs flous sont utilisés qui sont les opérateurs de Zadeh.
Maab(x) = min(pA(x),MB(x))
Maub(x) = max(pA(x),pB(x))
La matrice de décisions est décrite ci-dessous.
En prenant en compte les sous-ensembles flous suivants :
A = {Proche, Moyen, Loin} B = {Proche, Moyen, Loin} derniere interaction derniere moyenne mobile
X = {Peu, Moyennement, Beaucoup} derniere interaction
Y {Peu, MOyennement, Beaucoup} derniere moyenne mobile
La fonction fz régule l’appartenance du pointage fait par l’utilisateur aux sousensembles flous Xo, Xi , X2, Yo, Y1 et Y2 en fonction des entrées Ao , Ai , A2 , Bo, B1 et
B2.
A = ΣΥ™ + i i avec /(t) = exp -1 avec μ la moyenne et σ l’écart-type.
Le tableau ci-dessous décrit les fonctions d’appartenance définies dans ce mode de réalisation.
A titre d’exemple, pour comprendre le tableau:
Si de dernier pointage (A) est proche (a) ET(A) la dernière moyenne mobile (B) est proche On applique les fonctions d’implications A3 (vers la dernière interaction, intensité 3) et B2 (vers la dernière moyenne mobile, intensité 2).
Figure FR3080696A1_D0001
Ensemble flous Fonction d’implication 1 < Fonction d’implication 2
Les règles d’inférence ainsi conçues permettent de répondre au besoin exprimé. Par exemple, si le dernier pointage est très loin des autres, le système va peu corriger ; si le pointage suivant est au même endroit, c’est-à-dire que les deux derniers pointages sont proches l’un de l’autre mais loin de la moyenne mobile, le système va corriger plus rapidement.
Les 6 fonctions partielles effectuent chacune une correction linéaire de gain Ki vers respectivement le lieu du dernier pointage et celui de la dernière moyenne mobile. Les gains Ki sont les paramètres à optimiser, en plus de la largeur des sous-ensembles flous.
Une optimisation réalisée a permis d’obtenir les valeurs μ = 50 et σ = 15 pour les gaussiennes des fonctions d’appartenance. Les valeurs de K optimisées 15 sont les résultats de phases de validation.
L’objectif est atteint : l’interface du système de sélection selon l’invention permet une correction de la sélection d’un élément de sélection dans un environnement virtuel immersif pouvant prendre en compte les écarts de perception dudit élément au niveau de chacun des yeux de l’utilisateur et de moduler la correction selon l’erreur ou le type d’erreur faite lors d’un pointage. Chaque pointage est validé par sa position spatiale dans la salle immersive.
Comme il va de soi, l'invention ne se limite pas aux seules formes d'exécution de cette prise, décrites ci-dessus à titre d'exemples, elle en embrasse 5 au contraire toutes les variantes.
Par exemple, l’algorithme peut être différent et se baser sur des modifications de positions moyennes en continu.
Par exemple, l’algorithme peut prendre en compte les J derniers pointages parmi N pointages, avec J inférieur à la moitié de N pour modifier 10 l’inertie avant déplacement.

Claims (8)

  1. REVENDICATIONS
    1. Système de sélection (30) dans un environnement virtuel immersif (11), comprenant :
    -un système d’affichage (17) en 3D apte à afficher un élément graphique de sélection dans une région d’une surface virtuelle de commande,
    -un système de localisation (18) et de détection des mouvements de la tête d’un utilisateur et d’un moyen de pointage (22) tenu par ledit utilisateur, ledit système de sélection (30) comprenant une interface apte à détecter l'approche et la position du moyen de pointage par rapport à ladite surface virtuelle de commande pour atteindre une zone de sélection (33) d’un élément graphique de sélection (31), caractérisé en ce que l’interface est apte à modifier la zone de sélection (33) de l’élément de sélection (31) en gardant l’affichage dudit élément (31) figé, quand la position d’impact (35) du moyen de pointage (22) avec l’élément de sélection sur la surface de commande diffère d’une position efficace (36) de la zone de sélection d’un écart inférieur à un seuil.
  2. 2. Système de sélection (30) selon la revendication 1, caractérisé en ce que l’interface déplace la position efficace (36) de sélection de l’élément de sélection.
  3. 3. Système de sélection (30) selon la revendication 1 ou 2, caractérisé en ce que l’interface est apte à modifier la position efficace (36) de la zone de sélection (33) de l’élément graphique selon les positions des N derniers pointages de l’élément de sélection (31).
  4. 4. Système de sélection (30) selon la revendication 3, caractérisé en ce que l’interface évalue la cohérence entre la moyenne des N-1 avant-dernières positions de pointage avec la dernière position (35) de pointage.
  5. 5. Système de sélection (30) selon la revendication 3, caractérisé en ce que l’interface de sélection définit la nouvelle position efficace de la zone de sélection de l’élément sélectionné en fonction de la moyenne des positions des N-J avant-dernières positions de pointage (35) et des J dernières positions de pointage (35).
  6. 6. Système de sélection (30) selon l’une quelconque des 5 revendications 3 à 5, caractérisé en ce que le nombre N des derniers pointages du même élément de sélection (31) est supérieur ou égal à 5.
  7. 7. Système de sélection (30) selon l’une quelconque des revendications 1 à 6, caractérisé en ce que la zone de sélection (33) est centrée sur la position efficace (36).
  8. 10 8. Système de sélection (30) selon l’une quelconque des revendications 1 à 7, caractérisé en ce que le moyen de pointage (22) est un élément de suivi (20) tenu à l’extrémité d’un doigt de l’utilisateur.
FR1853599A 2018-04-25 2018-04-25 Systeme d'ajustement de localisation en environnement virtuel immersif Active FR3080696B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR1853599A FR3080696B1 (fr) 2018-04-25 2018-04-25 Systeme d'ajustement de localisation en environnement virtuel immersif
EP19716920.4A EP3785098A1 (fr) 2018-04-25 2019-04-15 Systeme d'ajustement de localisation en environnement virtuel immersif
PCT/EP2019/059673 WO2019206719A1 (fr) 2018-04-25 2019-04-15 Systeme d'ajustement de localisation en environnement virtuel immersif
KR1020207033714A KR20210002623A (ko) 2018-04-25 2019-04-15 몰입형 가상 환경에서 위치를 조정하기 위한 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1853599 2018-04-25
FR1853599A FR3080696B1 (fr) 2018-04-25 2018-04-25 Systeme d'ajustement de localisation en environnement virtuel immersif

Publications (2)

Publication Number Publication Date
FR3080696A1 true FR3080696A1 (fr) 2019-11-01
FR3080696B1 FR3080696B1 (fr) 2021-02-26

Family

ID=63294340

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1853599A Active FR3080696B1 (fr) 2018-04-25 2018-04-25 Systeme d'ajustement de localisation en environnement virtuel immersif

Country Status (4)

Country Link
EP (1) EP3785098A1 (fr)
KR (1) KR20210002623A (fr)
FR (1) FR3080696B1 (fr)
WO (1) WO2019206719A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098069A1 (en) * 2012-10-05 2014-04-10 Htc Corporation Portable device and key hit area adjustment method thereof
FR3023626A3 (fr) * 2014-07-11 2016-01-15 Renault Sas Dispositif de navigation en realite virtuelle comportant une interface haptique
US20170003762A1 (en) * 2015-06-30 2017-01-05 Sharp Laboratories Of America, Inc. Systems and methods for text entry
US20170017303A1 (en) * 2015-07-15 2017-01-19 Kabushiki Kaisha Toshiba Operation recognition device and operation recognition method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3028968B1 (fr) 2014-11-21 2016-11-25 Renault Sa Interface graphique et procede de gestion de l'interface graphique lors de la selection tactile d'un element affiche

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098069A1 (en) * 2012-10-05 2014-04-10 Htc Corporation Portable device and key hit area adjustment method thereof
FR3023626A3 (fr) * 2014-07-11 2016-01-15 Renault Sas Dispositif de navigation en realite virtuelle comportant une interface haptique
US20170003762A1 (en) * 2015-06-30 2017-01-05 Sharp Laboratories Of America, Inc. Systems and methods for text entry
US20170017303A1 (en) * 2015-07-15 2017-01-19 Kabushiki Kaisha Toshiba Operation recognition device and operation recognition method

Also Published As

Publication number Publication date
FR3080696B1 (fr) 2021-02-26
EP3785098A1 (fr) 2021-03-03
WO2019206719A1 (fr) 2019-10-31
KR20210002623A (ko) 2021-01-08

Similar Documents

Publication Publication Date Title
US11099637B2 (en) Dynamic adjustment of user interface
US10789760B2 (en) Focus guidance within a three-dimensional interface
US10416769B2 (en) Physical haptic feedback system with spatial warping
US10481856B2 (en) Volume adjustment on hinged multi-screen device
EP3137976B1 (fr) Renvoi d&#39;informations sur la qualité d&#39;un affichage verrouillé sur le monde environnant
US11683470B2 (en) Determining inter-pupillary distance
US20230350628A1 (en) Intuitive augmented reality collaboration on visual data
US20110273369A1 (en) Adjustment of imaging property in view-dependent rendering
Raudies et al. Modeling boundary vector cell firing given optic flow as a cue
US10339700B2 (en) Manipulating virtual objects on hinged multi-screen device
FR3080696A1 (fr) Systeme d&#39;ajustement de localisation en environnement virtuel immersif
TWI489417B (zh) 安定方法及電腦系統
Zhao et al. Deep Learning-based Simulator Sickness Estimation from 3D Motion
FR3107390A1 (fr) Dispositif, système et procédé de traitement de données de réalité virtuelle
US11710280B1 (en) Local physical environment modeling in extended reality environments
US20230306789A1 (en) Spoof detection using head pose to eye gaze correspondence
EP4168908A1 (fr) Dispositif et procede d&#39;authentification d&#39;un utilisateur d&#39;un premier dispositif electronique connecte a un deuxieme dispositif electronique
EP3038354B1 (fr) Procédé d&#39;affichage d&#39;images ou de vidéos
WO2020187950A1 (fr) Dispositif, système et procédé de traitement de données de réalite virtuelle
FR3108751A1 (fr) Procédé et dispositif de contrôle d’accès.
CN114816066A (zh) 电子设备及其控制方法和装置、可读存储介质

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20191101

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

CA Change of address

Effective date: 20221005

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7