FR3016451A1 - Systeme d'interaction avec des objets virtuels - Google Patents

Abstract

Système d'interaction pseudo-haptique (1) comprenant : - un dispositif d'interaction pseudo-haptique (2) pour recevoir des efforts appliqués par l'utilisateur ; - un détecteur de position (14) pour déterminer la position du dispositif ; - un détecteur d'effort (13) adapté pour déterminer l'intensité desdits efforts; - un afficheur (15) ; adapté pour afficher un objet et un élément de manipulation (3) dudit objet, piloter ledit élément affiché en fonction de ladite position et/ou de l'intensité d'effort déterminée, calculer le paramètre d'effort en fonction de l'intensité d'efforts déterminée, déclencher ou non une étape de détermination d'une interaction entre lesdits objets et élément en fonction de la comparaison du paramètre d'effort et d'un seuil, et afficher ladite interaction entre lesdits objet et élément virtuel.

Description

Système d'interaction avec des objets virtuels La présente invention concerne un système d'interaction pseudo-haptique avec des objets virtuels comprenant : - un dispositif d'interaction pseudo-haptique apte à être maintenu par un utilisateur et à recevoir des efforts appliqués par l'utilisateur ; - un détecteur de position adapté pour déterminer la position, dans l'espace en trois dimensions, du dispositif d'interaction ; - un détecteur d'effort adapté pour déterminer l'intensité d'efforts appliqués par l'utilisateur sur le dispositif d'interaction ; - un écran d'affichage ; ledit système d'interaction étant adapté pour afficher sur l'écran d'affichage au moins un objet virtuel et un élément virtuel de manipulation dudit objet virtuel et pour piloter ledit élément virtuel affiché en fonction de ladite position déterminée du dispositif d'interaction et/ou de l'intensité d'effort déterminée. La manipulation d'objets virtuels 3D apparaissant sur un écran d'affichage est l'une des tâches fondamentales des applications de réalité virtuelle et d'interaction 3D avec des environnements virtuels. Ces applications relèvent par exemple de la médecine avec les simulateurs chirurgicaux, l'industrie avec le prototypage virtuel, ou encore le divertissement et les jeux vidéo. Des systèmes existent permettant un contrôle d'objets virtuels par l'intermédiaire de déplacements libres dans l'espace 3D des mains d'un utilisateur du système. L'interaction peut être améliorée à l'aide d'interfaces haptiques qui permettent à l'utilisateur de ces dispositifs d'expérimenter un retour haptique, i.e. une sensation, de contact ou d'effort relatif à la manipulation d'un objet virtuel dans l'application. Le terme « haptique » se rapporte au sens du toucher, tout comme optique qualifie la vision. Un retour haptique peut par exemple être appliqué par un gant exosquelette porté par une main d'un utilisateur. Il existe également d'autres méthodes, dites « pseudo-haptiques », de délivrer des sensations haptiques. Dans de telles méthodes, le retour haptique est généré à l'aide d'un autre sens, et en particulier à l'aide de retours visuels. Par exemple, considérons un objet virtuel manipulé par l'utilisateur via un périphérique d'entrée passif muni d'un capteur de force. La force appliquée par l'utilisateur peut servir à contrôler la vitesse visuelle de l'objet sur un écran d'affichage.

Supposons que l'objet virtuel est ralentit visuellement lorsqu'il traverse une zone spécifique. L'utilisateur a alors tendance à appliquer plus de force sur le périphérique d'entrée pour déplacer l'objet virtuel à l'écran d'affichage. Ceci l'amène à ressentir un plus grand effort. Le retour pseudo-haptique est ici fourni par le couplage du dispositif muni d'un capteur de force et d'une information visuelle. D'autres propriétés haptiques ont été simulées par des retour pseudo-haptiques (masse, texture, ou viscosité par exemple), et d'autres périphériques d'entrée ont déjà été utilisés pour simuler un retour pseudo- haptique (souris par exemple ; cf. A. Lécuver, "Simulating Haptic Feedback using Vision: a Survey of Research and Applications of Pseudo-Haptic Feedback, Presence: Teleoperators and Virtual Environments, MIT Press, Vol. 18, Issue 1, pp. 39-53, 2009). A cet effet, suivant un premier aspect, l'invention propose un système d'interaction avec des objets virtuels du type précité caractérisé en ce que ce qu'il est adapté pour calculer une valeur d'un paramètre d'effort en fonction de l'intensité d'efforts déterminée, pour comparer la valeur calculée du paramètre d'effort avec une valeur seuil d'interaction, pour déclencher ou non une étape de détermination d'une interaction entre ledit objet virtuel et ledit élément virtuel en fonction du résultat de la comparaison et pour afficher sur l'écran d'affichage ladite interaction déterminée entre ledit objet virtuel et ledit élément virtuel. Un tel système d'interaction permet de manipuler, saisir, et interagir avec des objets d'un environnement virtuel et de fournir à un utilisateur un retour pseudo-haptique lié à la saisie, la manipulation, ou l'interaction avec l'objet virtuel, tout en limitant les ressources de calcul et les ressources matérielles nécessaires. Dans des modes de réalisation, le système d'interaction avec des objets virtuels suivant l'invention comporte en outre une ou plusieurs des caractéristiques suivantes : l'interaction comprend au moins un élément parmi une saisie, une déformation et une manipulation, de l'objet virtuel par l'élément virtuel ; le système d'interaction est adapté pour afficher sur l'écran d'affichage une représentation de la valeur calculée du paramètre d'effort par rapport à la valeur seuil d'interaction ; des valeurs seuils d'interaction distinctes sont associées à des objets virtuels distincts ; le système d'interaction est adapté pour déterminer, en fonction du résultat de ladite comparaison, si une saisie dudit objet virtuel par ledit élément virtuel est valide, ledit système étant adapté, une fois qu'une saisie de l'objet virtuel a été déterminée valide, pour déterminer ladite interaction avec l'objet virtuel en fonction d'un écart entre la valeur seuil d'interaction et la valeur du paramètre d'effort calculée suite à la saisie valide, et/ou en fonction d'une position dans l'espace du dispositif d'interaction pseudo- haptique déterminée suite à la saisie valide ; - le système d'interaction est en outre adapté pour comparer la valeur calculée du paramètre d'effort avec une valeur seuil de repliement et pour afficher sur l'écran d'affichage une position dudit élément virtuel parmi une position ouverte et une position fermée autour de l'objet virtuel, en fonction d'au moins le résultat de ladite comparaison avec la valeur seuil de repliement ; - la représentation affichée de la valeur calculée du paramètre d'effort par rapport à la valeur seuil d'interaction évolue progressivement en fonction de l'écart entre le paramètre d'effort et la valeur seuil d'interaction ; - au moins une caractéristique d'un ensemble de pixels dudit élément virtuel sur l'écran d'affichage évolue progressivement en fonction de l'écart entre le paramètre d'effort et la valeur seuil d'interaction ; - le nombre de pixels dudit élément virtuel de couleur(s) donnée(s) respective(s) évolue progressivement en fonction de l'écart entre le paramètre d'effort et la valeur seuil d'interaction ; la représentation affichée de la valeur calculée du paramètre d'effort par rapport à la valeur seuil d'interaction est une première représentation pour les valeurs calculées du paramètre d'effort se trouvant dans une première plage donnée de valeurs inférieures ou égales à la valeur seuil d'interaction, et est une deuxième représentation distincte de la première représentation pour les valeurs calculées du paramètre d'effort se trouvant dans une deuxième plage donnée de valeurs supérieures ou égales à la valeur seuil d'interaction ; - au moins une caractéristique d'un ensemble de pixels dudit élément virtuel sur l'écran d'affichage prend une première valeur pour les valeurs calculées du paramètre d'effort se trouvant dans la première plage donnée et prend une deuxième valeur pour les valeurs calculées du paramètre d'effort se trouvant dans la deuxième plage donnée ; - les pixels dudit élément virtuel sont d'une première couleur pour les valeurs calculées du paramètre d'effort se trouvant dans la première plage, et les pixels dudit élément virtuel sont d'une deuxième couleur pour les valeurs calculées du paramètre d'effort se trouvant dans la deuxième plage donnée ; - le dispositif d'interaction pseudo-haptique est un dispositif à retour élastique passif. Ces caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple, et faite en référence aux dessins annexés, sur lesquels : - la figure 1 représente une vue d'un système d'interaction avec un environnement virtuel dans un mode de réalisation de l'invention ; la figure 2 représente un dispositif d'interaction du système représenté sur la figure 1 ; la figure 3 représente une vue du dispositif d'interaction de la figure 2 tenu dans une main d'un utilisateur, selon une première compression appliquée par l'utilisateur ; la figure 4 représente une vue du dispositif d'interaction de la figure 2 tenu dans une main d'un utilisateur, avec une deuxième compression appliquée par l'utilisateur ; la figure 5 est une vue d'une représentation d'une main virtuelle manipulée à l'aide du système proposé et évoluant en fonction des valeurs d'un paramètre r associé à une force de saisie d'un objet virtuel (retour visuel de type booléen au-dessus de l'axe, de type progressif en-dessous de l'axe) ; la figure 6 est une vue d'une représentation d'une main virtuelle manipulée à l'aide du système proposé et évoluant en fonction des valeurs d'un paramètre r associé à une force de saisie d'un autre objet virtuel (retour visuel de type booléen au-dessus de l'axe, de type progressif en-dessous de l'axe) ; la figure 7 représente une vue d'une manipulation d'un tiroir virtuel à l'aide du système proposé dans une première position ; la figure 8 représente une vue d'une manipulation du tiroir de la figure 7 à l'aide du système proposé dans une seconde position après application d'une force de type force I pour tirer le tiroir ; la figure 9 représente une vue d'une manipulation d'une punaise virtuelle enfoncée dans un support à l'aide du système proposé dans une première position ; la figure 10 représente une vue d'une manipulation de la punaise de la figure 9 à l'aide du système proposé dans une seconde position après application d'une force de type force II pour saisir la tête de la punaise ; la figure 11 représente une vue d'une manipulation d'un objet virtuel à l'aide du système proposé dans une première position ; la figure 12 représente une vue d'une manipulation de l'objet de la figure 11 à l'aide du système proposé dans une seconde position après application d'un vissage de l'objet de type couple I ; la figure 13 représente une vue d'une manipulation d'un levier virtuel dans une première position ; la figure 14 représente une vue d'une manipulation du levier de la figure 13 à l'aide du système proposé dans une seconde position après que le levier ait été tiré par un effort de type couple I ; la figure 15 est une vue d'une main virtuelle effectuant une première action ; la figure 16 est une vue d'une main virtuelle effectuant une deuxième action ; la figure 17 est une vue d'une main virtuelle effectuant une troisième action. Une vue d'un système d'interaction pseudo-haptique 1 dans un mode de réalisation de l'invention est représentée en figure 1. Le système d'interaction 1 est adapté pour permettre l'interaction d'un utilisateur U du système avec un environnement virtuel, via notamment la manipulation d'objets virtuels de l'environnement virtuel. Le système d'interaction 1 comprend un module de traitement 10, un écran d'affichage 15 et au moins un dispositif d'interaction pseudo-haptique 2. Dans le cas représenté en figure 1, le système d'interaction 1 comprend deux dispositifs d'interaction 2 similaires, référencés 21 et 22, destinés à être tenus chacun par une main respective de l'utilisateur U. L'écran d'affichage 15 est relié au module de traitement 10 et est adapté pour recevoir du module de traitement 10 des commandes d'affichage d'images et des données de définition desdites images, et pour afficher lesdites images 16 commandées. Le module de traitement 10 comprend un microprocesseur 11, une mémoire 12, un module capteur d'efforts 13 et un module capteur de position 14. La mémoire 12 stocke une application logicielle APP de simulation comprenant des instructions logicielles et des données de modélisation d'un environnement virtuel. L'application APP est adaptée pour, lorsqu'elle est exécutée sur le microprocesseur 11, déterminer des données de détermination d'images 16 de l'environnement virtuel et commander l'affichage sur l'écran d'affichage 15, des images 16 déterminées. Dans l'exemple considéré en figure 1, l'environnement représenté sur l'écran d'affichage est un environnement virtuel en 3 dimensions (3D) comportant des objets virtuels posés sur une table. Parmi ces objets virtuels figurent notamment : un shaker 17 avec un couvercle 18 amovible, un robinet 20, un levier 23 et d'un bouton de commande 25 ; des fruits 24 ; une ou plusieurs mains virtuelles 3 ; dans le cas considéré, deux mains virtuelles, référencées 31 et 32, sont représentées.

Chaque dispositif d'interaction 2 est adapté pour être tenu dans la main d'un utilisateur. Il est associé à une main virtuelle 3 respective et est adapté pour piloter cette main virtuelle 3 dans l'environnement virtuel représenté à l'écran 16, et ainsi commander des actions à mener dans l'environnement virtuel en fonction des déplacements et pressions que l'utilisateur applique au dispositif d'interaction 2. Ainsi dans le mode de réalisation représenté en figure 1, le dispositif d'interaction 21 est associé à la main virtuelle 31 tandis que le dispositif d'interactif 22 est associé à la main virtuelle 32. Le capteur de position 14 est adapté pour estimer la localisation et l'orientation dans l'espace de chaque dispositif d'interaction 2 du système d'interaction 1. Le capteur d'efforts 13 est adapté pour estimer la valeur d'efforts appliqués par l'utilisateur U sur chaque dispositif d'interaction 2 tenu en main par l'utilisateur U. Dans le mode de réalisation, en référence à la figure 2, le dispositif d'interaction 2 comprend un outil élastique de musculation de la main, par exemple de type Grip Master®, doté de ressorts 37 et de marqueurs de suivi optique, ici des pastilles infra rouges 35, adaptés pour effectuer des mesures optiques caractérisant les mouvements du dispositif 2. Il est de faible poids (129 grammes), de taille réduite (8 cm x 7 cm x 1,5 cm). Les pastilles optiques 35 ont été fixées aux extrémités extérieures de tiges prolongeant les deux montants latéraux extérieurs du dispositif se faisant face à travers les ressorts et destinés à venir en contact de la main. Le dispositif 2 comporte en outre un émetteur/récepteur 36 sans fil couplé aux pastilles 35 et adapté pour recevoir les mesures optiques effectuées et transmises par celles-ci et pour délivrer ces mesures au capteur d'efforts 13 et au capteur de position 14. Le dispositif d'interaction 2 considéré est ainsi un dispositif à retour haptique passif. Il fournit à l'utilisateur une sensation haptique de force de serrage, avec une raideur interne constante (les dispositifs à retour haptique actif, comprennent eux des actionneurs qui peuvent fournir des efforts variables à l'utilisateur et donc une raideur interne variable) Le capteur de position 14 est adapté pour déterminer en temps réel, par exemple à chaque pas de calcul tn = tn_l + 31, à partir d'un instant tc, de début d'expérimentation, et en fonction des mesures optiques transmises depuis chaque dispositif d'interaction 2, la localisation et l'orientation de ce dispositif d'interaction 2 dans l'espace 3D de l'utilisateur U. Le capteur d'efforts 13 est adapté pour déterminer en temps réel, par exemple à chaque pas de calcul tn = tn_l + 31, en fonction des mesures optiques transmises depuis chaque dispositif d'interaction 2, l'aire A de la surface du rectangle délimité par les 4 marqueurs 35 de suivi optique du dispositif d'interaction, comme représenté en figures 3 et 4 dans deux configurations différentes. La compression exercée par la main de l'utilisateur U sur le dispositif d'interaction 2 représenté sur la figure 4 est supérieure à celle de la figure 3. La valeur A de cette aire est représentative des efforts appliqués par l'utilisateur U sur les ressorts 37. La valeur de l'aire est maximale égale à Amax quand le dispositif d'interaction 2 est complètement relâché et la valeur de l'aire est minimale égale à Amin quand le dispositif d'interaction 2 est compressé au maximum. Le capteur d'efforts 13 est adapté pour déduire de l'aire A déterminée à l'instant tn et nommée An, un ratio de compression normalisé, nommé rn, défini par : rn = 1- (An - Amin)/ (Amax Amin)- La valeur de rn est ainsi égale à 0 quand le dispositif d'interaction 2 est relâché et égal à 1 quand il est compressé au maximum. La variation de rn dans le temps est linéaire.

Déterminer la compression à partir de l'aire An assure que la valeur de compression calculée est cohérente quand l'utilisateur applique plus de force via son index ou son auriculaire, ce qui donne lieu à un non-parallélisme des deux montants latéraux extérieurs. Cette méthode de détermination des efforts appliqués par l'utilisateur sur le dispositif d'interaction est une méthode parmi d'autres pour mesurer l'effort de serrage. Dans d'autres modes de réalisation, des capteurs de pression directement positionnés sous les doigts de l'utilisateur (sur les pistons par exemple) sont utilisés. L'application APP est adaptée pour déterminer en temps réel, par exemple à chaque pas de calcul tn, des images actualisées 16 de l'environnement virtuel en fonction des données de définition de l'environnement virtuel stockées en mémoire 12 qui définissent notamment l'évolution de l'environnement, voire un scénario, et en outre en fonction des informations d'efforts fournies par le capteur d'efforts 13 et des mouvements effectués par les dispositifs d'interaction 2 définis par les informations de localisation et d'orientation des dispositif d'orientation 2 délivrés par le capteur de position 14.

Notamment l'application APP est adaptée pour actualiser, en fonction des données de localisation et d'orientation de chaque dispositif d'orientation 2, la position et l'orientation sur les images 16 affichées, de la main virtuelle 3 respectivement associée à ce dispositif d'orientation 2. Chaque main virtuelle 3 associée à un dispositif d'interaction 2 tenu par l'utilisateur U se déplace donc sur les images affichées 16 en fonction des changements de localisation et d'orientation de ce dispositif d'interaction tels qu'imposés par l'utilisateur U le tenant.

L'application APP est en outre adaptée pour, à chaque pas de temps tn, calculer un ratio virtuel de compression rvirtuel, tel que si on nomme rvirtuebn le ratio rvirtuel calculé à l'instant tn : rviduebn = rvirtuebn-1+ kfilt X( rn- rvirtuebn-1), où kfilt est un coefficient de raideur.Un tel filtrage permet de lisser les mesures et d'atténuer les problèmes d'imprécision des mesures optiques. La valeur kfilt est déterminée comme un compromis entre une atténuation des instabilités (kfilt faible) et une réactivité de la compression (kfilt élevé). Cette valeur kfilt est dans l'intervalle [0,1], par exemple elle est prise égale à 0,15. L'application APP est notamment adaptée pour déterminer le niveau de fermeture ou d'ouverture de la main virtuelle en fonction de ce ratio rvirtuei,n- et pour commander l'affichage de la main virtuelle dans une position d'ouverture correspondante. Parmi les techniques applicables de couplage virtuel entre une main virtuelle et un dispositif d'interaction 2 tenu par la main de l'utilisateur U figure par exemple celle décrite dans le document C. W. Borst and A. P. Indugula. Realistic Virtual Grasping. In Proceedings of the IEEE Conference on Virtual Reality, pages 91-98, 2005. L'application APP est en outre adaptée pour déterminer en fonction d'au moins la comparaison entre la position et orientation courante d'une main virtuelle et la position d'un objet virtuel de l'image 16 affichée, si l'utilisateur sélectionne l'objet virtuel.

Sélection d'objet virtuel Dans un mode de réalisation, il est considéré que l'utilisateur U sélectionne l'objet si la main virtuelle 3 piloté par l'utilisateur U via un dispositif d'interaction 2 est au contact de l'objet virtuel. Dans le mode de réalisation considéré dans le cas présent, une main virtuelle 3 doit être placée dans une configuration de saisie valide autour de l'objet virtuel visé. Par exemple dans le cas représenté sur les figures, où la main virtuelle prend la forme d'une moufle, avec le pouce distinct de l'ensemble des autres doigts d'une main considérés comme unis, la sélection d'un objet virtuel par une main virtuelle 3 est valide au pas tn : si la main virtuelle 3 est alors disposée autour de l'objet virtuel et s'il existe au moins un contact entre le pouce de la main virtuelle 3 et l'objet virtuel et au moins un contact entre l'objet virtuel et l'ensemble des autres doigts ; et si le ratio virtuel de compression calculé rvirtuebn relatif à cette main virtuelle 3 est supérieur à un premier seuil fixé nommé seuil de repliement rfolding- La valeur rfolding correspond à une légère compression effectuée par l'utilisateur U autour du dispositif d'interaction 2.

Une animation de repliement du pouce vers les autres doigts unis d'une main virtuelle 3 autour d'un objet virtuel est dans ce cas affichée sur l'image 16 au nIème pas de calcul tn lorsque la sélection est valide, i.e. le ratio virtuel de compression calculé rvouel,,, relatif à cette main virtuelle devient supérieur au seuil de repliement rfolding- Et a contrario, si la main virtuelle 3 était précédemment repliée et si au pas de calcul tn, le ratio virtuel de compression calculé rvirtuel,n devient inférieur au seuil de repliement rfolding, une animation de dépliement de la main virtuelle est alors affichée sur l'image 16 affichée sur l'écran 15. L'animation de repliement de la main virtuelle 3 sur un objet virtuel est adaptée par l'application APP à la forme de l'objet virtuel saisi pour éviter l'interpénétration de l'objet virtuel et de la main virtuelle 3 (cf. par exemple R. Boulic et al., Multi-Finger Manipulation of Virtual Objects, In Proceedings of the ACM Symposium on Virtual Reality Software and Technology, pages 67-74, 1996). Suite à une telle action de repliement de main virtuelle 3, il apparaît sur l'image 16 au moins un contact entre le pouce de la main virtuelle 3 et l'objet virtuel sélectionné et au moins un contact entre l'objet virtuel et l'ensemble des autres doigts. Manipulation d'objets virtuels Une fois un objet virtuel sélectionné et le repliement d'une main virtuelle 3 comme indiqué ci-dessus, l'utilisateur U doit alors exercer une force suffisante sur le dispositif d'interaction 2 associé à la main virtuelle 3 pour interagir avec cet outil : saisir cet objet virtuel, pour le cas échéant le manipuler, l'actionner (dans le cas d'un outil), le déformer. Ainsi, une saisie valide est déterminée à un pas de calcul tm si le ratio virtuel calculé rviduebn alors est supérieur à un deuxième seuil fixé nommé rg supérieur au seuil rfolding- rasping, SU Sinon, l'objet virtuel n'est pas considéré par l'application APP comme saisi et ne peut ensuite être manipulé. Et une fois l'objet virtuel saisi, la compression exercée par l'utilisateur sur le dispositif d'interaction est telle que le ratio correspondant r',rtuel doit rester supérieure au seuil rgrasping pour que l'objet soit manipulé. Les objets virtuels peuvent alors être manipulés, par exemple utilisés et/ou déplacés, dans l'environnement virtuel par l'intermédiaire de la main virtuelle 3. Des objets virtuels tels que des outils aptes à l'exécution d'actions bénéficient d'un degré supplémentaire de liberté en ce que leur fonctionnement en tant qu'outil peut être modulé en fonction de la force exercée par l'utilisateur U sur le dispositif d'interaction 2 associé à la main virtuelle 3 ayant saisi sur l'outil. Par exemple, la fermeture d'une paire de ciseaux peut être modulée selon l'effort appliqué sur le dispositif d'interaction 2 tel qu'indiqué par la valeur rvirtapi dans la plage de valeurs entre rgrasping et 1.

Dans un mode de réalisation, un retour visuel de l'amplitude de la force de pression progressivement croissante exercée sur l'objet virtuel via le dispositif d'interaction 2 lors de la saisie de l'objet virtuel est fourni par l'application APP dans un premier mode, de type booléen, qui est illustré en figure 5 sur la partie au-dessus de l'axe des r représentant les valeurs prises par le ratio rvirtuel. Ainsi sur l'image 16, comme vu précédemment, la main virtuelle 3 se replie lorsque le ratio virtuel de compression calculé rv,rtuel devient supérieur au premier seuil rfolding- La couleur de la main virtuelle 3 reste inchangée tant que le ratio virtuel de compression calculé rvirtuel reste inférieur au deuxième seuil rgrasping - Cette couleur est par exemple blanche. Puis quand le ratio virtuel de compression calculé rv,rtuel devient supérieur ou égal au deuxième seuil rgrasping, la couleur de la main virtuelle 3 est modifiée. Par exemple, elle passe alors du blanc au bleu (le bleu est représenté par des pointillés sur la figure 5). Ainsi l'utilisateur U est informé du moment à partir duquel l'objet virtuel est saisi de manière valide par la main virtuelle 3 et devient apte à être manipulé, la manipulation devant être en sus de l'effort de pression de ratio d'effort rv,rtuel supérieur ou égal à rgrasping pendant la manipulation. La manipulation comprend par exemple un effort additionnel en pression et/ou un mouvement de translation et/ou de rotation du dispositif d'interaction 2 etc. par la main de l'utilisateur U. Dans un autre mode de réalisation, le retour visuel de l'amplitude de la force exercée sur le dispositif d'interaction 2 sur l'objet virtuel 40 est fourni différemment par l'application APP. Ce deuxième mode, de type progressif, est illustré en figure 5 sur la partie au-dessous de l'axe des r. Dans ce cas, la couleur bleue remplit peu à peu la main, depuis les extrémités des doigts jusqu'à la base de la main virtuelle 3, au fur et à mesure que la valeur du ratio virtuel de compression calculé rv,rtuel, inférieure au seuil rgrasping, se rapproche du seuil rgrasping (par exemple la relation entre le remplissage et l'écart entre rv,rtuel, et rgrasping est linéaire).

Dans un mode de réalisation, la couleur bleue est progressivement recouverte d'une autre couleur, dans l'autre sens, par exemple d'une couleur jaune, depuis l'extrémité des doigts jusqu'à la base de la main, au fur et à mesure que la valeur du ratio virtuel de compression calculé rvirtuel, croît au delà du seuil rgrasping, de manière à indiquer l'excès de force appliquée par l'utilisateur U sur le dispositif d'interaction 2 dans le cadre de la saisie (le jaune est représenté par des hachures sur la figure 5).

Bien entendu, d'autres couleurs et plus généralement d'autres méthodes pour restituer ces informations peuvent être utilisées selon l'invention. L'usage selon l'invention d'un dispositif d'interaction élastique 2, d'une main virtuelle 3 qui lui est associée, d'un retour visuel et du traitement relatif à la sélection et à la saisie d'un objet virtuel permet la manipulation de l'objet virtuel et l'obtention d'un retour haptique passif via la main de l'utilisateur U. Dans un mode de réalisation de l'invention, une approche pseudo-haptique est en outre introduite en vue d'améliorer les sensations haptiques et de permettre la perception de différents niveaux d'efforts par l'utilisateur U. Cette approche pseudo-haptique est basée sur le principe général suivant : on associe des valeurs de seuil rgrasping variables selon les objets virtuels (et dans un mode de réalisation variable pour un même objet virtuel en fonction de paramètres tels que son état, le contexte etc.) et plus l'intensité de la propriété haptique simulée est grande, plus la valeur fixée pour le seuil rgrasping associé à l'objet pour valider la saisie et ensuite pour manipuler l'objet est grande. Ainsi des seuils spécifiques rgrasping sont associés à des objets virtuels différents de manière à associer une propriété haptique à une force de saisie minimale requise. Une propriété haptique est une propriété des objets ou de l'interaction qui peut être captée et mesurée par le sens haptique, par exemple des propriétés telles que : le frottement, la viscosité, la masse, la raideur, ou encore la texture (rugosité, densité), etc. Par exemple, plus l'objet virtuel sera lourd, plus l'effort de serrage nécessaire pour le manipuler sera important. Même chose pour les autres propriétés haptiques : il faudra serrer plus fort sur le dispositif pour attraper et manipuler des objets plus durs par exemple.

Le retour visuel indiqué ci-dessus relatif à la saisie valide d'un objet, en mode booléen ou progressif, est alors fonction du seuil spécifique rgrasping associé à l'objet virtuel saisi et permet ainsi de restituer les différences de dynamiques des objets virtuels. La figure 6 représente l'évolution de l'affichage d'une main virtuelle 3 sélectionnant puis saisissant un objet virtuel 50 lorsque le ratio virtuel de compression calculé r''1', passe progressivement de la valeur 0 à la valeur 1 (axe r), le seuil rgrasping associé à l'objet virtuel 50 étant supérieur au seuil rgrasping associé à l'objet virtuel 40 considéré en figure 5. Le retour visuel est réalisé en mode booléen au-dessus de l'axe des r, et en mode progressif au-dessous de l'axe des r. Sur la figure 6 par rapport à la figure 5, on remarque, en mode booléen et en mode progressif, une augmentation du temps nécessaire pour l'apparition du changement de couleur de la main virtuelle 3. Dans le cas de saisie de l'objet virtuel 50 associé à un seuil rgrasping de valeur plus élevée que celui de l'objet 40, du fait du changement de couleur plus lent de la main virtuelle 3, l'utilisateur U va être amené à appliquer plus de force pour accélérer et valider la saisie. Du fait de la nature élastique du dispositif d'interaction 2, un seuil plus haut induit automatiquement des retours haptiques plus élevés. La nature des propriétés haptiques simulées est fonction du contexte et est fonction par exemple de l'objet virtuel et de la manipulation virtuelle réalisable sur l'objet via la main virtuelle. Par exemple, une première propriété haptique simulable ainsi est le poids d'un objet virtuel en affectant à chaque objet virtuel un seuil de saisie respectif qui augmente avec le poids m de l'objet. La loi de commande d'un environnement virtuel comportant N objets virtuels nommés 0,, i = 1 à N, et tels qu'il est souhaité faire ressentir à l'utilisateur U le poids respectif m, de chacun de ces objets, est alors par exemple de la forme rgrasping(i) =S.rniirnmax, où mmax est le maximum des poids m, , i= 1 à N, et s est un coefficient d'échelle. Ainsi plus l'objet virtuel 0, est lourd, plus l'effort nécessaire pour le saisir, puis le manipuler (par exemple en commandant des déplacements en déplaçant de façon correspondante le dispositif d'interaction 2), sera élevé et plus l'utilisateur U devra fournir un effort de serrage élevé pour le soulever. Un autre exemple de propriété haptique simulable est la raideur interne d'un objet déformable. Le seuil rgrasping de l'objet virtuel est alors fonction du coefficient de raideur associé à l'objet dans un mode de réalisation de l'invention, l'objet ne pouvant être manipulé (i.e. dans ce cas déformé) que si l'effort appliqué par pression sur le dispositif 2 est supérieur au seuil rgrasping de l'objet virtuel. Ainsi les objets très durs ne pourront se déformer qu'en cas d'application d'efforts de saisie plus élevés que ceux nécessaires à la déformation d'objets plus mous. Un autre exemple de propriété haptique simulable est l'effort requis pour se servir d'un outil tel que des pinces. Le seuil rgrasping de l'outil est fonction d'un coefficient d'effort de l'outil nécessaire pour le faire fonctionner, de valeur propre à l'outil. Dans un autre exemple, la valeur de seuil rgrasping d'un pistolet de peinture ou d'aérosol virtuel est actualisée en fonction de la quantité de liquide virtuellement contenue ou de la pression interne (par exemple un seuil rgrasping qui croît lorsque la quantité de liquide contenue décroît, ou lorsque la pression interne augmente) et/ou en fonction du flux (La quantité de liquide pulvérisée croît avec la compression appliquée).

Il existe différents types de classification de manipulations d'objets par une main. Dans un mode de réalisation de l'invention, la classification de Bloomfield et al. est utilisée par l'application APP. Cette classification prend en compte le type de manipulation (commande fine, force, assistée par outil ou avec plusieurs doigts) et par le type d'effort mécanique impliqué : uniquement un effort de type force I : la force appliquée est alignée avec le mouvement (par exemple pousser une boîte) ; uniquement un effort de type force II : la force appliquée n'est pas alignée avec le mouvement (par exemple tirer une punaise par saisie de sa tête ; uniquement un effort de type couple (moment de torsion) I : l'axe du couple appliqué passe à travers l'endroit de saisie (par exemple : dévisser à l'aide d'un tournevis) ; uniquement un effort de type couple II : l'axe du couple appliqué ne passe pas par l'endroit de saisie (par exemple tirer un levier) ; effort comprenant force(s) et moment(s) : tâche hybride combinant forces et moments (par exemple tirer une porte tout en tournant un loquet). A titre d'illustration, en référence aux figures 7 et 8 illustrant un scénario de l'application APP mettant en oeuvre un effort de type force I, la propriété haptique simulée est de tirer, selon l'axe X, un tiroir 41 muni d'une poignée 3 à l'aide d'une main virtuelle 3. La main virtuelle 3 saisit d'abord la poignée 42, puis une fois la saisie validée conformément au seuil rgrasping associé, le tiroir 41 est ouvert par un déplacement linéaire de la main virtuelle 3 commandé par un déplacement linéaire correspondant de la main de l'utilisateur U du dispositif d'utilisation 3.

Les figures 9 et 10 illustrent un scénario de l'application APP mettant en oeuvre un effort de type force II, la propriété haptique simulée est de saisir, puis de tirer, selon l'axe Y, une punaise 44 enfoncée dans un support 43 à l'aide d'une main virtuelle 3. Ce scénario et celui illustré en figures 7-8 sont distincts en ce que dans le cas de la punaise, les forces de saisie sont perpendiculaires à la direction de mouvement selon l'axe Y.

Les figures 11 et 12 illustrent un scénario de l'application APP mettant en oeuvre un effort de type couple I, la propriété haptique simulée est de saisir, puis de visser un objet virtuel 45, à l'aide d'une rotation du poignet permettant à l'objet 45 d'effectuer une rotation R1 sur lui-même (un indice 46 est référencé sur l'objet 45 permettant d'identifier la rotation subie.

Les figures 13 et 14 illustrent un scénario de l'application APP mettant en oeuvre un effort de type couple II, la propriété haptique simulée est de saisir, puis de tirer un bras de levier virtuel 46 depuis une extrémité du bras, le levier 45 effectuant alors une rotation R2, l'autre extrémité du bras demeurant fixe. Dans un mode de réalisation, l'application APP permet à l'utilisateur de manipuler le monde virtuel représenté en figures 1, 15, 16 et 17, en retirant par dévissage le couvercle 18 du shaker 17, en appliquant des efforts distincts sur le bouton 25 en fonction de la raideur du ou des fruits 24 insérés dans le shaker. L'effort à appliquer au levier 23 pour faire passer le jus des fruits mixés sera aussi différents en fonction du niveau de liquide dans le shaker.

Les propriétés haptiques ainsi simulées sont associées à des retours pseudo- haptiques variés, en utilisant des seuils rgrasping respectifs de la manière décrite ci-dessus : par exemple, le seuil rgrasping associé au levier 23, pour le saisir et l'actionner dépend du niveau de remplissage du shaker. Similairement le seuil rgrasping associé au bouton 25, i.e. considéré pour le saisir et l'actionner dépend de la raideur des fruits contenus dans le shaker 17 etc. Un système d'interaction selon l'invention permet de procurer à l'utilisateur des retours haptiques variés et nuancés, à l'aide du retour pseudo-haptique, à l'aide de ressources limitées et peu coûteuses, tant au niveau du dispositif d'interaction que des ressources de calculs et d'affichage.

Dans d'autres modes de réalisation, le module capteur d'efforts 13 et/ou le module capteur de position 14 sont distants du module de traitement 10 (ils sont par exemple localisés sur le dispositif d'interaction 10) et sont adaptés pour transmettre à l'application APP, par exemple par voie sans fil, les informations qu'ils calculent respectivement. Dans un autre mode de réalisation, un dispositif d'interaction est adapté pour transmettre des efforts en pression ou en extension, à l'aide d'une main ou à l'aide des deux mains de l'utilisateur U. Dans le mode de réalisation considéré ci-dessus, le capteur de position 14 est adapté pour estimer la localisation et l'orientation d'un dispositif d'interaction 2. Dans un autre mode de réalisation, le module capteur de position 14 est adapté pour estimer la localisation et l'orientation d'une main d'un utilisateur U. Dans l'exemple ci-dessus, il a été considéré un seuil nommé rgrasping, qui permettait de vérifier la validité d'une saisie d'un objet virtuel, avant une manipulation éventuelle additionnelle de l'objet. Dans un mode de réalisation plus générique, on met en oeuvre l'invention en considérant à la place du seuil rgrasping un seuil qu'on nommera rinteracting qui permet de vérifier la validité d'une interaction, cette interaction pouvant être une saisie, une déformation, un actionnement, et/ou une manipulation de l'objet virtuel par la main virtuelle.

Claims (13)

1. REVENDICATIONS1.- Système d'interaction pseudo-haptique (1) avec des objets virtuels (18, 20, 24) comprenant : - un dispositif d'interaction pseudo-haptique (2) apte à être maintenu par un utilisateur (U) et à recevoir des efforts appliqués par l'utilisateur ; - un détecteur de position (14) adapté pour déterminer la position, dans l'espace en trois dimensions, du dispositif d'interaction ; - un détecteur d'effort (13) adapté pour déterminer l'intensité d'efforts appliqués par l'utilisateur sur le dispositif d'interaction ; - un écran d'affichage (15) ; ledit système d'interaction étant adapté pour afficher sur l'écran d'affichage au moins un objet virtuel et un élément virtuel de manipulation (3) dudit objet virtuel et pour piloter ledit élément virtuel affiché en fonction de ladite position déterminée du dispositif d'interaction et/ou de l'intensité d'effort déterminée ; ledit système d'interaction pseudo-haptique étant caractérisé en ce qu'il est adapté pour calculer une valeur d'un paramètre d'effort en fonction de l'intensité d'efforts déterminée, pour comparer la valeur calculée du paramètre d'effort avec une valeur seuil d'interaction (rgrasping), pour déclencher ou non une étape de détermination d'une interaction entre ledit objet virtuel et ledit élément virtuel en fonction du résultat de la comparaison et pour afficher sur l'écran d'affichage ladite interaction déterminée entre ledit objet virtuel et ledit élément virtuel.
2. 2.- Système d'interaction pseudo-haptique (1) selon la revendication 1, dans lequel l'interaction comprend au moins un élément parmi une saisie, une déformation et une manipulation, de l'objet virtuel par l'élément virtuel.
3. 3.- Système d'interaction pseudo-haptique (1) selon la revendication 1 ou 2, adapté pour afficher sur l'écran d'affichage une représentation de la valeur calculée du paramètre d'effort par rapport à la valeur seuil d'interaction (rgrasping).
4. 4.- Système d'interaction pseudo-haptique (1) selon l'une quelconque des revendications précédentes, dans lequel des valeurs seuils d'interaction distinctes sont associées à des objets virtuels distincts.35
5. 5.- Système d'interaction pseudo-haptique (1) selon l'une quelconque des revendications précédentes, adapté pour déterminer, en fonction du résultat de ladite comparaison, si une saisie dudit objet virtuel par ledit élément virtuel est valide, ledit système étant adapté, une fois qu'une saisie de l'objet virtuel a été déterminée valide, pour déterminer ladite interaction avec l'objet virtuel en fonction d'un écart entre la valeur seuil d'interaction et la valeur du paramètre d'effort calculée suite à la saisie valide, et/ou en fonction d'une position dans l'espace du dispositif d'interaction pseudohaptique déterminée suite à la saisie valide.
6. 6.- Système d'interaction pseudo-haptique (1) selon l'une quelconque des revendications précédentes, étant en outre adapté pour comparer la valeur calculée du paramètre d'effort avec une valeur seuil de repliement (rfolding 1 et pour afficher sur l'écran d'affichage une , position dudit élément virtuel parmi une position ouverte et une position fermée autour de l'objet virtuel, en fonction d'au moins le résultat de ladite comparaison avec la valeur seuil de repliement (rfolding)-
7. 7.- Système d'interaction pseudo-haptique (1) selon l'une quelconque des revendications précédentes, dans lequel la représentation affichée de la valeur calculée du paramètre d'effort par rapport à la valeur seuil d'interaction évolue progressivement en fonction de l'écart entre le paramètre d'effort et la valeur seuil d'interaction.
8. 8.- Système d'interaction pseudo-haptique (1) selon la revendication 7, dans lequel au moins une caractéristique d'un ensemble de pixels dudit élément virtuel (3) sur l'écran d'affichage (15) évolue progressivement en fonction de l'écart entre le paramètre d'effort et la valeur seuil d'interaction.
9. 9.- Système d'interaction pseudo-haptique (1) selon la revendication 7 ou 8, dans lequel le nombre de pixels dudit élément virtuel (3) de couleur(s) donnée(s) respective(s) évolue progressivement en fonction de l'écart entre le paramètre d'effort et la valeur seuil d'interaction.
10. 10.- Système d'interaction pseudo-haptique (1) selon l'une quelconque des revendications précédentes, dans lequel la représentation affichée de la valeur calculée du paramètre d'effort par rapport à la valeur seuil d'interaction est une première représentation pour les valeurs calculées du paramètre d'effort se trouvant dans une première plage donnée de valeurs inférieures ou égales à la valeur seuil d'interaction, et est une deuxièmereprésentation distincte de la première représentation pour les valeurs calculées du paramètre d'effort se trouvant dans une deuxième plage donnée de valeurs supérieures ou égales à la valeur seuil d'interaction.
11. 11.- Système d'interaction pseudo-haptique (1) selon la revendication 10, dans lequel au moins une caractéristique d'un ensemble de pixels dudit élément virtuel (3) sur l'écran d'affichage (15) prend une première valeur pour les valeurs calculées du paramètre d'effort se trouvant dans la première plage donnée et prend une deuxième valeur pour les valeurs calculées du paramètre d'effort se trouvant dans la deuxième plage donnée.
12. 12.- Système d'interaction pseudo-haptique (1) selon la revendication 10 ou 11, dans lequel les pixels dudit élément virtuel (3) sont d'une première couleur pour les valeurs calculées du paramètre d'effort se trouvant dans la première plage, et les pixels dudit élément virtuel sont d'une deuxième couleur pour les valeurs calculées du paramètre d'effort se trouvant dans la deuxième plage donnée.
13. 13.- Système d'interaction pseudo-haptique (1) selon l'une quelconque des revendications précédentes, dans lequel le dispositif d'interaction pseudo-haptique (2) est un dispositif à retour élastique passif.20