EP1358632A1 - Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif - Google Patents

Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif

Info

Publication number
EP1358632A1
EP1358632A1 EP02700348A EP02700348A EP1358632A1 EP 1358632 A1 EP1358632 A1 EP 1358632A1 EP 02700348 A EP02700348 A EP 02700348A EP 02700348 A EP02700348 A EP 02700348A EP 1358632 A1 EP1358632 A1 EP 1358632A1
Authority
EP
European Patent Office
Prior art keywords
avatar
behavior
animation
intention
intentional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP02700348A
Other languages
German (de)
English (en)
Inventor
Pascal Le Mer
Grégory SAUGIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1358632A1 publication Critical patent/EP1358632A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics

Definitions

  • the invention relates to an avatar animation method for ensuring communication in a collaborative virtual environment. not immersive.
  • the term Virtual Collaborative Environment (ECV) is used to designate a virtual environment that allows several people to collaborate remotely, the equipment used being linked by network (we also speak of a distributed environment).
  • EVC Virtual Collaborative Environment
  • avatars are introduced to ensure the more or less realistic- or similar representation of each person.
  • HMI man-machine interface
  • the invention proposes a new concept of human-machine interface making it possible to interact with the virtual environment and communicate to. through his own avatar (or clone), in an "office" context.
  • The-. “televirtuality” type systems [1] which, for example using a video technique or magnetic capture, make it possible to reproduce the behavior of the user facing his terminal through his avatar (eg facial expressions, communication gestures, etc. ) .. We can capture facial expressions and reproduce them through the avatar. Today, the technique also makes it possible to detect [6] and reproduce the gestures [4,5] (ie arms, body, etc.) as we can see in Figure 1.
  • “Body chat” type systems where each action (interaction with the environment) and each avatar behavior is activated by an avatar command interface [2]. There are many examples of this type of operation in the television world.
  • the idea here is to give behavior to an avatar to signify everyone's activity in the environment. It is then the system which manages its behavior by choosing it from a base of pre-calculated behaviors.
  • the HMI interface allows the user to act in the world, while we can ".
  • these systems do not make it possible to reproduce simultaneously the g.es.tes .. of expressions (that is to say, for example, designate someone with the arm) and the gestures of action and perception (that is to say, manipulating an object of the virtual world or changing point of view) of the user, without using immersive technologies.
  • the object of the invention is to offer a user a method and a device allowing him to communicate by expressing himself in a natural way (that is to say: verbal and non-verbal, so as to preserve the richness co-verbal gestures of the human being) with other people while having the possibility of interaction with the common virtual environment, through an office terminal.
  • the device makes it possible to offer a realistic representation of a user in a common virtual environment, in which he can interact and communicate non-verbally without being constrained by an intrusive system.
  • this device one can for example envisage telecommerce, teleconception, distance learning, teleconference, games, etc. services.
  • the subject of the invention is more particularly a method of animating avatars corresponding to people to ensure communication in a non-immersive virtual environment between these people by means of a terminal provided with a display screen and input devices; the terminal comprising means for controlling animation and displaying images corresponding to .1 '. virtual environment. with. des- ..
  • a.vatars. à., from information received from its peripherals and from a communication network to which it is connected, characterized in that it comprises: the implementation of means for performing functions intentional actions (perception and expression action) of a user and the provision of corresponding information, then a behavior analysis - including a cycle consisting of performing the following operations N times:
  • the subject of the invention is also a device for animating avatars corresponding to people for ensuring communication in ... a virtual environment n.o.n. immersive between people, comprising a terminal provided with a display screen and input devices, the terminal comprising means for displaying the virtual environment and avatars from information received from its devices and of a telecommunications network, characterized in that the terminal comprises: - means for implementing intentional functions of a user of said device and providing corresponding information,
  • FIG. 6 an illustration of a card game part
  • - Figure 7 an illustration of this part in the case where the players are distant and use the method of one invention.
  • the visual feedback module illustrated in FIG. 3 then allows the user to know in which mode the system is, which can • serve as a regulator if there is ambiguity in the state thereof. Indeed, according to the mode of interaction, the .dis-positi-f. (the HMI interface). from, - the user displays visual feedback adapted to the type of interaction and the user's avatar behaves accordingly.
  • FIG. 1 shows the block diagram of the general operation of the proposed system.
  • the system implements:
  • Each terminal T includes:
  • - specialized interaction input devices B (ex: mouse, SpaceMouse TM, etc.) for any collaborative activity (ex: design of an automobile).
  • a software module L for intention detection and animation determination using the data coming from the input peripherals.
  • This device allows: -a representation of the user by an avatar in a common virtual environment.
  • the avatar of a user is sometimes animated from a library of pre-calculated behaviors, placed in the system and sometimes guided according to the gestures of the user.
  • the device adapts according to the user's intentions by giving suitable visual feedback; this so that he is aware of his level of
  • the mode selection is not binary; that is to say that • * the device makes it possible to combine semiotic and ergotic behavior (eg looking at someone while handling an object).
  • Pointing-manipulation and navigation device these devices can be used in, excluding their ergotic and epistemic functions (eg by using a particular button).
  • the user exploits the movements of the head and hands by excluding their unaddressed semiotic function (eg by using an area of influence of the head or hands [7]). Note that in this case there is no need to have an addressing device as illustrated in FIG. 3.
  • Semiotigue non -a d essé - A microphone its use makes it possible to determine the visemes to be reproduced in the animation of the avatar when the user speaks.
  • One or more camera (s) their use makes it possible to capture the position and orientation of the user's body, head and hands in space.
  • peripherals are used here for any action in the environment (eg mouse and SpaceMouse TM for the design of a motor vehicle; phantom TM (registered trademark) for a 3D sculpture activity; etc.)
  • the detection module intention and mode determination is illustrated by the detailed steps in Figure 5. This module works for each minimum unit of intention; namely: hands, body and head. Obviously, the ergotic and epistemic behaviors of the head and the body are limited. • We have not described here all the ways of determining the intention of the user, since the peripherals used are only specified in terms of category (devices for capturing posture, pointing, manipulation and navigation, etc.).
  • the system is in ergot ic-epistemic mode for this hand.
  • the visual feedback module allows the user to regulate the situation by acting on a device.
  • Player --3- responds to player 1;
  • Player 1 points to player 2 while looking at him and tells him "it's your turn to start ";
  • Player 2 places a card and looks at player 3 to indicate that it is up to him to place the next one;
  • Player 3 places a card, making a reflection to everyone, on the card he has just played; 10. Player 4 places a card;
  • Player 3 successively designates player 4 and the game by saying that he "does not have the right to play this card ".
  • Player 4 takes his card and plays again; 13. Player 1 looks at his partner player 3 with an admirent look and tapping on the table to make him understand that he played badly before; then takes a card from the deck, grimacing;
  • the game is on its way
  • Player 2 pauses the last card and looks at his partner player 4, smiling to show him his satisfaction; 16. Player 1 takes the pencil and the sheet and counts the, points;
  • Player 2 collects the cards and then distributes them for a new game.
  • the interactions of the ergotic type are done in the following way: - Use of the pointing device to control the pointer - 3D in a classic way.
  • the instrumented semiotic addressed technique makes it possible to control the gaze of one's own avatar and the gestures of designation of a hand:
  • Unaddressed semiotic gestures are detected: - For the hands when the peripherals are not activated while significant movements are captured by the behavior capture module.
  • the exact posture of the avatar is calculated at this terminal. This with the exception of the direction of gestures and directed looks, since these depend on the position of the avatar from a distance and the layout of the scene. From a distance, the information received on avatars is of two types
  • a state vector that is to say the instantaneous postures that avatars must take at each instant.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

L'invention concerne un procédé d'animation d'avatars correspondant à des personnes pour assurer la communication dans un environnement virtuel non immersif entre lesdites personnes. Selon l'invention, le procédé comprend: la mise en oeuvre de moyens pour assurer des fonctions intentionnelles (action perception et expression) d'une personne et la fourniture d'informations correspondantes; puis une analyse du comportement de la personne; et enfin, la représentation dudit environnement virtuel et des avatars, à chaque cycle.

Description

PROCEDE ET DISPOSITIF D'ANIMATION D'AVATAR POUR ASSURER LA COMMUNICATION DANS UN ENVIRONNEMENT VIRTUEL COLLABORATIF NON-
IMMERSIF
L'invention concerne un procédé d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif . non immersif. On désigne par Environment Virtual Collaboratif (ECV) un environnement virtuel qui permet à plusieurs personnes de collaborer à distance, le matériel utilisé étant relié par réseau (on parle aussi d'environnement distribué) . Dans de nombreux EVC, des avatars sont introduits pour assurer la représentation plus ou moins réaliste- ou ressemblante de chaque personne. A titre d'exemple, on peut se reporter au projet décrit dans la référence [3] ci-après, pour illustrer ce que l'on entend par ECV.
Ces techniques .• soulèvent le problème de la conception d'une interface homme machine (IHM) . En effet, chaque utilisateur doit pouvoir interagir avec l'environnement virtuel mais également s'identifier à son « corps virtuel » instancié par un avatar, pour véhiculer les informations non-verbales
(gestes, mimiques) relatives à la communication et . l'action entre les utilisateurs .
L' invention propose un nouveau concept d'interface homme machine permettant d'interagir avec l'environnement virtuel et communiquer à . travers son propre avatar (ou clone), dans un contexte « bureautique ».
Dans toute la suite on parle d'avatar. On peut également trouver le terme de clone dans la littérature pour le même concept.
•.Nous , ..entendons:. par contexte « -bureautique », un terminal qui ne contraint pas l'utilisateur à utiliser un système de périphériques intrusif pour s'immerger dans l'environnement virtuel. En d'autres termes, l'utilisateur doit avoir pleine possession de ses différents sens pour agir avec l'environnement réel (e.g. décrocher son téléphone, se déplacer, etc.) . Une caractéristique des contextes bureautiques est qu'ils utilisent . des périphériques adaptés (e.g. souris pour Windows™, périphériques 3D pour la CAO dans le secteur automobile) -'dont on ne suppose pas le type ou l'utilisation.
État actuel de la technique
Actuellement on trouve deux grandes catégories de systèmes qui permettent de médiatiser la communication à travers un avatar dans les environnements collaboratifs. Soit c'est l'utilisateur qui est à l'origine du comportement de l'avatar, auquel cas on parlera d'animation intentionnelle des avatars ; Soit le système interprète l'activité collaborative pour animer l'avatar, on parlera alors d'animation interprétée.
* L'animation intentionnelle des avatars
- On trouve deux approches pour animer de façon intentionnelle un avatar :
• Les-. systèmes de type « télévirtualité » [1] qui grâce par exemple à une technique vidéo ou une capture magnétique, permettent de restituer le comportement de l'utilisateur face à son terminal à travers son avatar (e.g. expressions faciales, gestes de communication, etc.).. On peut capturer des expressions faciales et les reproduire à travers l'avatar. La technique permet également aujourd'hui de détecter [6] et reproduire les gestes [4,5] (i.e. bras, corps, etc.) comme on peut le voir figure 1. • Les systèmes de type « body chat » où chaque action (interaction avec l'environnement) et chaque comportement d' avatar est activé par une interface de commande avatar [2] . On trouve de nombreux exemples de ce type de fonctionnement dans le monde télévisuel.
* L'animation interprétée des avatars
L' idée est ici de donner un comportement à un avatar pour signifier l'activité de chacun dans l'environnement. C'est alors le système qui gère son comportement en le choisissant dans une base de comportements pré-calculés . L'interface IHM permet à l'utilisateur d'agir dans le monde, alors que l'on peut ". vo r :à. • l'écran du terminal le- comportement de l'avatar symboliser ce qu'il fait. On pourra trouver un exemple dans la référence [ 8 ] .
On pourra se reporter aux références bibliographiques suivantes :
1. Équipe de Télévirtualité de l'INA, http : //www. ina . fr/TV/
2. Guye-Vuillème , A., Capin, T., Pandzic, I., Magnenat Thalmann, N.,
Thalmann, D., Nonverbal Communication Interface for . Collaborative Virtual Environnements, Proc. CVE 98 , 1998.
3. Plenacoste, P., Chabrier, N., Dumas, C, Saugis, G., Chaillou, C.;
Interfaces 3D : Interaction et Evaluation IHM 97. 4. Tolani, D., Badler, N. I., Rea- Time Inverse Kinematics of the Human Arm, Présence, 1996, Vol 5(4), pp. 393-401.
5. W. Chin, K., Closed'-form and generalised inverse kinematic solutions for animating the human articulated structure, BSCH (Computer Science) of Curtin University of Technology, 1996-:
6. Marcel, S., Bernier, 0., Collobert, D., Approche EM pour la construction de- régions de teinte homogènes : application au suivi du visage et des mains d'une personne, Coresa 2000, octobre 2000. 7. Marcel, S., G., Bernier, 0.,
Viallet, J.E., Collobert, D., Hand Gesture Récognition using Input-Output Hidden Markov Models, In International Conférence on Automatic Face and Gesture Récognition , march 2000, pp 456-461.
8. Benford, N . , Greenhalgh , C.,
Bowers, J., Snowdon, D., E., Fahlen, L.,
User Embodiment -"in Collaborative Virtual
Environnements, Proceedings of CHI'95, 1995, pp.224-248.
Inconvénients des techniques antérieures
Les systèmes existants basés sur les principes présentés précédemment étant soit intentionnels, soit interprétés, ne permettent pas d'exploiter simultanément les gestes sémiotiques, ergotiques et épistémiques de l'utilisateur. Ces différents comportement sont illustrés dans la référence Cadoz, C., le geste canal de communication homme/machine, techniques et sciences informatiques, 1994, vol.13, pp. 31-61.
En d'autres termes, ces systèmes ne permettent pas de reproduire simultanément les g.es.tes .. d' expressions (c'est-à-dire par- exemple désigner quelqu'un du bras) et les gestes d'action et de perception (c'est-à-dire par exemple manipuler un objet du monde virtuel ou changer de point de vue) de l'utilisateur, sans utiliser des technologies immersives.
Le problème réside dans le fait, que si le système est de type télévirtualité (comme illustré sur la figure 1) et que l'utilisateur exerce un geste ergotique (par exemple il saisit sa souris pour interagir avec le système), alors l'animation de l'avatar n'aura aucune cohérence avec les actions de l'utilisateur. Dans." le cas contraire, si cet avatar est animé tel que cela est décrit à propos de l'animation interprétée, alors l'avatar ne peut pas reproduire le comportement de l'utilisateur. But de l'invention
Le but de l'invention est d'offrir à un utilisateur un procédé et un dispositif lui permettant de communiquer en s' exprimant de façon naturelle (c'est-à-dire : verbale et non-verbale, de manière à conserver la richesse des gestes co-verbaux de l'être humain) avec d'autres personnes tout en disposant d'une possibilité d'interaction avec l'environnement virtuel commun, à travers un terminal bureautique.
Le dispositif permet de proposer une représentation réaliste d'un utilisateur dans un environnement virtuel commun, dans lequel il peut interagir et communiquer de façon non- verbale sans être contraint par un système intrusif. A travers ce dispositif, on peut par exemple envisager des services de télécommerce, de téléconception, de téléenseignement, téléconférence, jeux, etc.
En situation de collaboration réelle, on considère que trois comportements sont important au vu de la communication. Il s'agit de l'action sur ' l'environnement, de la perception de celui-ci et de l'émission d'informations à destination d'autrui.
On appelle respectivement ces comportements : ergotiques, épistémiques et sémiotiques. On propose selon l'invention de virtualiser ces comportements. L' invention a plus particulièrement pour objet un procédé d'animation d'avatars correspondant à des personnes pour assurer- la communication dans un environnement virtuel non immersif entre ces personnes au moyen d'un terminal muni d'un écran d'affichage et de périphériques d'entrée ; le terminal comprenant des moyens de commande d'animation et d'affichage d'images correspondant à .1 '..environnement virtuel .avec . des- .. a.vatars., à., partir d'informations reçues de ses périphériques et d'un réseau de communication auquel il est relié, caractérisé en ce qu'il comprend : la mise en œuvre de moyens pour assurer des fonctions intentionnelles (action perception et expression) d'une personne utilisatrice et la fourniture d'informations correspondantes, puis une analyse de comportement- comprenant un cycle consistant à effectuer les opérations suivantes N fois :
- scrutation de l'arrivée d'informations sur les fonctions intentionnelles,
- détection d' intentions à partir des informations reçues,
- détermination du mode d'animation de l'avatar dans l'environnement virtuel correspondant à la personne selon l'intention détectée pour cette personne ; et enfin, représentation de l'environnement. virtuel et des avatars sur l'écran du terminal, à chaque cycle.
L'invention a également pour objet un dispositif d'animation d'avatars correspondant à des personnes pour assurer la communication dans... un environnement virtuel n.o.n . immersif entre les personnes, comprenant un terminal muni d'un écran d'affichage et de périphériques d'entrée, le terminal comprenant des moyens d'affichage de l'environnement virtuel et d' avatars à partir d' informations reçues de ses périphériques et d'un réseau de télécommunication, caractérisé en ce que le terminal comporte : - des moyens pour mettre en œuvre des fonctions intentionnelles d'un utilisateur dudit dispositif et fournir des informations correspondantes,
- des moyens pour -détecter les intentions à partir des informations reçues et pour déterminer le mode d'animation,
- des moyens pour animer l'avatar correspondant selon l'intention détectée par les moyens de détection. D' autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante faite à titre d'exemple non limitatif en regard des figures " annexées qui représentent : la figure 1, une image et sa représentation virtuelle avec capture de mouvement et animation ; la figure 2, les étapes du procédé selon l'invention ;
-' - la figuré •. 3,- - le synoptique ' du fonctionnement général ; la figure 4 le schéma d'un dispositif selon l'invention ; - - la figure 5, les détails de l'algorithme d'analyse du comportement et d' animation ; la figure 6, une illustration d'une partie de jeu de carte ; - la figure 7, une illustration de cette partie dans le cas où les joueurs sont distants et utilisent le procédé de 1 ' invention .
Description détaillée Après une longue analyse des technologies existantes mais insatisfaisantes, les inventeurs ont développé un nouveau système
(procédé et dispositif) mettant en œuvre les fonctions de communication intégrant les comportements qui viennent d'être définis. Selon l'invention, le procédé et le dispositif permettent d'exploiter quatre types de comportements intentionnels : • Les actions ; par utilisation des périphériques d' interactions spécialisés (par exemple un système à retour d'effort) .
• Les comportements intentionnels non- adressés (par exemple les gestes co-verbaux, expressions faciales, etc.) ; par capture (par exemple la • vldé.o) - du - comportement réel - de 1 ' utilisateur .
• Les comportements intentionnels adressés (regarder quelqu'un, passer la parole, montrer quelque chose, faire un signe de bienvenue, etc.) ; par un organe matériel ou logiciel de désignation (par exemple un écran tactile ou détection logicielle de geste déictique) .
•Les comportements sans rapport avec l'activité collaborative (par exemple décrocher son téléphone) .
Pour passer d'un type de comportement à l'autre, on propose d'utiliser un système d'interprétation d'intention de l'utilisateur. On peut en effet savoir si un comportement est par exemple de type adressé, symbolique ou ergotique en exploitant le canal vidéo [7].
Dans le procédé proposé, illustré par le schéma de la figure 2, l'analyse du comportement de l'utilisateur fonctionne en permanence : ceci correspond à la boucle N de l'algorithme de la figure 2.
Cette analyse du comportement est interprétée et permet de définir un mode d'interaction. Le module du retour visuel illustré sur la figure 3, permet alors à l'utilisateur de savoir dans quel mode est le système, ce qui peut .• servir de régulateur s'il y a ambiguïté sur l'état de celui-ci. En effet, suivant le mode d'interaction, le .dis-positi-f. (l'interface IHM). de ,- l'utilisateur affiche des retours visuels adaptés au type d'interaction et l'avatar de l'utilisateur a un comportement conséquent. Ces opérations sont illustrées par le schéma de la figure 2 et les étapes I à VI de cette figure.
La figure 3 représente le schéma synoptique du fonctionnement général du système proposé. Le système met en œuvre :
-Un environnement virtuel distribué au moyen de plusieurs terminaux T distants affichant des avatars représentant chaque utilisateur. Chaque -"utilisateur à un point de vue de l'environnement global.
Chaque terminal T comporte :
-des moyens de captures A du comportement : c'est-à-dire mouvement de la tête, du corps et des mains, de l'utilisateur derrière son terminal (ex : caméra, radar, etc . ) . -des périphériques d'entrée d'interaction spécialisés B (ex : souris, SpaceMouse™, etc.) pour une activité collaborative quelconque (ex : conception d'une automobile) . -un module logiciel L de détection d'intention et de détermination d'animation utilisant les données provenant des périphériques d'entrée.
Ce dispositif permet : -une représentation de l'utilisateur par un avatar dans un environnement virtuel commun .
-L'avatar d'un utilisateur est tantôt animés à partir d'une bibliothèque de comportements pré calculés, placée dans le système et tantôt guidé en fonction des gestes de l'utilisateur.
-Le dispositif s'adapte en fonction des intentions de l'utilisateur en donnant des retours visuels adaptés ; ceci pour qu'il ait conscience de son niveau de
« virtualisation ».
-La sélection de mode n'est pas binaire ; c'est à dire que •* le dispositif permet de combiner un comportement sémiotique et ergotique (ex : regarder quelqu'un en manipulant un objet) .
On va décrire ci dessous quelques exemples de périphériques utilisés pour assurer les fonctions intentionnelles. La figure 4 illustre ces exemples de périphériques. On peut se reporter également au schéma de la figure 3 :
Sémiotigue a dre s s é ; on envisage deux cas possibles :
(1) L'utilisateur fait des gestes ergotiques pour assurer la fonction semiotique adressée de l'avatar. On peut par exemple utiliser les périphériques suivants : - Un écran tactile : permet - à l'utilisateur de désigner,
- Périphérique d'adressage : des périphériques spécifiques (souris, SpaceMouse™) permettent d'adresser un comportement,
Périphérique de pointage-manipulation et de navigation : on peut exploiter ces périphériques en-, excluant leurs fonctions ergotiques et épistémique (ex : en utilisant un bouton particulier) .
(2) L'utilisateur fait des gestes sémiotiques pour assurer la fonction semiotique adressée .de l'avatar.
C'est-à-dire que l'utilisateur exploite les mouvements de la tête et des mains en excluant leur fonction semiotique non-adressée (ex : en utilisant une zone d'influence de la tête ou des mains [7]). On remarque que dans ce cas il n'y a pas nécessité d'avoir un périphérique d'adressage comme illustré sur la figure 3.
Sémiotigue non -a d essé - Un microphone : son utilisation permet de déterminer les visèmes à reproduire dans l'animation de l'avatar lorsque l'utilisateur parle .
Une ou plusieurs caméra(s) : leur utilisation permet de capter la position et l'orientation du corps, de la tête et des mains de l'utilisateur dans l'espace.
Er go ti que -Epi s témi que
- On utilise ici les périphériques spécifiques pour toute action dans l'environnement (ex : souris et SpaceMouse ™ pour la conception de véhicule automobile ; phantom ™ (marque déposée) pour une activité de sculpture 3D ; etc.) Le module de détection d' intention et de détermination du mode est illustré par les étapes détaillées de la figure 5. Ce module fonctionne pour chaque unité minimale d'intention ; à savoir : les mains, le corps et la tête. Bien évidemment, les comportements ergotiques et épistémiques de la tête et du corps sont limités. • On n'a pas ici décrit toutes les façons de déterminer l'intention de l'utilisateur, étant donné que les périphériques utilisés ne sont précisés qu'en terme de catégorie (périphériques de capture de posture, de pointage, de manipulation et de navigation, etc . ) .
• Néanmoins il -'existe des combinaisons d'utilisation des dispositifs d'interaction qui ne présentent pas d'ambiguïté sur le mode dans /lequel l'-ut lisat eur -• souhaite -mettre .. le système .
Exemples :
Si le dispositif de pointage est utilisé , alors le système est en mode ergot ique-épistémique pour cette main.
Si le dispositif ne détecte pas la présence de l'utilisateur, alors le système est « hors activité ». - Etc.
Le passage d'un mode à l'autre ce fait de façon explicite . Il n'y a pas d'analyse sémantique de haut niveau de la part de la machine . Si toute 'fois il y avait ambiguïté sur l'intention, le module de retour visuel permet à 1 ' utilisateur de réguler la situation en agissant sur un périphérique .
Lors de l'affichage et du rendu, l'utilisation d'un avatar pour la représentation de l'utilisateur permet de réaliser des interpolations entre les différentes postures. Le dispositif peut donc effectuer un passage fluide d'un mode à l'autre dans le rendu. Afin d'illustrer l'intérêt du procédé, on va décrire une activité collaborative réelle et la manière dont elle serait réalisée à distance en utilisa t ce procédé. Dans cette description, on va proposer une réalisation technique du concept, ainsi que des métaphores visuelles adaptées qui ont nécessité •.-des choix arbitraires. On considérera que ces choix à but démonstratif ne sont pas limitatifs.
Description d'une activité réelle : « Le jeu de carte »
Dans une scène réelle schématisée sur la figure 6, quatre personnes jouent aux cartes. Pendant cette activité collaborative, ils vont communiquer de façon verbale et non-verbale, et ils vont manipuler des objets communs
(cartes, feuille et crayon pour noter les points) . L'exemple du jeu de carte est très pertinent pour démontrer l'intérêt du procédé, parce que dans les situations réelles de jeu, les joueurs utilisent beaucoup la communication non-verbale, notamment lors de l'établissement de coalitions pendant le déroulement du jeu. Et c'est notamment sur ce point que le procédé à un intérêt par rapport aux autres outils de médiatisation classiques. Voici une suite de comportements de joueurs relevés durant une partie de carte :
I. Échanges verbaux pour savoir qui va distribuer les cartes ; 2. Le joueur 1 lève la main pour dire qu'il va le faire et s'empare du jeu de carte ;
3. Le joueur 1 .-regarde le joueur 3, qui connaît bien le jeu, pour lui demander combien de cartes il faut distribuer ;
4..: Le joueur --3- répond au joueur 1 ;
5. Le joueur 1 distribue les cartes ;
6. Le joueur 1 désigne le joueur 2 du doigt en le regardant et lui dit « c'est à toi de commencer... » ;
7. Le joueur 2 pose une carte et regarde le joueur 3 pour lui signifier que c'est à lui de poser la suivante ;
8. Le joueur 3 hésite ; il fronce les sourcils et regarde son jeu pour montrer qu'il réfléchit ;
9. Le joueur 3 pose une carte en faisant une réflexion à tout le monde, sur la carte qu'il vient de jouer ; 10. Le joueur 4 pose une carte ;
II. Le joueur 3 désigne successivement le joueur 4 et le jeu en disant qu'il « n'a pas le droit de jouer cette carte... » ;
12. Le joueur 4 reprend sa carte et rejoue ; 13. Le joueur 1 regarde son partenaire le joueur 3 d'un regard insistant et en tapant sur la table pour lui faire comprendre qu'il a mal joué précédemment ; puis prend une carte dans la pioche en grimaçant ;
14. La partie suit son cours [ ... ] ;
15. Le joueur 2 pause la dernière carte et regard son partenaire le joueur 4, en souriant pour lui montrer sa satisfaction ; 16. Le joueur 1 prend le crayon et la feuille et compte les, points ;
17. Les autres joueurs se penchent sur la feuille pour voir le total des points ;
18. Les joueurs discutent entre eux de la partie ;
19. Le joueur 2 ramasse les cartes puis les distribue pour une nouvelle partie.
Description de cette même activité à distance en utilisant le procédé de l'invention.
On imagine que les mêmes joueurs doivent maintenant participer à la même partie de cartes à distance, . en utilisant le procédé. Chacun possède la configuration matérielle illustré par la figure 7, et chacun a une vue personnalisée de la scène, c'est-à-dire la table de jeu (avec les cartes, un papier pour noter les points et un crayon) et les autres joueurs représentés par des. avatars. On va décrire dans ce qui suit la manière dont les moyens techniques sont exploités pour analyser les comportements de l'utilisateur et pour animer les avatars à distance. Comportements utilisateur / utilisation de capteurs :
Les interactions de type ergotiques (i.e. action sur les objets de l'environnement virtuel) se font de la manière suivante : - Utilisation du périphérique de pointage pour contrôler le pointeur- 3D de façon classique.
Utilisation du périphérique de manipulation et de navigation (Space Mouse) pour agir sur un objet sélectionné.
Il y a plusieurs approches connues pour réaliser les comportements sémiotiques adressés, mais on ne va décrire ici que la méthode que l'on appelle « semiotique instrumentée ». Il y a une autre technique qui est basée sur le mouvement naturel des mains et de la tête.
La technique semiotique adressée instrumentée permet de contrôler le regard de son propre avatar et les gestes de désignation d'une main :
On utilise un périphérique de pointage en cliquant sur un bouton particulier pour « incarner » la main virtuelle de son avatar afin de désigner quelque chose. Deux retours visuels permettent de savoir que l'on réalise alors l'intention de désignation et de la contrôler ; - il s'agit d'une métaphore de sa main virtuelle et d'une sur-brillance de l'objet « désigné » par un rayon.
On utilise un périphérique de manipulation et de navigation (SpaceMouse™ en cliquant sur un bouton particulier pour contrôler le regard de son avatar. De la même manière que po-ur -.le .geste, de. desi.gnati.on_ deux retours visuels apparaissent. Il s'agit d'une métaphore de ses yeux virtuels et d'une sur- brillance de l'objet « regardé ». On remarque ici que le mode semiotique adressé est détecté par l'appui sur un bouton particulier de chaque périphérique.
Les gestes sémiotiques non-adressés sont détectés : - Pour les mains dès lors que les périphériques ne sont pas actionnés alors que des mouvements significatifs sont captés par le module de capture de comportement.
Pour la tête dès lors que des mouvements significatifs sont captés par le module de capture de mouvement.
Pour le corps dès lors que des mouvements significatifs sont captés par le module de capture de mouvement. - Pour les expressions faciales dès lors que des expressions significatives sont captées par le module de capture d'expressions faciales .
On remarque que l'on peut combiner plusieurs comportements simultanément. Par exemple : une désignation de la main, tout en regardant quelque chose ou quelqu'un et en bougeant la tête et .en exprimant une mimique faciale particulière. Comportement des avatars / mode d' animation . :
Étant donné que le mode de comportement de chaque utilisateur est géré au niveau du terminal, la posture exacte de l'avatar est calculée au niveau de ce terminal. Ceci à l'exception de la direction des gestes et des regards adressés, puisque ceux-ci dépendent de la position de l'avatar à distance et de la disposition de la scène. À distance, les informations reçues sur les avatars sont de deux types
- Un vecteur d'état c'est à dire les postures instantanées que doivent prendre les avatars à chaque instant. - Des informations d'adressage sur les objets regardés ou désignés. Plus précisément une information pour les yeux et une autre pour chaque main.
C'est donc à distance, en fonction de l'arrangement de la scène et la position de l'avatar, que l'on exploite l'information d'adressage pour animer les yeux et les mains de l' avatar .
On va décrire maintenant dans le tableau 1 qui suit, les comportements qu'un utilisateur aura derrière son terminal, s'il veut restituer au, mieux la suite de comportements décrite précédemment à partir d'une situation réelle (notamment sur les comportements non verbaux).
1 désigne périphérique d'action l'intention.de passer regarde et désigne de Ja main , en cliquant sur le dans un .mode/,. , . l'avatar 2 dans le joueur 2 ' , bouton permettant semiô'fique.Vdressee et ,, toutes les
3 --- ^ 1 d'activer le contrôle fait^ apparaître la; ^ interfaces ; et
-•X de son geste adressé. me t aphό rë" *d e 51 ef ma i n -i' dans l'interface 2
'. . - virtuelle afir dëV.; - regarde et désigne
';"';" - !J " - - - donner à -l'utilisateur - l'utilisateur (qui l f*^ , -. le moyenne 'contrôler est le joueur 2).
'/ '" son avatar.- Α -
1, etc. ~
Tableau 1 : Comportement de l'avatar par rapport au comportement de l'utilisateur

Claims

REVENDICATIONS
1. Procédé d'animation d'avatars correspondant à des personnes pour assurer la communication dans un environnement virtuel non immersif entre lesdites personnes au moyen d'un terminal muni d'un écran d'affichage et de périphériques, le' terminal comprenant des moyens de commande d'animation et d'affichage d'images correspondant à l'environnement virtuel av-.ec -."des avatars, 'à • . partir d- informations reçues de ses périphériques et d'un réseau de communication auquel il est relié , caractérisé en ce- qu' il comprend : - la mise en œuvre de moyens pour assurer des fonctions intentionnelles (action perception et expression) d'une personne et la fourniture d'informations correspondantes, puis une analyse du comportement de la personne comprenant un cycle consistant à effectuer les opérations suivantes N fois : scrutation de l'arrivée d'informations sur les fonctions intentionnelles,
- détection d' intentions à partir des informations reçues, - détermination du mode d' animation de l'avatar dans l'environnement virtuel correspondant à la personne selon l'intention détectée pour cette personne; et enfin, représentation dudit environnement virtuel et des avatars, à chaque cycle.
2. Procédé d'animation d'avatars selon la revendication 1, caractérisé en ce que la mise en œuvre de fonctions intentionnelles comprend la capture du comportement de la personne utilisatrice et la capture d'interactions pour une action dans l'environnement.
-3. Procédé d'animation d'avatars selon Ta ' revendication 2, caractérisé en ce que la capture du comportement comprend la capture de comportement semiotique adressé et/ou semiotique non-adressé, ergotique épistémique.
4. Procédé d'animation d'avatars selon - l'une quelconque des revendications précédentes, caractérisé en ce que la détection d'intention comprend par unité d'expression la détermination du type d'intention prédéfini, à savoir :
- semiotique non-adressé, - semiotique adressé,
- ergotique ou épistémique.
5. Procédé d'animation d'avatars selon l'une quelconque des revendications précédentes, caractérisé en ce que le mode d'animation de l'avatar correspondant à la personne correspond à :
- une animation isomorphique de l'avatar par rapport au comportement de la personne dans le cas où le type d' intention est semiotique non adressée ,
- une animation adressée de l'avatar (regard, désignation de la .-main) dans le cas où le type d'intention est semiotique adressée. - une génération d'une posture et d'un comportement. symbolisant . l'action... de . -. la personne dans le cas où le type d'intention est ergotique ou épistémique,
- Une génération d'une posture et d'un comportement symbolique dans le cas où le type d'intention n'est pas prédéfini.
6. Procédé d'animation d'avatars selon l'une quelconque des- revendications précédentes, caractérisé en ce qu' il comprend la mise en œuvre d'un retour visuel sur le terminal de l'utilisateur permettant de réguler le mode d'animation.
7. Dispositif d'animation d'avatars correspondant à des personnes pour assurer la communication dans un environnement virtuel non immersif entre les personnes, comprenant un terminal (T) muni d'un écran d'affichage (E) et de périphériques d'entrée, le terminal comprenant des moyens d'affichage (UC) de l'environnement virtuel et d'avatars à partir d'informations reçues de ses périphériques et d'un réseau de télécommunication, caractérisé en ce que le terminal comporte : - des moyens (A, B) pour mettre en œuvre des fonctions intentionnelles d'un utilisateur du dispositif et fournir des informations correspondantes,
- des moyens (L) pour détecter les intentions à partir des informations reçues et pour
..déterminer le- mode d'.animation,
- des' moyens (UC) pour animer- l'avatar correspondant selon l'intention détectée par les moyens de détection.
8. Dispositif d'animation d'avatar selon la revendication 7, caractérisé en ce que les moyens pour mettre en œuvre les fonctions intentionnelles comportent des capteurs de comportements (A) et des capteurs pour les actions dans l'environnement (B).
9. Dispositif d'animation d'avatar, selon la revendication 8,-' caractérisé en ce que les moyens pour mettre en oeuvre les fonctions intentionnelles comportent des capteurs de comportements intentionnels adressés et/ou des capteurs de comportements intentionnels non adressés .
10. Dispositif d'animation d'avatar selon les revendications 8 ou 9, caractérisé en ce que les différents capteurs sont des périphériques d'entrée (A, B) du terminal (T) .
11. Dispositif d'animation d'avatar selon l'une quelconque des revendications 8 à 10, caractérisé en ce.- que la capture du comportement est réalisée par une ou plusieurs caméras, un ou plusieurs radars, un ou plusieurs microphones.
12. Dispositif d'animation d'avatar selon l'une quelconque des revendications 7 à 11, caractérisé en ce que la . détection d'une action de l'environnement est réalisée par des périphériques de pointage, de manipulation/navigation.
13. Dispositif d'animation d'avatar selon l'une quelconque des revendications 7 à 12, caractérisé en ce que les moyens pour détecter les intentions à partir des informations reçues comportent •' un module logiciel de détection d' intention et de détermination du mode d'animation.
14. Dispositif d'animation d'avatar selon la revendication 13, caractérisé en ce que le module logiciel est apte à détecter la non- activité ou un comportement de l'utilisateur qui n'est pas en rapport avec l'activité.
EP02700348A 2001-01-22 2002-01-21 Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif Ceased EP1358632A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0100825A FR2819920B1 (fr) 2001-01-22 2001-01-22 Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif
FR0100825 2001-01-22
PCT/FR2002/000236 WO2002058011A1 (fr) 2001-01-22 2002-01-21 Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif

Publications (1)

Publication Number Publication Date
EP1358632A1 true EP1358632A1 (fr) 2003-11-05

Family

ID=8859094

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02700348A Ceased EP1358632A1 (fr) 2001-01-22 2002-01-21 Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif

Country Status (3)

Country Link
EP (1) EP1358632A1 (fr)
FR (1) FR2819920B1 (fr)
WO (1) WO2002058011A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999034327A2 (fr) * 1997-12-23 1999-07-08 Koninklijke Philips Electronics N.V. Systeme et procede permettant une navigation tridimensionnelle dans un environnement virtuel grace a des entrees gestuelles sur la base d'une camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736982A (en) * 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
CA2180891C (fr) * 1995-07-12 2010-01-12 Junichi Rekimoto Notification des mises a jour d'un systeme de partage spatial tridimensionnel en realite virtuelle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999034327A2 (fr) * 1997-12-23 1999-07-08 Koninklijke Philips Electronics N.V. Systeme et procede permettant une navigation tridimensionnelle dans un environnement virtuel grace a des entrees gestuelles sur la base d'une camera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO02058011A1 *

Also Published As

Publication number Publication date
WO2002058011A1 (fr) 2002-07-25
FR2819920A1 (fr) 2002-07-26
FR2819920B1 (fr) 2003-04-04

Similar Documents

Publication Publication Date Title
Shibly et al. Design and development of hand gesture based virtual mouse
Von Hardenberg et al. Bare-hand human-computer interaction
US8044989B2 (en) Mute function for video applications
US20140068526A1 (en) Method and apparatus for user interaction
CN103442201A (zh) 用于语音和视频通信的增强接口
FR2960986A1 (fr) Procede de selection d’un objet dans un environnement virtuel
CN111880664B (zh) Ar互动方法、电子设备及可读存储介质
CN104969146A (zh) 用于开发和播放自然用户接口应用的方法和装置
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
Zobl et al. A real-time system for hand gesture controlled operation of in-car devices
CN113824982A (zh) 一种直播方法、装置、计算机设备及存储介质
Zobl et al. Gesture components for natural interaction with in-car devices
US20240430223A1 (en) Dynamic prioritization of email messages with undo functionality in an immersive environment
CN107622300B (zh) 多模态虚拟机器人的认知决策方法和系统
Albertini et al. Communicating user's focus of attention by image processing as input for a mobile museum guide
CN114979789B (zh) 一种视频展示方法、装置以及可读存储介质
EP1358632A1 (fr) Procede et dispositif d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif non-immersif
Barrientos et al. Cursive: Controlling expressive avatar gesture using pen gesture
CN119094562A (zh) 一种元宇宙空间高效交互协作系统及方法
Soares et al. Sharing and immersing applications in a 3D virtual inhabited world
HK40074442B (zh) 一种视频展示方法、装置以及可读存储介质
Liu et al. A physics-based augmented reality jenga stacking game
CN121411677A (zh) 一种基于手势圈选的移动终端全场景ai交互方法及系统
Tang Embodiments in mixed presence groupware
CN120532110A (zh) 一种基于ar的卡牌互动方法及相关装置

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030610

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20170322