FR3023020A1

FR3023020A1 - Procede de gestion d'une interface

Info

Publication number: FR3023020A1
Application number: FR1456170A
Authority: FR
Inventors: Adrien Bruno
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2014-06-30
Filing date: 2014-06-30
Publication date: 2016-01-01

Abstract

La présente invention concerne un procédé de gestion d'une interface entre un équipement informatique susceptible d'exécuter une application logicielle de gestion de services et un utilisateur dudit équipement informatique muni de lunettes comprenant au moins un dispositif d'affichage, ledit procédé étant mis en œuvre par un module de traitement de données dudit équipement informatique et comprenant des étapes de : - acquisition (E1) de données relatives à l'environnement de l'utilisateur, - en fonction desdites données acquises, affichage (E2), sur ledit au moins un dispositif d'affichage desdites lunettes, en superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, d'une image virtuelle d'une entité virtuelle représentant ladite application logicielle de gestion de services, - détection (E3) d'au moins une commande d'interaction avec ladite application logicielle produite par l'utilisateur, - exécution (E4) d'une opération par ladite application logicielle en réponse à ladite commande d'interaction.

Description

3023020 Procédé de gestion d'une interface DOMAINE TECHNIQUE GENERAL L'invention a pour objet le domaine des interfaces utilisateur, et concerne plus précisément un procédé de gestion d'une interface avec un affichage en réalité augmentée. ETAT DE LA TECHNIQUE Les équipements informatiques modernes proposent à leurs utilisateurs de plus en plus de fonctions, au prix d'une complexité d'utilisation croissante malgré le développement d'interfaces utilisateur modernes. Une telle complexité peut constituer un frein notable pour les utilisateurs peu habitués à l'utilisation de tels dispositifs, tels que les personnes âgées. Afin de simplifier l'utilisation de tels dispositifs, des assistants virtuels ont été mis au point, permettant à un utilisateur d'accéder aux fonctions d'un équipement de manière plus naturelle, par exemple par la parole et en langage naturel, sans nécessiter la connaissance de commandes précises. De telles interfaces restent néanmoins abstraites et une personne peu habituée aux équipements informatiques peut continuer à trouver leur utilisation peu naturelle. A titre d'exemple un tel utilisateur peut avoir du mal à concevoir l'idée de commander une machine en dialoguant avec celle-ci. De plus, l'utilisateur d'un tel équipement doit généralement interagir également avec celui-ci pour certaines opérations par le biais d'une interface matérielle telle qu'un écran tactile, un clavier, une souris... ce qui peut également être difficile à réaliser pour une personne telle qu'une personne âgée, disposant parfois de capacités physiques réduites.

2 3023020 Il existe donc un besoin d'un procédé et d'un système permettant à tout utilisateur de pouvoir interagir de manière naturelle avec un équipement informatique, sans nécessiter de connaissances préalables dans le domaine informatique ni de manipulation d'éléments d'interface 5 matérielle. PRESENTATION DE L'INVENTION La présente invention se rapporte ainsi selon un premier aspect à 10 un procédé de gestion d'une interface entre un équipement informatique susceptible d'exécuter une application logicielle de gestion de services et un utilisateur dudit équipement informatique muni de lunettes comprenant au moins un dispositif d'affichage, ledit procédé étant mis en oeuvre par un module de traitement de données 15 dudit équipement informatique et caractérisé en ce qu'il comprend des étapes de : - acquisition de données relatives à l'environnement de l'utilisateur, - en fonction desdites données acquises, affichage, sur ledit au moins un dispositif d'affichage desdites lunettes, en superposition à 20 une image réelle de l'environnement dans le champ de vision de l'utilisateur, d'une image virtuelle d'une entité virtuelle représentant ladite application logicielle de gestion de services, - détection d'au moins une commande d'interaction avec ladite application logicielle produite par l'utilisateur, 25 - exécution d'une opération par ladite application logicielle en réponse à ladite commande d'interaction. L'utilisateur peut ainsi échanger avec l'application de gestion de services de son équipement informatique de manière naturelle, au travers de l'entité virtuelle affichée sans avoir à se soucier du fonctionnement de 30 l'application en elle-même.

3 3023020 Ladite étape d'exécution peut comprendre une deuxième étape d'affichage sur ledit au moins un dispositif d'affichage, en superposition à l'image réelle de l'environnement perçue par l'utilisateur, d'une image virtuelle modifiée de ladite entité virtuelle 5 L'image virtuelle de l'entité virtuelle affichée peut ainsi être mise à jour en fonction de la commande d'interaction produite par l'utilisateur de façon à afficher des éléments relatifs au service commandé et à renforcer le sentiment de l'utilisateur d'interagir avec l'entité virtuelle. Ladite commande d'interaction peut être une commande vocale détectée par un microphone, un déplacement prédéfini de l'utilisateur détecté par un capteur de déplacement ou un mouvement prédéfini de l'utilisateur détecté par un capteur de mouvement. Selon une première variante de mise en oeuvre, les données relatives à l'environnement de l'utilisateur peuvent être acquises à l'aide 15 de capteurs connectés audit équipement informatique. Selon une telle première variante, l'équipement informatique peut ainsi reconstituer de manière autonome l'environnement de l'utilisateur. Selon une deuxième variante de mise en oeuvre, les données relatives à l'environnement de l'utilisateur peuvent être acquises par un 20 équipement distant connecté via un réseau au module de traitement de données de l'équipement informatique. Selon une telle deuxième variante, l'équipement informatique peut ainsi bénéficier des données acquises précédemment ou par d'autres capteurs que les siens pour reconstituer l'environnement de l'utilisateur 25 sans avoir à en faire une acquisition complète par lui-même. Selon des caractéristiques avantageuses et non limitatives, l'étape d'affichage du procédé selon le premier aspect peut comprendre : - une étape de détection d'un recouvrement dans le champ de vision de l'utilisateur entre l'image virtuelle de l'entité virtuelle et une image réelle 30 d'un objet appartenant à l'environnement de l'utilisateur et une étape d'affichage en superposition à l'image réelle de l'environnement d'une 4 3023020 image virtuelle de l'entité virtuelle de sorte à éviter ledit recouvrement, afin d'éviter l'affichage d'une situation de recouvrement physiquement impossible et donc d'éviter de nuire à l'immersion de l'utilisateur dans son environnement en réalité augmentée et de dégrader les possibilités 5 d'interaction entre l'entité virtuelle et l'utilisateur. -et/ou une étape de détermination d'un déplacement de l'utilisateur et une étape d'affichage, en superposition à l'image réelle de l'environnement dans le champ de vision de l'utilisateur : d'une première image virtuelle de l'entité virtuelle positionnée à un premier endroit dans l'image réelle 10 lorsque l'utilisateur se déplace et d'une deuxième image virtuelle de l'entité virtuelle positionnée à un deuxième endroit dans l'image réelle lorsque l'utilisateur ne se déplace pas. L'entité virtuelle est ainsi toujours affichée à une position adéquate dans le champ de vision de l'utilisateur. Elle le suit dans ses déplacements sans le gêner lorsqu'il ne se déplace 15 plus. -et/ou une étape de détection d'une commande d'affichage, respectivement de suppression d'affichage, produite par l'utilisateur, ladite commande déclenchant un affichage, en superposition à l'image réelle de l'environnement dans le champ de vision de l'utilisateur, de l'image 20 virtuelle de l'entité virtuelle, respectivement une suppression d'affichage de l'image virtuelle de l'entité virtuelle ; L'utilisateur peut ainsi faire apparaître ou disparaitre à volonté l'entité virtuelle de son champ de vision en fonction de ses besoins. -et/ou une étape de détermination d'une surface réelle appartenant à 25 l'environnement de l'utilisateur et une étape d'affichage, en superposition à l'image réelle de l'environnement dans le champ de vision de l'utilisateur, d'une image virtuelle de l'entité virtuelle simulant un contact de l'entité virtuelle avec ladite surface réelle déterminée; L'entité virtuelle est ainsi affichée de façon à donner à l'utilisateur l'impression qu'elle est 30 réellement présente dans l'environnement de l'utilisateur et en contact avec la surface déterminée. 5 3023020 -et/ou une étape de détection d'une occultation du champ de vision de l'utilisateur par l'image virtuelle de l'entité virtuelle et une étape de suppression d'affichage de l'image virtuelle de l'entité virtuelle occultant ledit champ de vision de l'utilisateur, de sorte à éviter que l'entité virtuelle 5 ne soit affichée à une position gênante dans le champ de vision de l'utilisateur et qu'elle ne lui masque des éléments importants de son environnement. -et/ou une étape détermination d'une direction de déplacement de l'utilisateur et une étape de suppression d'affichage ou de déplacement de 10 l'image virtuelle de l'entité virtuelle occultant le champ de vision de l'utilisateur dans la direction de déplacement, de sorte à éviter que l'entité virtuelle ne crée une situation dangereuse pour l'utilisateur en l'empêchant de voir devant lui dans la direction de son déplacement. De plus, le module de traitement de données de l'utilisateur étant 15 connecté par l'intermédiaire d'un réseau à au moins un module de traitement de données, exécutant le procédé selon le premier aspect, d'au moins un utilisateur tiers localisé dans l'environnement de l'utilisateur, l'étape d'affichage par lesdites lunettes de l'utilisateur peut comprendre en outre une étape d'affichage en superposition à l'image réelle de 20 l'environnement dans le champ de vision de l'utilisateur, d'au moins une image virtuelle d'une entité virtuelle représentant une application logicielle de gestion de services dudit utilisateur tiers localisé dans l'environnement de l'utilisateur, l'étape de détection peut comprendre une étape de détection d'au moins une commande d'interaction avec ladite application 25 logicielle dudit utilisateur tiers produite par l'utilisateur, et l'étape d'exécution peut comprendre une étape d'exécution d'une opération par ladite application logicielle dudit utilisateur tiers en réponse à ladite commande d'interaction. Ceci permet aux modules de traitement de plusieurs utilisateurs 30 d'échanger des données concernant leurs entités virtuelles respectives et 6 3023020 permet aux utilisateurs correspondants d'avoir le sentiment d'interagir avec les entités virtuelles des autres utilisateurs. Selon un deuxième aspect, l'invention concerne un produit programme d'ordinateur comprenant des instructions de code pour 5 l'exécution d'un procédé selon le premier aspect lorsque ce programme est exécuté par un processeur. Selon un troisième aspect, l'invention concerne un équipement informatique de gestion d'une interface entre ledit équipement informatique et un utilisateur dudit équipement informatique muni de 10 lunettes comprenant au moins un dispositif d'affichage, ledit équipement informatique étant susceptible d'exécuter une application logicielle de gestion de services et étant caractérisé en ce qu'il est configuré pour : - acquérir des données relatives à l'environnement de l'utilisateur, - en fonction desdites données acquises, afficher, sur ledit au moins 15 un dispositif d'affichage desdites lunettes, en superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, une image virtuelle d'une entité virtuelle représentant ladite application logicielle de gestion de services, - détecter au moins une commande d'interaction avec ladite 20 application logicielle produite par l'utilisateur, - exécuter une opération en réponse à ladite commande d'interaction. Selon un quatrième aspect, l'invention concerne des lunettes comprenant au moins un dispositif d'affichage et un équipement 25 informatique selon le troisième aspect. Selon un cinquième aspect, l'invention concerne un système de gestion d'une interface entre un équipement informatique susceptible d'exécuter une application logicielle de gestion de services et un utilisateur dudit équipement informatique muni de lunettes comprenant au moins un 30 dispositif d'affichage, lesdites lunettes et ledit équipement informatique étant susceptibles de communiquer l'un avec l'autre et, 7 3023020 - lesdites lunettes étant configurées pour acquérir des données relatives à l'environnement de l'utilisateur et transmettre lesdites données acquises à l'équipement informatique, - ledit équipement informatique étant configuré pour, en fonction 5 desdites données acquises, afficher, sur ledit au moins un dispositif d'affichage desdites lunettes, en superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, une image virtuelle d'une entité virtuelle représentant ladite application logicielle de gestion de services, détecter au moins une commande d'interaction avec ladite application logicielle produite par l'utilisateur, et exécuter une opération en réponse à ladite commande d'interaction. De tels produit programme d'ordinateur, équipement informatique de gestion, lunettes, système de gestion présentent les mêmes avantages que ceux évoqués pour le procédé selon le premier aspect.

15 PRESENTATION DES FIGURES D'autres caractéristiques et avantages apparaîtront à la lecture de la description qui va suivre d'un mode de réalisation. Cette description 20 sera donnée en référence aux dessins annexés dans lesquels : - la figure 1 illustre un exemple d'architecture pour la mise en oeuvre du procédé selon un mode de réalisation ; - la figure 2 illustre un exemple de lunettes pour la mise en oeuvre du procédé selon un mode de réalisation de l'invention ; 25 - la figure 3 est un diagramme schématisant un exemple de mise en oeuvre d'un procédé de gestion d'une interface selon l'invention. DESCRIPTION DETAILLEE 30 En référence à la figure 1, une mise en oeuvre pour l'invention concerne un procédé de gestion d'une interface entre un équipement 8 3023020 informatique 1 et un utilisateur 2 dudit équipement informatique. L'équipement informatique 1 comporte un module de traitement de données 3, constitué par exemple d'un processeur et de dispositifs de stockage.

5 L'utilisateur 2 est muni de lunettes 4 comprenant au moins un dispositif d'affichage 13, tel que des lunettes comportant un ou deux écrans LCD transparents, ou bien un dispositif permettant de projeter une image sur une surface transparente agissant comme un miroir semiréfléch issant. L'équipement informatique et les lunettes à affichage dont l'utilisateur est muni sont interconnectés de façon à pouvoir échanger des données. Ainsi le module de traitement de données 3 peut envoyer aux lunettes 4 une image à afficher afin que celle-ci puisse être affichée par les lunettes et visionnée par l'utilisateur.

15 L'équipement informatique ou les lunettes peuvent également comprendre des capteurs permettant la capture de données relatives à l'environnement de l'utilisateur. De tels capteurs peuvent par exemple consister, tel que représenté en figure 1, en un dispositif de capture de la géométrie de l'environnement de l'utilisateur 5 tel qu'une caméra ou un 20 scanner 3D et un microphone 6 permettant de capturer l'environnement sonore de l'utilisateur. Selon un mode de réalisation représenté en figure 2, les lunettes peuvent comprendre deux caméras haute résolution 7 placées au-dessus des verres des lunettes et permettant de reconstituer la vision stéréoscopique de l'utilisateur, deux caméras latérales 8 placées 25 sur les côtés des lunettes pour compléter l'image en trois dimensions et un émetteur récepteur infrarouge 9 permettant de détecter la position des objets situés dans l'environnement de l'utilisateur. L'équipement informatique ou les lunettes peuvent également comprendre un ou plusieurs haut-parleurs 10 permettant d'émettre des 30 sons à destination de l'utilisateur.

9 3023020 L'équipement informatique ou les lunettes peuvent enfin comprendre un ou plusieurs capteurs de mouvement ou de déplacement 11 destinés à capturer les mouvements de parties du corps de l'utilisateur tel que par exemple ses mains, ses bras, ses yeux, sa tête etc... ou des 5 déplacements de l'utilisateur De tels capteurs peuvent par exemple consister en des accéléromètres, magnétomètres, gyromètres. Selon une première variante, non représentée, l'équipement informatique est intégré aux lunettes qui sont alors parfaitement autonomes.

10 Selon une deuxième variante, représentée en figure 1, l'équipement informatique 1 est disposé dans un boitier distinct des lunettes 4. L'équipement informatique peut par exemple être intégré dans un dispositif portable tel qu'un téléphone mobile intelligent (« smartphone »). L'équipement informatique et les lunettes disposent 15 alors chacun d'une interface de communication 12 leur permettant d'échanger des données. Une telle interface peut par exemple être une interface filaire telle qu'une connexion HDMI ou Ethernet, ou bien une interface sans fil telle qu'une interface Bluetooth ou Wifi. L'équipement informatique exécute une application logicielle de zo gestion de services, tel qu'un assistant virtuel. Cette application logicielle remplit les fonctions d'un agent logiciel d'assistance à l'utilisateur : elle exécute des opérations ou tâches à partir d'indications minimales fournies par l'utilisateur, voire même en l'absence d'indications fournies par l'utilisateur.

25 Dans certains modes de réalisation, l'application logicielle a des capacités d'auto-apprentissage et d'analyse d'un ensemble d'informations pour proposer des recommandations quant à des actions à exécuter par l'utilisateur ou pour déclencher automatiquement l'exécution par l'équipement informatique de tâches / opérations. Cet ensemble 30 d'informations inclut des informations sur l'environnement de l'utilisateur issues de capteur de l'environnement, des informations sur les 10 3023020 déplacements ou mouvements effectués par l'utilisateur issues de capteurs de mouvements ou de déplacement, des informations sur des actions accomplies par l'utilisateur au moyen de l'équipement informatique, etc.

5 Les recommandations sont proposées sur la base de l'analyse de l'ensemble des informations ainsi obtenues, avec optionnellement une analyse des habitudes ou préférences de l'utilisateur. L'assistant peut par exemple rappeler à l'utilisateur qu'il doit prendre un médicament et détecter à partir des mouvements de l'utilisateur s'il est en train de manger 10 ou non de manière à déclencher l'exécution de ce rappel au moment d'un repas. Une telle application permet à l'utilisateur d'accéder de façon simple à des services pouvant être délivrés par l'équipement informatique. De tels services peuvent être les services classiquement proposés par un 15 smartphone de type agenda, cartographie, navigateur internet, carnet d'adresse, appels téléphoniques etc... Afin de simplifier l'accès à ces services, une application de type assistant virtuel permet à son utilisateur d'accéder à ces services sans passer par des menus ou des commandes complexes. Ainsi l'utilisateur peut interagir avec l'application au moyen de zo commandes d'interactions produites par l'utilisateur et qui sont transmises à l'application logicielle de gestion de services. Une commande d'interaction est par exemple une commande vocale, éventuellement en langage naturel, captée par un microphone localisé dans l'équipement informatique ou les lunettes et analysé par une 25 application d'analyse de parole exécutée par l'équipement informatique et communicant avec l'application logicielle. Une commande d'interaction peut également être une commande gestuelle, correspondant à un mouvement prédéfini de l'utilisateur (par exemple, se lever, s'asseoir, baisser la tête, faire « oui » ou « non » avec la tête, etc), capté par un 30 capteur de mouvement localisé dans l'équipement informatique ou les lunettes et analysé par une application d'analyse de mouvement exécutée 11 3023020 par l'équipement informatique et communicant avec l'application logicielle. Une commande d'interaction peut également être une commande par déplacement correspondant à un déplacement prédéfini de l'utilisateur (marcher, courir, faire un pas en avant, faire un pas en arrière, etc), capté 5 par un capteur de déplacement localisé dans l'équipement informatique ou les lunettes et analysé par une application d'analyse de déplacement exécutée par l'équipement informatique et communicant avec l'application logicielle. En fonction des commandes d'interactions de l'utilisateur, 10 l'application logicielle de gestion de services peut alors exécuter une opération déterminée en fonction de la ou des commandes d'interactions produite, telle que démarrer l'exécution d'applications installées sur l'équipement informatique ou de commandes de façon à délivrer les services appropriés à l'utilisateur sans que celui-ci ait à se préoccuper du 15 nom, de l'installation, de la syntaxe de lancement de ces applications et commandes. L'application de gestion de services peut également interagir avec l'utilisateur de son propre chef, sans répondre à une question ou une commande de celui-ci, par exemple pour lui donner une information ou lui proposer un service dont il pourrait avoir besoin.

20 Afin de rendre plus simple et intuitive l'interaction entre l'utilisateur et l'application de gestion de services exécutée par l'équipement informatique, une image virtuelle d'une entité virtuelle représentant l'application de gestion de services est affichée dans le champ de vision de l'utilisateur. Une telle entité virtuelle constitue un avatar de l'application 25 et peut être représentée sous la forme d'un personnage doté d'animations complexes avec lequel l'utilisateur peut interagir par la parole ou par des mouvements et/ou déplacements. Les interactions de l'utilisateur peuvent être capturées par les capteurs intégrés aux lunettes et transmises à l'équipement informatique 30 ou bien capturées directement par l'équipement informatique. Les données capturées peuvent ensuite être transmises à l'application de 12 3023020 gestion de services afin que celle-ci les utilise comme données d'entrée pour déterminer les applications et commandes à exécuter pour satisfaire les besoins de l'utilisateur. L'application de gestion de services peut également déterminer une animation à appliquer à l'entité virtuelle et des 5 sons à émettre à destination de l'utilisateur afin que l'utilisateur ait la sensation d'interagir avec un personnage animé, vivant, répondant à ses besoins. Afin de renforcer l'immersion de l'utilisateur et les possibilités d'interaction entre l'utilisateur, son environnement et l'application de 10 gestion de services, l'image virtuelle de l'entité virtuelle est affichée par les lunettes en superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, par exemple en réalité augmentée en trois dimensions. A titre d'exemple l'image virtuelle de l'entité virtuelle peut être affichée de façon à donner l'impression à l'utilisateur que l'entité virtuelle 15 est debout ou assise sur un élément de l'environnement de l'utilisateur tel qu'un meuble. L'affichage de l'entité virtuelle en prenant en compte l'environnement géométrique de l'utilisateur permet de renforcer l'impression de l'utilisateur d'interagir avec un personnage vivant et non avec une application logicielle. De plus ceci permet d'intégrer les éléments zo de l'environnement de l'utilisateur dans l'interaction entre celui-ci et l'application de gestion de services. A titre d'exemple, un objet ou un lieu positionné dans le champ de vision de l'utilisateur peut être désigné par l'application de gestion de services en déplaçant l'entité virtuelle à proximité de cet objet ou en animant l'entité virtuelle de façon à ce qu'elle 25 pointe la direction de cet objet. Plus précisément, une mise en oeuvre du procédé selon l'invention peut comporter les étapes décrites dans les paragraphes ci-dessous en référence à la figure 3. Lors d'une étape d'acquisition El, le module de traitement de 30 l'équipement informatique réalise l'acquisition de données relatives à l'environnement de l'utilisateur, telles que la position et la profondeur des 13 3023020 objets dans l'environnement de l'utilisateur. Selon une première variante, les données relatives à l'environnement de l'utilisateur sont acquises à l'aide des capteurs décrits ci-dessus connectés à l'équipement informatique. Selon une deuxième variante, les données relatives à 5 l'environnement de l'utilisateur sont acquises par un équipement distant connecté via un réseau au module de traitement de données de l'équipement informatique. L'équipement informatique peut ainsi prendre connaissance de données acquises par des capteurs tiers implantés dans d'autres équipements. A titre d'exemple ces données peuvent avoir été 10 acquises par les capteurs connectés à d'autres équipements informatiques similaires utilisés par des utilisateurs tiers placés dans l'environnement de l'utilisateur. Lors d'une première étape d'affichage E2, le module de traitement affiche, en fonction des données acquises lors de l'étape d'acquisition El, 15 sur le dispositif d'affichage 13 des lunettes, en superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, une image virtuelle d'une entité virtuelle, représentant ladite application logicielle de gestion de services. Un tel affichage en superposition constitue un affichage en réalité augmentée de l'entité virtuelle dans le 20 champ de vision de l'utilisateur, de sorte que l'utilisateur puisse bénéficier de services délivrés par l'application de gestion de services en ayant le sentiment d'interagir avec ladite entité virtuelle. En regardant son environnement au travers de ses lunettes, l'utilisateur voit ainsi l'entité virtuelle comme si elle faisait partie de son environnement, comme un 25 compagnon vivant et réel, et peut échanger avec l'application de gestion de services au travers de l'entité virtuelle sans avoir à se soucier du fonctionnement de l'application en elle-même. Lors d'une première étape de détection E3, le module de traitement détecte au moins une commande d'interaction avec ladite application 30 logicielle produite par l'utilisateur. Une telle commande d'interaction peut être une commande vocale détectée par un microphone, un déplacement 14 3023020 prédéfini de l'utilisateur détecté par un capteur de déplacement ou un mouvement prédéfini de l'utilisateur détecté par un capteur de mouvement. Lors d'une étape d'exécution E4, l'application logicielle exécute une 5 opération en réponse à ladite commande d'interaction. Une telle opération a pour but de fournir à l'utilisateur au moins un service répondant à une requête exprimée par l'utilisateur au travers de l'au moins une commande d'interaction détectée lors de l'étape de détection E3. L'étape d'exécution E4 peut comprendre une deuxième étape Io d'affichage E41 sur le dispositif d'affichage 13, en superposition à l'image réelle de l'environnement perçue par l'utilisateur, d'une image virtuelle modifiée de ladite entité virtuelle. L'image virtuelle de l'entité virtuelle affichée peut ainsi être mise à jour en fonction de la commande d'interaction produite par l'utilisateur de façon à afficher des éléments 15 relatifs au service commandé et à renforcer le sentiment de l'utilisateur d'interagir avec l'entité virtuelle. La première étape d'affichage E2 peut comprendre une deuxième étape de détection de commande E201 lors de laquelle le module de traitement détecte une commande d'affichage, respectivement de zo suppression d'affichage, produite par l'utilisateur, ladite commande déclenchant un affichage, en superposition à l'image réelle de l'environnement dans le champ de vision de l'utilisateur, de l'image virtuelle de l'entité virtuelle, respectivement une suppression d'affichage de l'image virtuelle de l'entité virtuelle lors d'une troisième étape 25 d'affichage E202. L'utilisateur peut ainsi faire apparaître ou disparaitre à volonté l'entité virtuelle de son champ de vision en fonction de ses besoins. Une telle commande peut, comme la commande d'interaction détectée lors de la première étape de détection E3, être une commande vocale, un déplacement ou un mouvement.

30 Selon une variante, le module de traitement peut détecter une zone de l'environnement observée par l'utilisateur et afficher en superposition à 15 3023020 une image réelle de l'environnement, l'image virtuelle de l'entité virtuelle dans la zone de l'environnement observée ou supprimer l'affichage de l'entité virtuelle de ladite zone de l'environnement observée. Si l'utilisateur demande l'affichage de l'image virtuelle de l'entité virtuelle dans une zone 5 de destination proche d'une zone d'origine dans laquelle l'affichage de l'image virtuelle de l'entité virtuelle est en cours, le module de traitement peut commander l'affichage d'une animation vidéo représentant le déplacement de l'entité virtuelle de la zone d'origine à la zone de destination, par exemple en marchant ou courant ou en sautant. Ceci évite une brutale disparition et apparition de l'entité virtuelle pouvant nuire à l'immersion de l'utilisateur. L'entité virtuelle peut être affichée d'une façon donnant l'impression qu'elle n'est pas en contact avec une surface réelle, par exemple qu'elle flotte dans l'air. Ceci peut par exemple être la conséquence d'une 15 modification de l'environnement de l'utilisateur, telle que le déplacement d'un meuble avec lequel l'entité virtuelle donnait l'impression d'être en contact. Afin d'éviter cette situation, la première étape d'affichage E2 peut comprendre une étape de détermination de surface E203 au cours de laquelle le module de traitement détermine une surface réelle appartenant 20 à l'environnement de l'utilisateur et une quatrième étape d'affichage E204 au cours de laquelle le module de traitement affiche en superposition à l'image réelle de l'environnement dans le champ de vision de l'utilisateur, une image virtuelle de l'entité virtuelle simulant un contact de l'entité virtuelle avec ladite surface réelle déterminée. L'entité virtuelle est 25 ainsi affichée de façon à donner à l'utilisateur l'impression qu'elle est réellement présente dans l'environnement de l'utilisateur et en contact avec la surface sélectionnée. Si l'entité virtuelle a la forme d'un personnage, l'utilisateur peut ainsi avoir l'impression que ce personnage est debout ou assis sur un des meubles ou une surface dégagée de son 30 environnement tel que par exemple un bureau, une chaise ou un tableau de bord de voiture. L'intégration de l'entité virtuelle dans l'environnement 16 3023020 de l'utilisateur est ainsi renforcée et donne davantage à celui-ci l'impression que l'entité virtuelle est un personnage réel et non virtuel. L'entité virtuelle peut par ailleurs être affichée d'une façon générant une collision avec un objet de l'environnement, tel qu'un bras ou un autre 5 élément du corps d'un personnage disparaissant dans un mur, un meuble ou un autre objet comme une fourchette ou un couteau. Ceci peut être la conséquence du déplacement d'un élément dans l'environnement de l'utilisateur, par exemple si un objet tel qu'un livre est posé à un emplacement où l'entité virtuelle donne déjà l'impression de se trouver.

10 Ceci peut également se produire lorsque l'utilisateur commande l'affichage de l'image virtuelle de l'entité virtuelle à un emplacement déjà occupé par un ou plusieurs objets. Une telle collision étant physiquement impossible, son affichage peut nuire à l'immersion de l'utilisateur dans son environnement en réalité augmentée et dégrader les possibilités 15 d'interaction entre l'entité virtuelle et l'utilisateur, par exemple si un bras de l'entité virtuelle est masqué alors que celui-ci sert à pointer un objet ou une direction. Afin d'éviter ceci, la première étape d'affichage E2 peut également comprendre une étape de détection de recouvrement E205 lors de laquelle le module de traitement détecte un éventuel recouvrement zo dans le champ de vision de l'utilisateur entre l'image virtuelle de l'entité virtuelle et une image réelle d'un objet appartenant à l'environnement de l'utilisateur, et une cinquième étape d'affichage E206 au cours de laquelle le module de traitement affiche en superposition à l'image réelle de l'environnement une image virtuelle de l'entité virtuelle de sorte à éviter 25 ledit recouvrement. Une telle détection de recouvrement est réalisée de manière classique à partir des données relatives à l'environnement de l'utilisateur acquises lors de l'étape d'acquisition E1. L'entité virtuelle peut être déplacée dans une zone libre d'objet ou bien au-dessus des objets avec lesquelles elle présente un recouvrement, comme si elle était posée 30 dessus. Selon une variante, l'affichage de l'image virtuelle de l'entité 17 3023020 virtuelle peut être simplement interrompu lors de la détection d'un tel recouvrement. La première étape d'affichage E2 peut également comprendre une première étape de détermination de déplacement E207 lors de laquelle le 5 module de traitement détermine un déplacement de l'utilisateur dans son environnement, et une sixième étape d'affichage E208 au cours de laquelle le module de traitement affiche en superposition à l'image réelle de l'environnement dans le champ de vision de l'utilisateur : - une première image virtuelle de l'entité virtuelle positionnée à un 10 premier endroit dans l'image réelle lorsque l'utilisateur se déplace, - une deuxième image virtuelle de l'entité virtuelle positionnée à un deuxième endroit dans l'image réelle lorsque l'utilisateur ne se déplace pas. Ledit premier endroit peut être situé sur une partie du corps de 15 l'utilisateur telle que son épaule. Ledit deuxième endroit peut être une position proche de l'utilisateur, par exemple latéralement à celui-ci. L'entité virtuelle est ainsi toujours affichée à une position adéquate dans le champ de vision de l'utilisateur. Elle le suit lorsque l'utilisateur se déplace en étant positionnée naturellement sur son épaule tel un animal 20 domestique, et reste positionnée à proximité de l'utilisateur, latéralement de façon à ne pas le gêner, lorsque celui-ci reste immobile, par exemple lorsqu'il est assis dans un fauteuil ou devant un bureau. Le déplacement de l'utilisateur peut être détecté à l'aide d'un podomètre, particulièrement dans le cas d'un déplacement à pied. Le déplacement de l'utilisateur peut 25 également être détecté par un capteur de déplacement détectant le point de l'image d'où proviennent et divergent les objets de l'environnement en déplacement dans les images capturées par les caméras intégrées aux lunettes. Selon une variante, l'emplacement d'affichage de l'image virtuelle 30 de l'entité virtuelle n'est pas modifié suite au déplacement de l'utilisateur. L'entité virtuelle ne suit alors pas l'utilisateur dans son déplacement.

18 3023020 Lorsque l'utilisateur détourne son regard de l'entité virtuelle, celle-ci n'est plus affichée mais sa dernière position d'affichage est mémorisée. L'image virtuelle de l'entité virtuelle sera de nouveau affichée à cette position lorsque celle-ci reviendra dans le champ de vision de l'utilisateur, si 5 l'utilisateur n'a pas demandé entre temps son affichage à un autre emplacement. A titre d'exemple, l'utilisateur peut quitter une pièce et perdre le contact avec son entité virtuelle puis retrouver celle-ci lors de son retour dans cette pièce. L'utilisateur peut parfois demander par erreur l'affichage de l'entité 10 virtuelle à une position gênante occultant une partie du champ de vision de l'utilisateur que celui-ci aurait besoin de garder libre. A titre d'exemple, si l'utilisateur est en train de manger et commande l'affichage de l'entité virtuelle devant lui, celle-ci risque d'être affichée dans son assiette, l'empêchant de voir le contenu de celle-ci. Afin d'éviter cela, la première 15 étape d'affichage E2 peut également comprendre une étape de détection d'occultation E209 au cours de laquelle le module de traitement détecte une occultation du champ de vision de l'utilisateur, et une étape de suppression d'affichage E210 au cours de laquelle le module de traitement supprime l'affichage de l'entité virtuelle occultant le champ de 20 vision de l'utilisateur. Selon une variante, l'entité peut dans ce cas être affichée à une autre position ne posant pas de tel problème d'occultation. Une telle occultation gênante d'une partie du champ de vision de l'utilisateur peut survenir alors que l'utilisateur est en déplacement. Par exemple, elle peut survenir si l'utilisateur demande l'affichage devant lui 25 de l'image virtuelle de l'entité virtuelle alors qu'il se trouve au volant de son véhicule, en train de conduire. L'image virtuelle de l'entité virtuelle peut alors être affichée sur le volant du véhicule et gêner la vision de la route par l'utilisateur. Une telle occultation peut présenter un danger pour l'utilisateur et doit donc être évitée. Pour cela, la première étape 30 d'affichage E2 peut comprendre une étape de détermination de direction E211 au cours de laquelle le module de traitement détermine une direction 19 3023020 de déplacement de l'utilisateur, et une étape de suppression d'affichage ou de déplacement d'image E210 comportant la suppression par le module de traitement de l'affichage ou le déplacement de l'affichage de l'image virtuelle de l'entité virtuelle occultant le champ de vision de 5 l'utilisateur dans la direction de déplacement de l'utilisateur. Lors de cette étape de suppression, l'image virtuelle de l'entité virtuelle peut être affichée sur le côté de l'utilisateur par rapport à la direction de déplacement de façon à ne plus occulter le champ de vision de l'utilisateur dans cette direction. L'image virtuelle de l'entité virtuelle peut être affichée 10 instantanément à une position que l'utilisateur aura précédemment regardée ou bien peut être affichée sur un côté de l'utilisateur au moment où l'utilisateur regarde dans cette direction. Lors d'un déplacement de la position d'affichage ou d'une suppression de l'affichage de l'image virtuelle de l'entité virtuelle suite à 15 une occultation gênante du champ de vision de l'utilisateur ou à un recouvrement avec un objet de l'environnement, l'équipement informatique ou les lunettes peuvent émettre un message vocal indiquant le déplacement ou la suppression de l'affichage de l'entité virtuelle et éventuellement le motif de ce déplacement ou de cette suppression.

20 Selon un mode de mise en oeuvre, le module de traitement peut garder la mémoire de la position et des conditions d'une telle suppression d'affichage et refuser toute commande d'affichage ultérieure de l'image virtuelle de l'entité virtuelle à cette même position et dans les mêmes conditions.

25 Une pluralité de tels équipements informatiques peuvent être connectés par l'intermédiaire d'un réseau. Le module de traitement de l'utilisateur peut alors être connecté par l'intermédiaire de ce réseau à au moins un autre module de traitement de données exécutant le procédé selon l'invention et appartenant à au moins un utilisateur tiers localisé 30 dans l'environnement de l'utilisateur. Les deux modules de traitement peuvent alors échanger des données concernant leurs entités virtuelles 20 3023020 respectives et permettre à chaque utilisateur d'avoir le sentiment d'interagir avec l'entité virtuelle de l'autre utilisateur. Pour cela, tel que représenté en figure 3, la première étape d'affichage E2 peut comprendre une septième étape d'affichage E212 en superposition à l'image réelle de 5 l'environnement dans le champ de vision de l'utilisateur, d'au moins une image virtuelle d'une entité virtuelle représentant une application logicielle de gestion de services dudit utilisateur tiers localisé dans l'environnement de l'utilisateur, la première étape de détection E3 peut comprendre une troisième étape de détection E31 d'au moins une commande d'interaction avec l'application logicielle dudit utilisateur tiers produite par l'utilisateur et l'étape d'exécution E4 peut comprendre une deuxième étape d'exécution E42 d'une opération par ladite application logicielle dudit utilisateur tiers en réponse à ladite commande d'interaction. L'utilisateur peut ainsi bénéficier de services délivrés par l'application de gestion de services de 15 l'utilisateur tiers en ayant le sentiment d'interagir avec l'entité virtuelle de l'utilisateur tiers. Les données indiquant la position de chaque entité virtuelle dans l'environnement de son utilisateur peuvent être partagées entre les modules de traitement par l'intermédiaire du réseau et l'entité virtuelle de l'utilisateur tiers peut ainsi être affichée dans le champ de 20 vision de l'utilisateur, lui permettant d'interagir avec celle-ci comme il interagirait avec sa propre entité virtuelle. Les données mémorisées par un équipement informatique d'un utilisateur, telles que par exemple des données d'agenda ou des données de réseau social, peuvent ainsi être mises à disposition des autres 25 utilisateurs disposant d'un équipement informatique similaire connecté au même réseau. Ces données peuvent par exemple être communiquées par l'entité virtuelle de cet équipement aux autres utilisateurs par le biais de leur propre équipement informatique et de leurs lunettes. En interagissant avec son entité virtuelle l'utilisateur peut également commander un 30 échange de données entre son module de traitement et celui d'un autre utilisateur. Les entités virtuelles correspondantes peuvent être alors 21 3023020 animées de façon à représenter graphiquement un tel échange de données. Un équipement informatique peut parfois manquer d'informations récentes quant à une éventuelle modification de l'environnement de 5 l'utilisateur, tel qu'un déplacement d'un objet, autour de la dernière position d'affichage de l'entité virtuelle de l'utilisateur, par exemple si l'utilisateur ne s'est pas tourné dans cette direction depuis longtemps. Les autres équipements informatiques connectés au même réseau peuvent alors échanger avec l'équipement de l'utilisateur des données concernant 10 cette position issues de leurs capteurs respectifs. L'équipement informatique peut utiliser les données récentes concernant cette position provenant d'autres équipements informatiques pour déterminer un éventuel problème d'affichage, par exemple si la position d'affichage de l'image virtuelle de son entité virtuelle dans l'environnement ne se trouve 15 plus à la surface d'un objet et peut donner l'impression aux autres utilisateur que cette entité virtuelle flotte ou qu'elle est imbriquée dans un objet de l'environnement. Le module de traitement peut alors utiliser ces données pour corriger la position d'affichage de l'image virtuelle de l'entité virtuelle de sorte qu'elle s'intègre naturellement dans l'environnement de 20 l'utilisateur. Ainsi un utilisateur peut interagir naturellement avec son équipement informatique sans avoir ni à manipuler celui-ci ni à connaitre le fonctionnement des applications exécutées par celui-ci. L'utilisateur 25 peut interagir avec son équipement informatique en ayant le sentiment d'interagir avec son entité virtuelle comme s'il s'agissait d'un compagnon réel et n'a besoin de connaitre aucune commande spécifique pour déclencher l'exécution des services dont il a besoin. 22

Claims

REVENDICATIONS1. Procédé de gestion d'une interface entre un équipement informatique (1) susceptible d'exécuter une application 5 logicielle de gestion de services et un utilisateur (2) dudit équipement informatique muni de lunettes (4) comprenant au moins un dispositif d'affichage (13), ledit procédé étant mis en oeuvre par un module de traitement de données (3) dudit équipement informatique et caractérisé en ce qu'il comprend des 10 étapes de : - acquisition (El ) de données relatives à l'environnement de l'utilisateur, - en fonction desdites données acquises, affichage (E2), sur ledit au moins un dispositif d'affichage (13) desdites lunettes (4), en 15 superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, d'une image virtuelle d'une entité virtuelle représentant ladite application logicielle de gestion de services, - détection (E3) d'au moins une commande d'interaction avec ladite application logicielle produite par l'utilisateur, 20 - exécution (E4) d'une opération par ladite application logicielle en réponse à ladite commande d'interaction.
2. Procédé selon la revendication 1, dans lequel ladite étape d'exécution (E4) comprend une deuxième étape d'affichage sur ledit au moins un dispositif d'affichage (13), en superposition à l'image réelle 25 de l'environnement perçue par l'utilisateur, d'une image virtuelle modifiée de ladite entité virtuelle (E41).
3. Procédé selon l'une des revendications précédentes, dans lequel ladite commande d'interaction est une commande vocale détectée par un microphone, un déplacement prédéfini de l'utilisateur 30 détecté par un capteur de déplacement ou un mouvement prédéfini de l'utilisateur détecté par un capteur de mouvement. 23 3023020
4. Procédé selon l'une des revendications précédentes, dans lequel les données relatives à l'environnement de l'utilisateur sont acquises (El ) à l'aide de capteurs connectés audit équipement informatique.
5. Procédé selon l'une des revendications 1 à 3, dans lequel les données relatives à l'environnement de l'utilisateur sont acquises (El ) par un équipement distant connecté via un réseau au module de traitement de données de l'équipement informatique (1).
6. Procédé selon l'une des revendications précédentes, dans lequel l'étape d'affichage (E2) comprend une étape de détection d'un recouvrement (E205) dans le champ de vision de l'utilisateur entre l'image virtuelle de l'entité virtuelle et une image réelle d'un objet appartenant à l'environnement de l'utilisateur et une étape d'affichage en superposition à l'image réelle de l'environnement d'une image virtuelle de l'entité virtuelle 15 de sorte à éviter ledit recouvrement (E206).
7. Procédé selon l'une des revendications précédentes, dans lequel l'étape d'affichage (E2) comprend une étape de détermination d'un déplacement de l'utilisateur (E207) et une étape d'affichage (E208), en superposition à l'image réelle de l'environnement dans le champ de 20 vision de l'utilisateur : d'une première image virtuelle de l'entité virtuelle positionnée à un premier endroit dans l'image réelle lorsque l'utilisateur se déplace et d'une deuxième image virtuelle de l'entité virtuelle positionnée à un deuxième endroit dans l'image réelle lorsque l'utilisateur ne se déplace pas. 25
8. Procédé selon l'une des revendications précédentes, dans lequel l'étape d'affichage (E2) comprend une étape de détection d'une commande d'affichage, respectivement de suppression d'affichage, produite par l'utilisateur (E201), ladite commande déclenchant un affichage, en superposition à l'image réelle de l'environnement dans le 30 champ de vision de l'utilisateur, de l'image virtuelle de l'entité virtuelle, 24 3023020 respectivement une suppression d'affichage de l'image virtuelle de l'entité virtuelle (E202).
9. Procédé selon l'une des revendications précédentes, dans lequel l'étape d'affichage (E2) comprend une étape de détermination 5 d'une surface réelle appartenant à l'environnement de l'utilisateur (E203) et une étape d'affichage, en superposition à l'image réelle de l'environnement dans le champ de vision de l'utilisateur, d'une image virtuelle de l'entité virtuelle simulant un contact de l'entité virtuelle avec ladite surface réelle déterminée (E204).
10. Procédé selon l'une des revendications précédentes, dans lequel l'étape d'affichage (E2) comprend une étape de détection d'une occultation du champ de vision de l'utilisateur par l'image virtuelle de l'entité virtuelle (E209) et une étape de suppression d'affichage de l'image virtuelle de l'entité virtuelle occultant ledit champ de vision de l'utilisateur (E210).
11. Procédé selon la revendication précédente, dans lequel l'étape d'affichage (E2) comprend une étape de détermination d'une direction de déplacement de l'utilisateur (E211) et une étape de suppression d'affichage ou de déplacement (E210) de l'image virtuelle de l'entité virtuelle occultant le champ de vision de l'utilisateur dans la direction de déplacement.
12. Procédé selon l'une des revendications précédentes, dans lequel, le module de traitement de données (3) de l'utilisateur étant connecté par l'intermédiaire d'un réseau à au moins un module de traitement de données exécutant le procédé selon l'une quelconque des revendications précédentes d'au moins un utilisateur tiers localisé dans l'environnement de l'utilisateur : - l'étape d'affichage par lesdites lunettes (4) de l'utilisateur comprend en outre une étape d'affichage (E212), en superposition à l'image réelle de 30 l'environnement dans le champ de vision de l'utilisateur, d'au moins une image virtuelle d'une entité virtuelle représentant une application logicielle 25 3023020 de gestion de services dudit utilisateur tiers localisé dans l'environnement de l'utilisateur, - l'étape de détection (E3) comprend une étape de détection (E31) d'au moins une commande d'interaction avec ladite application logicielle dudit 5 utilisateur tiers produite par l'utilisateur, - l'étape d'exécution (E4) comprend une étape d'exécution (E42) d'une opération par ladite application logicielle dudit utilisateur tiers en réponse à ladite commande d'interaction.
13. Produit programme d'ordinateur comprenant des 10 instructions de code pour l'exécution d'un procédé selon l'une quelconque des revendications précédentes lorsque ce programme est exécuté par un processeur.
14. Equipement informatique (1) de gestion d'une interface entre ledit équipement informatique et un utilisateur dudit 15 équipement informatique muni de lunettes comprenant au moins un dispositif d'affichage (13), ledit équipement informatique étant susceptible d'exécuter une application logicielle de gestion de services et étant caractérisé en ce qu'il est configuré pour : - acquérir des données relatives à l'environnement de l'utilisateur, 20 - en fonction desdites données acquises, afficher, sur ledit au moins un dispositif d'affichage (13) desdites lunettes (4), en superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, une image virtuelle d'une entité virtuelle représentant ladite application logicielle de gestion de services, 25 - détecter au moins une commande d'interaction avec ladite application logicielle produite par l'utilisateur, - exécuter une opération en réponse à ladite commande d'interaction.
15. Lunettes (4) comprenant au moins un dispositif d'affichage (13) et un équipement informatique selon la revendication précédente. 26 3023020
16. Système de gestion d'une interface entre un équipement informatique (1) susceptible d'exécuter une application logicielle de gestion de services et un utilisateur dudit équipement informatique muni de lunettes (4) comprenant au moins un dispositif 5 d'affichage (13), lesdites lunettes (4) et ledit équipement informatique (1) étant susceptibles de communiquer l'un avec l'autre et, - lesdites lunettes (4) étant configurées pour acquérir des données relatives à l'environnement de l'utilisateur et transmettre lesdites données acquises à l'équipement informatique (1), Io - ledit équipement informatique (1) étant configuré pour, en fonction desdites données acquises, afficher, sur ledit au moins un dispositif d'affichage (13) desdites lunettes (4), en superposition à une image réelle de l'environnement dans le champ de vision de l'utilisateur, une image virtuelle d'une entité virtuelle représentant ladite application 15 logicielle de gestion de services, détecter au moins une commande d'interaction avec ladite application logicielle produite par l'utilisateur, et exécuter une opération en réponse à ladite commande d'interaction.