FR2978260A1

FR2978260A1 - Procede et dispositif de realite augmentee

Info

Publication number: FR2978260A1
Application number: FR1156562A
Authority: FR
Inventors: Vincent Toubiana; Mathieu Boussard
Original assignee: Alcatel Lucent SAS
Current assignee: Alcatel Lucent SAS
Priority date: 2011-07-20
Filing date: 2011-07-20
Publication date: 2013-01-25
Also published as: WO2013011121A1

Abstract

Procédé de réalité augmentée sur un terminal, notamment un terminal mobile, comprenant l'envoi à une application d'une description d'au moins un objet, cette description incluant une description sémantique des propriétés de l'objet, ce procédé étant caractérisé en ce qu'il comprend la mise à disposition, sur le terminal, après sélection de l'objet, d'un affichage de l'objet en réalité augmentée parallèlement à l'affichage de cet objet.

Description

Procédé et dispositif de réalité augmentée

L'invention se rapporte au domaine technique de la réalité augmentée, c'est-à-dire la création d'un environnement réel augmenté au moyen d'objets virtuels. La réalité augmentée permet d'obtenir une interaction entre des personnes ou des objets réels et des objets virtuels. A titre d'exemple, la réalité augmentée permet la superposition de POI (Points Of Interest) sur la capture vidéo d'un terminal mobile.

Plus généralement, la réalité augmentée vise à donner à l'utilisateur des informations complémentaires pouvant être perçues par exemple par la vision ou un retour kinesthésique. Les principes de réalité augmentée, appliqués aux terminaux mobiles, permettent ainsi une aide à l'orientation et des visites guidées, avec des applications possibles dans les activités touristiques, culturelles et le marché locatif. Les principes de réalité augmentée, appliqués aux terminaux mobiles, permettent également l'ajout d'informations dans des contenus média, en particulier lors de phase d'apprentissage, de diagnostic, simulation ou prototypage. La réalité augmentée trouve des applications actuelles et futures aussi diverses que l'architecture d'intérieur (cf. par ex. le projet européen Aris), la muséographie (visite virtuelle de sites archéologiques par le système Archeoguide, reconstitution de flores et de faunes par le système Lifeplus), le commerce électronique (catalogues augmentés, voir par exemple http://www.la-realite- augmentee.fr/videos/my-ikea-et-la-realite-augmentee ; httpl/www.jurawatches.co.uk/virtual-watch.asp), les jeux (hybrides jeu de plateau et jeu vidéo), la maintenance industrielle, la conception de produits, l'assistance à la réalisation d'opérations chirurgicales, le sport (projets européens Piste et Melisa). Le développement de terminaux mobiles équipés de caméras numériques, de puces GPS, d'accéléromètres et de compas électroniques ouvre à la réalité augmentée la voie vers de nouvelles applications. Plusieurs navigateurs en réalité augmentée sont apparus sur le marché, en particulier Argon, Wikitude, Layar, ainsi que diverses applications (voir par ex. UrbanSpoon, Bionic Eye, Tonchidot). A001 B141 FR - 809057 AUGMENTED REALITY INTERACTION PREVIEWER Version : TQD L'application Argon a été développée par le Georgia Institue of Technology, avec le soutien de la demanderesse. Implémentation du projet Kharma, Argon combine les standards KML et HTML5 et présente de nombreux avantages, notamment en termes d'interactivité et de personnalisation des objets virtuels. Pour une présentation d'Argon, on peut se reporter à l'adresse httpl/argonbrowser.org. L'application Wikitude développée par la société Mobilizy (httpi/www.wikitude.orp) résulte de l'intégration de Wikipédia, du système d'exploitation mobile Android de la société Google et du Smartphone G1 du constructeur HTC. L'application Wikitude permet d'ajouter des informations provenant de Wikipédia sur l'image filmée par le terminal mobile géo-localisé. L'application Layar permet aux utilisateurs de l'application Android d'ajouter des informations et des points d'intérêts, mais ne permet pas la création de POI directement au sein du code source. Les principes de fonctionnement de Layar sont les suivants : l'utilisateur sélectionne un sujet dans une liste, puis requiert des informations sur ce sujet auprès d'un serveur (GET request), en adressant au serveur des informations de localisation. En réponse, le serveur rassemble les POI pour le sujet choisi au voisinage de la localisation et les adresse au terminal (sous le forme d'un document au format JSON), l'affichage des POI étant effectué en overlay, la bonne orientation des objets virtuels sur les objets réels étant obtenue notamment par la détection de l'orientation du terminal (par exemple compas d'un terminal mobile).

On distingue conventionnellement deux types de dispositifs de réalité augmentée : les dispositifs liés à la localisation du terminal et les dispositifs liés à la présence d'un marqueur. La réalité augmentée implique un recalage d'objets virtuels sur un monde réel, ce recalage nécessitant de localiser avec précision la caméra (cohérence spatiale), et d'effectuer cette localisation en « temps réel » et en diminuant les temps de latence dus à la propagation des informations dans le système (cohérence temporelle). La mise en oeuvre de la réalité augmentée sur terminal mobile pose de nombreux problèmes liés à certains paramètres de contexte : - contexte technique regroupant les caractéristiques techniques du terminal mobile, et notamment des capteurs (caméras, micros, A001 B141 FR - 809057 AUGMENTED REALITY INTERACTION PREVIEWER Version : TQD GPS, accéléromètres), de la taille de l'écran, du réseau disponible ; contexte spatial, consistant en la localisation et l'orientation du dispositif ainsi que toutes informations utiles sur le lieu où se trouve l'utilisateur ; contexte de l'activité, concernant directement les tâches et intentions de l'utilisateur, à court et long termes. Si les applications telles que Sitelens, Layar, Wikitude utilisent les données de contexte spatial, il n'en va pas de même des autres dimensions contextuelles, notamment techniques. Plus généralement, la mise en oeuvre d'une réalité augmentée, sur terminal mobile ou non, peut conduire à des résultats inadaptés, par exemple l'envoi d'un flux audio bruyant vers un terminal dont les hauts parleurs sont à pleine puissance.

La mise en oeuvre de la réalité augmentée peut également être frustrante pour l'utilisateur lorsque plusieurs actions ou combinaisons lui sont proposées, le paramétrage par l'utilisateur s'avérant long et fastidieux, sans que l'utilisateur puisse comparer les rendus obtenus par chacun des réglages. Bien qu'il soit en principe possible de fournir à l'utilisateur une description complète de chaque objet avec lequel il peut interagir, il n'est pas réaliste d'escompter que les utilisateurs prendront le temps de lire complètement ces descriptions avant de tenter une interaction avec les objets. L'invention vise à résoudre au moins partiellement les inconvénients des dispositifs existants qui viennent d'être présentés. L'invention se rapporte, selon un premier aspect, à un procédé de réalité augmentée sur un terminal, notamment un terminal mobile, comprenant l'envoi à une application d'une description d'au moins un objet, cette description incluant une description sémantique des propriétés de l'objet, ce procédé comprenant la mise à disposition, sur le terminal, après sélection de l'objet, d'un affichage de l'objet en réalité augmentée parallèlement à l'affichage de cet objet. L'affichage, en prévisualisation, par le navigateur de réalité augmentée, de l'objet en réalité augmentée parallèlement à l'affichage de l'objet permet à l'utilisateur d'évaluer l'intérêt de l'interaction. Le procédé comprend avantageusement une étape de composition ou d'agrégation d'objets (mashup). A001 B141 FR - 809057 AUGMENTED REALITY INTERACTION PREVIEWER Version : TQD La description d'au moins un objet comprend avantageusement la description de la manière dont la fonctionnalité de l'objet doit être affichée par le terminal. L'invention se rapporte, selon un deuxième aspect, à un système de réalité augmentée comprenant un terminal pourvu d'une unité d'affichage et d'une caméra, ce terminal comprenant des moyens de détection d'au moins un objet, ce terminal comprenant un processeur apte à assurer la réception d'une description de cet objet, cette description comprenant une description sémantique des propriétés de l'objet, le terminal étant pourvu de moyens d'affichage de l'objet en réalité augmentée parallèlement à l'affichage de cet objet. L'invention se rapporte, selon un troisième aspect, à une plateforme distribuée de réalité augmentée comprenant un terminal pourvu d'une application client et un serveur pourvu d'une application serveur, l'application client adressant à l'application serveur des données liées à l'environnement du terminal, l'application serveur adressant à l'application client des données comprenant la description d'au moins un objet, cette description comprenant une description sémantique des propriétés dudit objet, le terminal étant pourvu de moyens d'affichage de l'objet en réalité augmentée parallèlement à l'affichage de cet objet. D'autres objets et avantages de l'invention apparaîtront à la lumière de la description faite ci-après en référence à la figure unique annexée qui est un diagramme fonctionnel d'une mise en oeuvre d'un procédé de réalité augmentée. Dans la suite de cette description, chaque objet « intelligent » placé dans l'environnement de l'utilisateur décrit ses propriétés en utilisant un langage sémantique compris par le navigateur en réalité augmentée (augmented reality browser). Le procédé va être décrit dans un contexte de réalité augmentée mobile, l'utilisateur employant un terminal mobile tel que PDA (persona/ digital assistant), smartphone, tablette numérique, ou terminal électronique connecté à un véhicule. Dans une première étape 1, les propriétés des objets placés dans le champ du terminal mobile sont détectées. L'expression « placés dans le champ du terminal mobile » désigne notamment le fait que les objets sont placés dans le champ de la caméra du terminal mobile, ou bien encore que les objets sont porteurs de puces, par exemple puces RFID, A001 B141 FR - 809057 AUGMENTED REALITY INTERACTION PREVIEWER Version : TQD placées dans le champ de détection de ces puces, par le terminal mobile. Si l'objet contient une description de la manière avec laquelle il doit être affiché par le navigateur en réalité augmentée, cette description est adressée au terminal mobile. Dans une deuxième étape 2, l'utilisateur sélectionne au moins une interaction avec un objet. L'application présente alors avantageusement plusieurs combinaisons 3 d'objets. Dans l'étape suivante 4, l'utilisateur choisit une combinaison et affiche une prévisualisation de la combinaison choisie. Cette étape de prévisualisation permet à l'utilisateur de contrôler la conformité du rendu de la réalité augmentée proposée avec les données contextuelles, notamment en termes de capacités et de réglages du terminal ou en termes de contexte d'activités (tâches et intentions de l'utilisateur à court et moyen termes). Si l'utilisateur n'est pas séduit par l'expérience proposée de réalité augmentée, illustrée par la prévisualisation, une autre combinaison 3 d'objets ou une autre interaction peut être choisie. Ainsi par exemple, lorsqu'un client se trouve dans un magasin dans lequel les articles sont pourvus de puces RFID, la première étape de détection des puces, par le terminal du client, lui permet d'être informé de la présence d'articles proches de lui. Le client peut alors sélectionner au moins une interaction avec un article et l'application présente avantageusement plusieurs articles et combinaison d'articles, tenant compte du profil du client, par exemple de l'historique de sa navigation. La prévisualisation pourra alors consister en un essayage virtuel des articles, le client portant des marqueurs, la prévisualisation en réalité augmentée peut être effectuée sur le terminal du client ou sur un écran placé dans le magasin.

Le procédé selon l'invention présente de nombreux avantages, dont certains vont être illustrés à l'aide des exemples de mises en oeuvre ci-dessous. Dans un premier exemple de mise en oeuvre, un premier objet est un écran, c'est-à-dire un objet capable d'afficher un contenu vidéo ; et un deuxième objet est une caméra (webcam) fournissant un lien URL à partir duquel la vidéo peut être téléchargée. L'utilisateur dispose d'une application permettant l'affichage d'une vidéo sur tout écran connecté. A001 B141 FR - 809057 AUGMENTED REALITY INTERACTION PREVIEWER Version : TQD Lors de la mise en oeuvre du procédé, le navigateur en réalité augmentée pourra recevoir le flux vidéo provenant de la webcam et afficher ce flux vidéo à l'écran sélectionné par l'utilisateur, par exemple un écran de télévision.

Dans un deuxième exemple de mise en oeuvre, une lampe est identifiée par le navigateur en réalité augmentée, cette lampe étant décrite comme ayant une intensité lumineuse pouvant varier. Pour simuler les changements d'état de la lampe, le navigateur pourra modifier la luminosité dans les zones qui seront éclairées par la lampe, ou, pour les environnements sombres, modifier le mode de fonctionnement de la caméra vers l'infrarouge. La préparation de la prévisualisation augmente les chances d'une expérience positive de la réalité augmentée. Dans un troisième exemple de mise en oeuvre, un téléphone fixe est identifié comme un objet connectable à proximité du terminal mobile de l'utilisateur. L'application propose à l'utilisateur une prévisualisation dans laquelle, lorsque le téléphone fixe reçoit un appel, en plus ou à la place de la sonnerie du téléphone fixe, un signal lumineux apparaît sur l'écran du terminal mobile.

Le procédé permet à l'utilisateur de mieux interagir avec les objets connectés, dans des espaces intelligents. Le procédé permet notamment d'offrir une alternative aux méthodes complexes de navigation contextuelles, tout en étant compatible avec ces méthodes.

Pour que la réalité augmentée soit une expérience enrichissante, il est en effet important que les objets proposés à l'utilisateur soient cohérents avec le contexte spatial, temporel, technique et d'activité de l'utilisateur. Mais le contexte est éphémère, incertain et imprécis, de sorte que sa détermination, à partir notamment du profil de l'utilisateur, de sa localisation, de l'historique de navigation, ne peut être déterministe. Lorsque la réalité augmentée est basée sur des services liés à la localisation (LBS), non seulement l'environnement mais aussi le profil utilisateur peuvent changer à tout moment, par déplacement de l'utilisateur, parfois de quelques mètres (entrée en réunion, sortie de réunion), ou changement de contexte social (par exemple du milieu professionnel au divertissement). A001 B141 FR - 809057 AUGMENTED REALITY INTERACTION PREVIEWER Version : TQD

Claims

REVENDICATIONS1. Procédé de réalité augmentée sur un terminal, notamment un terminal mobile, comprenant l'envoi à une application d'une description d'au moins un objet, cette description incluant une description sémantique des propriétés de l'objet, ce procédé étant caractérisé en ce qu'il comprend la mise à disposition, sur le terminal, après sélection de l'objet, d'un affichage de l'objet en réalité augmentée parallèlement à l'affichage de cet objet.
2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une étape de composition ou d'agrégation d'objets.
3. Procédé selon la revendication 1 ou la revendication 2, caractérisé en ce que la description d'au moins un objet comprend la description de la manière dont la fonctionnalité de l'objet doit être affichée par le terminal.
4. Système de réalité augmentée comprenant un terminal pourvu d'une unité d'affichage et d'une caméra, ce terminal comprenant des moyens de détection d'au moins un objet, ce terminal comprenant un processeur apte à assurer la réception d'une description de cet objet, cette description comprenant une description sémantique des propriétés de l'objet, le terminal étant pourvu de moyens d'affichage de l'objet en réalité augmentée parallèlement à l'affichage de cet objet.
5. Plateforme distribuée de réalité augmentée comprenant un terminal pourvu d'une application client et un serveur pourvu d'une application serveur, l'application client adressant à l'application serveur des données liées à l'environnement du terminal, l'application serveur adressant à l'application client des données comprenant la description d'au moins un objet, cette description comprenant une description sémantique des propriétés dudit objet, le terminal étant pourvu de moyens d'affichage de l'objet en réalité augmentée parallèlement à l'affichage de cet objet. A001 B141 FR - 809057 AUGMENTED REALITY INTERACTION PREVIEWER Version : TQD