CH711803A2 - Procédé d'interaction par surface miroir interactive. - Google Patents

Abstract

L’invention décrit un procédé d’interaction immersive au moyen d’une surface miroir interactive qui autorise un dialogue par contact visuel avec un ou une pluralité d’utilisateurs. Le procédé est composé de la répétition d’étapes (a, b et c). L’étape (a) effectue l’acquisition média (f) et traite les interactions homme-machine. L’étape (b) construit le ou les contacts visuels en utilisant un reflet miroir personnalisé. L’étape (c) effectue le rendu audio-visuel et le contextualise.

Description

Description

DOMAINE TECHNIQUE

[0001] L’invention concerne un procédé d’interactions immersives et de vision par ordinateur appliqué à un miroir virtuel capable de créer un dialogue par contact visuel avec un ou une pluralité d’utilisateurs.

ETAT DE LA TECHNIQUE

[0002] L’invention du miroir est attribuée au chimiste allemand Justus von Liebig en l’année 1835, le procédé de fabrication bien connu consiste à appliquer un film métallique sur une surface en verre transparent. Le principe de réflexion de la lumière est régi par les lois de la physique et, par conséquent, les miroirs physiques possèdent un ensemble de limitations fortes qui en découlent, comme par exemple, le fait que l’image reflétée est inversée par rapport à la réalité ce qui rend un texte reflété difficilement lisible. Bien que l’utilisation des miroirs physiques soit encore largement répandue, d’autres systèmes de miroirs dits virtuels ont vu le jour en combinant une caméra vidéo, un système de traitement informatique, et une visualisation sur un écran. Plus récemment, de nouveaux systèmes de miroirs virtuels ont permis d’ajouter des éléments de réalité augmentée pour offrir aux personnes la possibilité d’essayer, par exemple, une nouvelle coiffure ou des nouveaux habits. Plus récemment encore, certains miroirs virtuels offrent des fonctionnalités et des représentations 3D.

[0003] Des systèmes de miroirs virtuels 3D existent déjà dans l’état de la technique.

[0004] Le brevet US 2015 120 496 (A1) décrit un système d’achat d’habits qui permet de reconstruire une partie du corps humain en 3D puis d’essayer virtuellement un habit. Le système utilise un miroir virtuel et plusieurs prises de vues. Dans un des modes de réalisation, l’utilisateur peut sélectionner le point vue d’une des prises de vues et même un angle intermédiaire entre plusieurs prises de vues.

[0005] Le brevet US 2014 232 816 décrit un système de télé-présence composé de plusieurs systèmes interconnectés par un réseau de communication. La métaphore du miroir semi-transparent est utilisée pour permettre aux participants de se voir et de voir les interlocuteurs distants comme s’ils étaient dans la même pièce, c’est-à-dire que l’image projetée sur le miroir est une reconstruction 3D de l’environnement distant. Le contact visuel entre participants peut ainsi être préservé et des informations supplémentaires peuvent également être visualisées.

[0006] Le brevet US 2014 226 000 User interface and authentication for a Virtual mirror (et aussi le brevet US 2014 225 977) décrivent un miroir virtuel capable de détecter la présence d’un utilisateur, de visualiser son image de manière adéquate en redimensionnant celle-ci avec l’objectif principal de reconnaître l’utilisateur parmi ceux enregistrés dans une base de données et ceci tout en imitant le comportement d’un miroir physique.

[0007] La plupart de ces solutions miroir virtuel 3D connues se basent donc sur une extension des fonctionnalités d’un miroir virtuel en ajoutant la vision 3D, des informations supplémentaires, et dans certains cas des d’éléments additionnels de réalité augmentée qui suivent fidèlement les mouvements de la personne.

[0008] Un défaut majeur des miroirs physiques et virtuels proposés et des systèmes interactifs en général est qu’ils n’offrent pas la possibilité d’établir et de réagir à un contact visuel avec la surface d’interaction. Cet inconvénient a pour conséquence que ces surfaces n’ont pas la possibilité d’attirer activement l’attention d’un utilisateur potentiel ou de dialoguer avec lui par contact visuel. De plus, lorsque le système est utilisé dans des espaces où plusieurs utilisateurs peuvent potentiellement interagir, les autres utilisateurs n’arrivent pas à voir avec qui le système communique en particulier.

[0009] En ce qui concerne les miroirs physiques, ceux-ci sont régis par les lois de la physique et sont donc limités par ces contraintes. Ils n’offrent que la fonctionnalité d’un miroir, tout en occupant une surface imposante.

[0010] Les miroirs physiques et les miroirs virtuels décrits dans l’état de technique n’ont pas pour objectif d’établir un contact visuel actif entre un utilisateur et le miroir lui-même, par conséquent, ils ne peuvent pas valablement attirer l’attention visuelle d’un utilisateur particulier, ni y associé une interaction immersive lorsque celui-ci se tient debout à proximité.

[0011] D’autres interactions immersives utilisent des casques et d’autres accessoires spécifiques et ne conviennent donc pas aux espaces de communication où l’interaction est spontanée et éphémère. De plus, ces systèmes ne permettent pas de se voir ou d’être utilisés par une pluralité d’utilisateurs.

[0012] Il serait donc avantageux pour les surfaces miroir d’être interactives et d’être à même de dialoguer par contact visuel avec un ou une pluralité d’utilisateurs.

BREF RESUME DE L’INVENTION

[0013] Un but de la présente invention est de remédier aux inconvénients de l’art antérieur qui viennent d’être mentionnés en réalisant un dialogue par contact visuel entre une surface miroir et un utilisateur ou une pluralité d’utilisateurs. L’invention atteint ce but en fournissant un procédé de surface miroir interactive conforme à la revendication 1 annexée.

[0014] Les technologies de vision par ordinateur et notamment les algorithmes de synthèse de vues permettent de reconstruire en temps réel une nouvelle visualisation 3D à partir d’un ensemble de capteurs média. Cette synthèse du reflet miroir et le suivi automatique des regards des utilisateurs sont exploités dans l’invention pour visualiser un reflet miroir adapté de manière à stimuler un contact visuel entre la surface miroir et un utilisateur particulier. Cette nouvelle faculté de communication est exploitée durant toute la durée d’une session utilisation. La surface miroir, grâce à son rendu audio-visuel 3D et en particulier grâce à ses interactions, plonge l’utilisateur dans un univers immersif.

[0015] Conformément à un mode de mise en œuvre avantageux du procédé de l’invention, illustré dans la fig. 2, le miroir peut capter l’attention d’un utilisateur en créant un contact visuel avec celui-ci. Une fois que celui-ci est acquis, l’interface de la surface miroir est personnalisée pour l’utilisateur et il peut alors consulter ses informations affichées sur l’écran tout en gardant un contact visuel avec son reflet miroir. Il a notamment la liberté de se déplacer devant la surface miroir en interagissant et tout en gardant un contact visuel avec son image reflétée en transparence avec les applications de la surface miroir.

[0016] La place nécessaire pour mettre en œuvre le système de communication visuelle est ainsi réduite par rapport à l’usage double d’un miroir physique et d’un système de communications visuelles.

[0017] En outre, conformément à un autre mode avantageux de mise en œuvre, illustrée dans la fig. 3, la construction du reflet miroir d’un utilisateur peut être personnalisée par rapport à une ou plusieurs références qui se situent dans l’environnement immersif. Dans ce cas, l’angle et le point de vue utilisés pour construire le reflet miroir s’effectue par rapport à cette référence ou ces références et par rapport à l’utilisateur lui-même. Typiquement, l’utilisateur pourra, par exemple, se voir sous toutes les coutures en faisant varier l’angle de vue interactivement de 0° à 360° en se déplaçant autour d’une référence placée au centre des capteurs média.

BREVE DESCRIPTION DES FIGURES

[0018] L’invention va être exposée de manière plus détaillée à l’aide de plusieurs exemples de modes de réalisation présentés par les dessins suivants:

La fig. 1 représente un diagramme de flux illustrant un exemple du procédé de l’invention.

La fig. 2 illustre l’exemple d’un mode de réalisation de la phase initiale de l’établissement d’un contact visuel bilatéral entre le système et un utilisateur particulier.

La fig. 3 illustre un exemple d’un mode de réalisation avec l’utilisation d’une référence dans l’espace d’interaction. DESCRIPTION DETAILLEE DE L’INVENTION

[0019] Les caractéristiques décrites dans la revendication 1 permettent d’établir une communication et des interactions homme-machine intuitives avec un utilisateur mais aussi dans le cas où plusieurs utilisateurs pourraient potentiellement dialoguer par contact visuel avec une surface miroir.

[0020] Dans le procédé de l’invention, un «s» devrait s’ajouter à homme dans la terminologie «interaction hommes-machine» pour souligner qu’une pluralité d’utilisateurs peuvent interagir.

[0021] L’invention utilise le reflet miroir des utilisateurs pour attirer leur attention et pour les inviter à interagir avec la surface miroir. Tout au long de la session d’utilisation, l’utilisateur garde ce contact visuel par la visualisation de son reflet miroir. Un nouveau lien de communication est ainsi créé entre l’utilisateur et la surface miroir mais aussi avec les spectateurs à proximité. En effet, ces derniers peuvent parfaitement identifier et visualiser entre qui la communication est établie, ceci grâce au contact visuel établi entre l’utilisateur et son reflet miroir.

[0022] Les définitions suivantes permettent de mieux décrire les concepts sous-jacents de l’invention.

[0023] Définition: par «système informatique», on entend un ensemble de composants électroniques interconnectés et alimentés qui possèdent parmi eux, au moins une unité de traitement (processeur), des entrées et sorties, de la mémoire pour stocker les informations et les logiciels pour exécuter les applications. Les systèmes informatiques sont de préférence distribués, c’est-à-dire, ils sont interconnectés par un réseau informatique et leurs logiciels, qui les contrôlent, communiquent entre eux. Les systèmes informatiques, parfois appeler objets connectés, se présentent sous une multitude de formes et d’apparences, comme par exemple: un ordinateur, un smartphone, une montre. En tant que systèmes informatiques embarqués, Ils peuvent aussi être intégrés dans les habits que nous portons ou dans l’environnement qui nous entoure et ceci sans être nécessairement visible.

[0024] Définition: par les «caractéristiques géométriques du reflet miroir», on entend les angles de vue (ΘΓ, φΓ) d’azimute et d’élévation et les coordonnées du point de vue (xr, yr, zr) et l’angle de champ ar; en d’autres termes, l’ensemble des paramètres qu’une caméra pan-tilt-zoom virtuelle devrait avoir pour capturer l’image du reflet miroir depuis un point quelconque d’un espace 3D.

[0025] Définition: par «caractéristiques visuelles» d’une application, on entend la construction d’une vue 3D des objets graphiques de l’application avec une prise de vues caractérisée par les angles de vue (ΘΓ, φΓ), d’azinnute et d’élévation et par les coordonnées du point de vue (xa, ya, za) avec un angle de champ aa.

[0026] Définition: par «nature graphique du reflet» miroir, on entend tous les types de visualisations graphiques, de transformations, d’ajouts de réalité augmentée, et de filtrages numériques que l’on peut appliquer à sa représentation graphique.

[0027] Un exemple d’adaptation de la nature graphique du reflet miroir est celle qui permet de simuler la vitrine d’un magasin, lorsqu’une personne est située debout et à l’extérieur du magasin. L’image du reflet est alors souvent à contre-jour, la personne peut néanmoins voir à l’intérieur du magasin. En adaptant la nature graphique du reflet miroir, la surface miroir peut donc parfaitement donner l’illusion à un utilisateur d’être devant une devanture virtuelle de magasin.

[0028] Un autre exemple d’adaptation de la nature graphique du reflet permet de communiquer des émotions entre le reflet d’une personne et lui-même, par exemple lorsque le reflet rougit ou par un procédé plus complexe de transformations visuelles, comme celui décrit dans la publication (Dynamic 3D Avatar Création from Hand-held Video Input, by Alexandru Eugen Ichim, Sofien Bouaziz, and Mark Pauly, ACM Transactions on Graphics [Proceedings of SIGGRAPH], 2015).

[0029] Définition: par «synthèse du reflet miroir», on entend une chaîne de traitement qui permet de construire une nouvelle visualisation 3D ou une vue 2D de celle-ci avec les caractéristiques géométriques désirées et ceci à partir des vues existantes qui incluent, de préférence, la profondeur (cf. des images RGB-D Red, Green, Blue and Depth). La profondeur définit la distance des voxels de l’image par rapport au capteur média.

[0030] Une multitude d’exemples d’algorithmes de synthèse de vues existent, ils représentent en effet un axe de recherche important dans le domaine de la vision par ordinateur et une abondante littérature scientifique existe sur le sujet. Une taxonomie et une vue d’ensemble sont décrites dans l’ouvrage de référence: (Computer Vision: Algorithms and Applications by Richard Szeliski, Published by Springer, 2011).

[0031] Définition: par «contact visuel», on entend le contact établi lorsqu’un utilisateur voit une représentation graphique de son reflet miroir et lorsqu’il a la perception que le reflet réagit en fonction de son attention visuelle.

[0032] Dans le contexte de l’invention, le contact visuel entre un utilisateur particulier et son reflet est utilisé pour permettre à plusieurs personnes d’interagir avec la surface en identifiant les couples: utilisateur - reflet.

[0033] Définition: par «interaction reportée», on entend celle qui utilise un appareil connecté par un réseau informatique et qui communique avec la surface miroir.

[0034] Définition: par «descripteur de contact visuel», on entend le set de données qui contiennent l’identificateur de l’utilisateur, le statut du type de contact visuel en cours, et l’historique des derniers contacts visuels et des dernières interactions avec la surface miroir.

[0035] Ce descripteur peut être personnalisé par rapport à des utilisateurs particuliers ou adapté à des applications particulières; pour tenir compte, par exemple, d’une interaction reportée sur un autre appareil de type portable ou une montre connectée. Le traitement du contact visuel peut lui aussi être reporté sur l’appareil si celui-ci possède les capteurs nécessaires.

[0036] Un ou plusieurs utilisateurs peuvent être en contact visuel avec la surface miroir. Ils sont alors associés à la surface par un ou plusieurs descripteurs, contrairement aux autres utilisateurs spectateurs qui ne sont pas en contact visuel.

[0037] Définition: par «session d’utilisation», on entend le temps durant lequel un descripteur de contact visuel est attribué à un utilisateur, une session d’utilisation possède quatre phases: la phase inactive, la phase l’initialisation, la phase en cours de session, et la phase de la terminaison.

[0038] Une session d’utilisation permet une personnalisation intra-session de la surface miroir par opposition à une personnalisation intersession qui nécessite l’identification implicite ou explicite d’un utilisateur.

[0039] Définition: par «espace d’interaction», on entend l’espace où un utilisateur peut interagir avec la surface miroir; plus précisément, là où il peut établir un contact visuel.

[0040] Définition: par «référentiel utilisateur», on entend le set de données extraites du flux média et qui contient les informations relatives à la localisation, la position, et l’orientation du regard d’un utilisateur, comme par exemple: son identificateur, les coordonnées de référence de la position de la tête de l’utilisateur (xu, yu, zu), les angles de l’orientation de la tête (0t, φ^, ainsi que les angles de son regard (0U, φυ) d’azimute et d’élévation.

[0041] Définition: par «capteurs média», on entend l’équipement qui effectue l’acquisition des signaux audio-visuels nécessaires à la synthèse du ou des reflets miroir et au rendu audio-visuel de la surface miroir. Ces signaux sont aussi exploités dans l’interprétation des interactions homme-machine avec la surface miroir.

[0042] Il existe une grande variété de capteurs qui permettent de réaliser l’invention avec des qualités et des performances différentes. Une classification des capteurs spécifiques pour la construction de vues est détaillée dans le chapitre 8 de l’ouvrage (Computer Vision for Visual Effects, By Richard J. Radke, Published by Cambridge University Press) et les dernières technologies des caméras plénoptiques sont décrites dans le chapitre 5, (Digital Représentations of the Real World, by Christian Theobalt, Olga Sorkine-Hornung; Oliver Grau; Marcus A. Magnor, Published by CRC Press). L’évolution des caméras plénoptiques permet notamment d’acquérir directement les informations 4D d’un flux lumineux (Light-field caméra). Ces caméras offrent l’avantage de faciliter le calcul de la correspondance stéréo nécessaire à la synthèse de vues virtuelles.

[0043] D’autres capteurs de type panoptiques permettent également de réaliser l’invention, comme par exemple, celui décrit et déposé dans le brevet (cf. Omnidirectional sensor array System, WO 2012 056 437 A1).

[0044] Définition: par «flux média», on entend tous les signaux numériques issus des capteurs média transportés depuis ceux-ci vers la puissance de calcul qui effectue les traitements de vision et le traitement des interactions.

[0045] Définition: par «contenu auto-visuel», on entend l’ensemble de ce qu’une application logicielle est susceptible de générer en sortie et ce que l’utilisateur peut percevoir, comme par exemple: du texte, des images, un média, de la musique, un jeu vidéo, et aussi des sources de réalité augmentée.

[0046] Définition: par «contexte audio-visuel», on entend la scène où est placé l’utilisateur sans inclure les voxels de l’utilisateur ou des utilisateurs.

[0047] Définition: par «référence dans l’environnement immersif», on entend n’importe quelle zone ou point dans l’espace d’interaction, sur le reflet miroir, sur une représentation de réalité augmentée, ou sur une image visualisée sur la surface miroir.

[0048] Cette référence peut également être un point fictif ou un point ou une zone identifiée par un marqueur.

[0049] Dans le contexte de l’invention, les interactions immersives sont aussi déterminées par rapport à ces références.

[0050] Définition: par «interactions immersives», on entend les interactions où l’utilisateur à la perception d’être physiquement dans le contexte audio-visuel ou le contenu audio-visuel avec lequel il interagit.

[0051] Définition: par «surface miroir», on entend un ou plusieurs écrans de visualisation de type 2D ou auto-stéréosco-pique 3D. Cette surface miroir peut aussi être configurée sous la forme d’une salle immersive où l’ensemble du champ visuel de l’utilisateur est recréé.

[0052] Définition: par «dialogue par contact visuel», on entend une interface homme-machine qui exploite le contact visuel pour communiquer avec un utilisateur ou une pluralité d’utilisateurs.

[0053] Définition: par «marqueur physique», on entend une marque visible par un utilisateur, par opposition à un point fictif qui lui n’est pas visible.

[0054] D’innombrables technologies et formats d’écrans existent dans l’état de la technique et permettent d’exploiter avantageusement l’invention. Différents rendus visuels existent, par exemple le rendu visuel auto-stéréoscopique et le rendu par perspective dynamique qui est réalisé par la projection d’une représentation 3D en 2D dynamiquement en fonction de l’orientation du regard de l’utilisateur. Bien que le rendu avec cette vue projetée ne permette pas à l’utilisateur de percevoir un relief 3D, elle possède tout de même un avantage intéressant par rapport à une visualisation par écran auto-stéréoscopique: la qualité visuelle est plus constante par rapport aux déplacements de l’utilisateur.

[0055] Le procédé de la surface miroir interactive sera mieux compris avec l’aide de l’illustration du diagramme de flux du procédé de la fig. 1.

[0056] Le procédé d’une surface miroir interactive est décomposé en plusieurs étapes.

[0057] Lorsqu’un utilisateur à un contact visuel avec la surface miroir, ce contact visuel est caractérisé par un descripteur. Lorsqu’un utilisateur entre en présence de la surface d’interaction, il ne possède pas encore de descripteur attribué par la surface. Les exécutions des étapes permettent de capter l’attention de l’utilisateur en stimulant un contact visuel. Dans l’étape (a), lorsque l’utilisateur entre en contact visuel avec la surface et entre dans le flux média (f), l’étape (a) lui attribue un descripteur et initialise une session d’utilisation. L’utilisateur peut alors interagir à volonté avec la surface. En revanche, lorsque l’utilisateur ne désire plus interagir avec la surface miroir, il perd implicitement le descripteur de contact visuel et la session d’utilisation est terminée.

[0058] L’utilisateur peut aussi terminer la session d’utilisation explicitement par une interaction homme-machine pour permettre à un autre utilisateur de dialoguer par contact visuel avec la surface miroir.

[0059] Dans certains cas, plusieurs utilisateurs peuvent interagir de concert avec la surface avec, pour chacun d’eux, un descripteur de contact visuel est alors créé avec une session d’utilisation associée.

[0060] Un ensemble d’heuristiques sont utilisées pour retirer un descripteur de contact visuel à un utilisateur inactif durant une session d’utilisation.

[0061] Une première heuristique détecte simplement si l’utilisateur sort de l’espace d’interaction, auquel cas, il cède implicitement le contact visuel. La deuxième heuristique détermine l’inactivité de l’utilisateur, et finalement, la troisième détermine l’inattention de l’utilisateur d’après le contact visuel qu’il entretient avec la surface. Les deux dernières heuristiques utilisent les informations des données de l’historique du contact visuel et des interactions pour déterminer l’inactivité de l’utilisateur. Cette inactivité ou le manque d’attention est aussi communiquée à l’utilisateur en adaptant la nature graphique du reflet miroir dans l’étape (c). Typiquement, si l’utilisateur n’est pas attentif, l’intensité du reflet miroir s’estompe peu à peu en fonction du temps qui s’écoule. Après qu’un certain temps se soit écoulé, le système attire l’attention de l’utilisateur de manière proactive. Dans certains modes de réalisation, les heuristiques sont avantageusement remplacées par des méthodes par apprentissage automatique où le système apprend par lui-même à mieux dialoguer par contact visuel avec les utilisateurs.

[0062] Pour réaliser la première étape (a) de la boucle, des capteurs média disposés de préférence autour de l’espace d’interaction sont calibrés et modélisés, ces procédures sont illustrées dans l’ouvrage suivant: (Multiple View Geometry in Computer Vision - Second Edition, by Richard Hartley and Andrew Zisserman, publisher Cambridge University Press, 2004).

[0063] Dans l’étape (a), les signaux numériques du flux média (f) sont traités pour extraire les informations suivantes: le suivi automatique des référentiels utilisateurs, la gestion du ou des descripteurs du contact visuel et toutes les interactions homme-machine.

[0064] Lorsqu’un événement est détecté dans l’étape (a) celui-ci est émis vers les autres étapes (b) et (c) qui répercutent les implications dans leurs traitements.

[0065] Le module du suivi automatique des référentiels utilisateurs est réalisé par une analyse algorithmique bien connue dans l’état de la technique de la vision par ordinateur. Un système de miroir virtuel a été publiée en 1998 (cf. A Virtual Mirror Interface using Real-time Robust Face Tracking, by T. Darrell, G. Gordon, J. Woodfill, M. Harville In Proceedings of the Third International Conférence on Face and Gesture Récognition, April 14-16, 1998, Nara, Japan). Cette publication décrit comment utiliser la vision stéréoscopique pour calculer la profondeur, l’extraction du contour de la personne par rapport au contexte audio-visuel, le suivi de la position de la tête et, finalement, la composition des images vidéo avec la possibilité d’apporter quelques transformations graphiques au reflet miroir.

[0066] Depuis cette publication, de nombreuses améliorations ont été apportées aux capteurs média et à la chaîne de traitement de la synthèse de vues. Ces améliorations sont typiquement interdépendantes; le choix d’un type de capteur média détermine en partie la chaîne de traitement nécessaire, p. ex. lorsque les données de profondeur sont mises à disposition de l’algorithme de synthèse de vues par l’utilisation d’un capteur actif, c’est-à-dire, avec un capteur qui projette de la lumière dans la scène à visualiser, il faut alors aligner les différentes images entre elles. Pour effectuer cette tâche, des algorithmes spécifiques existent, comme p. ex. les différentes versions d’ICP: Itérative Closest Point algorithm (cf. A method for registration of 3-D schapes by P. J. Besl and N. D. McKay In IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(2):239-256, 1992).

[0067] Dans certains cas, une partie des algorithmes spécifiques sont mis à disposition par les concepteurs des capteurs média, c’est le cas notamment pour le capteur média Kinect™ de l’entreprise Microsoft®.

[0068] Les approches récentes d’algorithmes de suivi automatique exploitent typiquement des méthodes d’apprentissage automatique avec de grandes quantités de données, c’est le cas du capteur média Kinect™ décrit dans la publication (cf. Décision Forests for Classication, Régression, Density Estimation, Manifold Learning and Semi-Supervised Learning, by A. Criminisi, J. Shotton, and E. Konukoglu, Microsoft Research technical report TR-2011-114).

[0069] L’étape (a) a aussi pour objet d’analyser et de traiter les interactions des utilisateurs qui sont en contact visuel avec la surface. L’interface homme-machine est de préférence multimodale, c’est-à-dire, que la surface miroir possède plusieurs modalités d’interactions que l’utilisateur peut utiliser séparément ou en combinant plusieurs d’entre-elles. Cette richesse d’interaction est avantageusement exploitée pour rendre la surface miroir la plus conviviale possible. Ces interactions comportent typiquement l’analyse des gestes, de la parole, des interfaces tactiles. Par la sous-étape (a2), ces interactions peuvent même être reportées sur d’autres appareils connectés, comme un portable, une montre, ou une manette de jeu par exemple.

[0070] L’étape (b) est composée de la chaîne de traitement (cf. pipeline dans la terminologie anglaise) nécessaire à la synthèse du reflet miroir à partir du flux média (f). L’étape (b) applique aussi les traitements nécessaires aux applications logicielles pour construire en sortie un format de réalité virtuelle. Ce format est alors utilisé pour réaliser une composition audio-visuelle dans l’étape (c). Certains logiciels, comme ceux des jeux vidéo, construisent directement des représentations dans un format adéquat de réalité virtuelle.

[0071] La chaîne de traitement de la synthèse de vues virtuelles réalise la construction du reflet miroir d’un ou de plusieurs utilisateurs et adapte les caractéristiques géométriques du reflet pour attirer et notifié le regard de l’utilisateur. Comme illustré par l’exemple de la fig. 2, le reflet est visualisé de manière à regarder l’utilisateur lorsque celui-ci n’est pas encore en contact visuel avec la surface. Dans le cas contraire, l’utilisateur possède un descripteur de contact visuel et la synthèse du reflet miroir est alors personnalisée pour cet utilisateur durant cette session d’utilisation.

[0072] Pour réaliser cette synthèse de vues, une multitude d’approches sont décrites dans les publications scientifiques, comme par exemple celle publiée dans l’ouvrage suivant: (Image Processing, Analysis, and Machine Vision - Fourth Edition, by Milan Sonka, Vaclav Hlavac, Roger Boyle, published by Cengace Learning 2015). La chaîne de traitement est intitulée: 3D reconstruction from an unorganized set of 2D views, and Structure from Motion pipeline. Cet exemple décrit l’ensemble d’une chaîne de traitement nécessaire ainsi que le type de format généré à partir d’un nuage de points 3D converti par triangulation puis en apportant les couleurs respectives à chaque triangle. Le format de la représentation est rendu compatible avec les logiciels de réalité virtuelle.

[0073] Dans l’étape (b), le calcul de la synthèse du reflet miroir, qui utilise le flux média (f) et les données de l’étape (a), est automatiquement optimisé pour utiliser le moins de prises de vues nécessaires pour construire un reflet miroir tourné vers l’utilisateur. Ces optimisations sont possibles, car contrairement à une application générique de synthèse de vues, le système connaît à priori les prises de vues à composer ensemble.

[0074] Dans certains cas de synthèse de vues, des occlusions apparaissent, ce sont des parties d’image qui sont cachées par des spectateurs ou par l’utilisateur lui-même. Durant une session d’utilisation de la surface, des prises de vues sont enregistrées préalablement et permettent éventuellement de reconstruire le reflet miroir désiré avec un meilleur rendu visuel, même si, instantanément, cette opération aurait été impossible à réaliser de par la ou les occlusions.

[0075] Dans l’étape (c), lorsqu’un descripteur de contact visuel est attribué à l’utilisateur quelques améliorations supplémentaires sont rendues possibles par la personnalisation et les interactions avec l’utilisateur. En particulier, le module de suivi du référentiel utilisateur et la synthèse de vues peuvent tenir compte d’une référence supplémentaire définie dans l’environnement immersif pour calculer le point et les angles de vue du reflet miroir. Ces interactions sont typiquement immersives: l’utilisateur entre en quelque sorte en immersion avec son reflet miroir ou avec la visualisation des données d’une application logicielle. Un exemple de ces interactions immersives est illustré par le mode de réalisation de la fig. 3.

[0076] La sous-étape (b1) permet d’exploiter les données enregistrées préalablement dans la session d’utilisation en cours ou éventuellement durant celles enregistrées précédemment. Pour réaliser des sauvegardes entre les sessions (intersessions), l’utilisateur doit être identifié explicitement ou implicitement.

[0077] Le résultat du module de synthèse du reflet miroir génère typiquement une représentation 3D qui peut être visualisée et traitée par des logiciels de réalité virtuelle ou simplement des vues projetées en 2D.

[0078] Dans l’étape (c), la composition audio-visuelle 3D des sources est réalisée. Ce module utilise essentiellement les traitements suivants: les transformations homographiques des images pour mieux intégrer les différentes sources visuelles et la soustraction de la scène d’arrière-plan ce qui permet de substituer un autre contexte audiovisuel à celui de l’espace d’interaction.

[0079] Lorsque la surface miroir a attribué un descripteur de contact visuel à l’utilisateur et initialisé une session d’utilisation, le procédé de l’invention a l’avantage d’offrir des traitements personnalisés à l’utilisateur. Ceux-ci exploitent les données recueillies durant la session en cours et éventuellement celles des sessions précédentes.

[0080] Suivant les modes de réalisation, il est avantageux d’identifier les utilisateurs pour encore mieux personnaliser les interactions et les données des applications logicielles. Cette identification est réalisée de deux manières: soit explicitement en demandant à l’utilisateur de décliner son identité ou de manière implicite «à la volée», c’est-à-dire, sans que l’utilisateur s’identifie lui-même, c’est la surface qui reconnaît l’utilisateur. Dans les deux cas, l’objectif est double, premièrement, d’améliorer la qualité des visualisations miroir et, deuxièmement, d’améliorer les interactions avec les applications logicielles en profitant, du profil, des statistiques d’utilisation, et des préférences de l’utilisateur.

[0081] L’étape (c) réalise la composition des sources audio-visuelles. Les sources sont celles de la surface elle-même, celles des reflets miroir et celles des applications qui sont exécutées sur la surface miroir par l’utilisateur.

[0082] Il peut être parfois intéressant de modifier dynamiquement la perspective visuelle des contenus audio-visuels par rapport à un référentiel utilisateur pour maximiser la qualité de son expérience utilisateur: p. ex., pour faciliter la lecture d’un document si l’utilisateur se déplace ou pour placer l’utilisateur en immersion par rapport aux informations avec lesquelles il interagit. L’étape (c) effectue donc les transformations nécessaires. Celles-ci peuvent être en partie décrites par la métaphore d’un fish tank qui est utilisée dans la littérature scientifique pour définir ce type visualisation: (cf. Fish tank Virtual reality, by C. Ware, K. Arthur, and K. S. Booth. In INTERCHI’03, 1993).

[0083] Une autre composition communément utilisée consiste à remplacer le contexte audio-visuel par un autre. Pour l’audio, l’opération est réalisée par un rendu spatial 3D qui permet d’atteindre l’objectif désiré. Pour replacer le reflet miroir dans un autre contexte des algorithmes particuliers sont nécessaires. Ceux-ci sont connus dans l’état de la technique (cf. Probabilistic fusion of stéréo with color and contrast for bi-layer segmentation, by Kolomogorov et al., In IEEE transactions on Pattern Analysis and Machine Intelligence, 2006).

[0084] Des compositions plus complexes sont définies par le terme anglais de environment matting pour rendre compte des interactions lumineuses entre les différentes sources visuelles (cf. Environment matting and compositing, by D. E. Zonker, D. M. Werner, B. Curless, and D. H. Salesin, In ACM SIGGRAPH 1999 Conférence Proceedings).

[0085] L’étape (c) adapte aussi la nature graphique du reflet miroir. Cette fonction est avantageusement utilisée par l’invention pour communiquer en tout temps avec l’utilisateur afin d’entretenir le contact visuel avec lui par rapport aux interactions qu’il exécute. Une multitude de possibilités permettent de visualiser l’attention que l’utilisateur porte à son reflet miroir ou par rapport à une application que l’utilisateur exécute sur la surface miroir. Par exemple, lorsque l’utilisateur cherche le contact avec son reflet celui-ci sera visualisé de manière complète alors que si l’utilisateur porte son attention visuelle aux résultats d’une application logicielle, le reflet devient plus transparent avec, éventuellement même, l’affichage qui se résume au contour seulement.

[0086] Dans certains cas, le rendu audio de type 3D est utilisé pour renforcer l’impression d’immersion et ainsi pour avantageusement compléter le rendu visuel de la surface miroir. Ce rendu audio 3D est déterminant, si le contenu audio-visuel d’une application logicielle s’y prête, comme p. ex. pour des jeux vidéo, des films 3D, des concerts de musique, ou si la création d’une expérience utilisateur particulière est souhaitée. Si plusieurs surfaces miroir sont mises à disposition d’un ensemble d’utilisateurs et dans un même espace, une douche sonore peut être avantageusement utilisée pour améliorer l’expérience de chaque utilisateur individuellement. Une douche sonore permet de localiser la diffusion audio par rapport à un espace réduit lorsque celui-ci est partagé par plusieurs installations de surfaces miroir.

[0087] L’Homme du Métier comprendra que la portée de l’invention n’est pas limitée à un type de capteurs média ou à des structures internes des données particulières, ni-même à un choix particulier d’algorithme de la vision par ordinateur.

[0088] Des développements profitables découlent de la revendication indépendante pour les contextes d’applicatifs où l’on peut valablement offrir les usages suivants: un miroir physique et un système de communication visuelle. Au-delà de ce potentiel, l’invention établit un nouveau paradigme d’interaction homme-machine qui permet d’attirer l’attention d’un utilisateur en créant un contact visuel avec son reflet miroir et ceci pour les différentes phases d’une session d’utilisation: l’initialisation, la session elle-même, et la terminaison.

[0089] Aujourd’hui, les écrans de communication visuelle fleurissent un peu partout, dans ce contexte de nombreuses et nouvelles applications sont rendues possibles par l’invention. Il existe des lieux où l’utilisateur se trouvera naturellement en présence avec les deux usages: celui d’un miroir physique et celui d’un système de communication. Ces usages peuvent se retrouver au sein d’une entreprise privée comme par exemple dans le hall d’entrée, dans un hôtel ou chez un particulier.

[0090] Dans ces contextes applicatifs, les avantages qui découlent de l’invention sont multiples: [0091] Un avantage commun aux différents modes de réalisation est d’offrir un moyen intuitif et naturel d’attirer l’attention d’une personne particulière parmi d’autres personnes. Le terme anglais d’eye-catching définit cette propriété; pour atteindre cet objectif, la surface miroir visualise le reflet miroir des personnes présentes, contrairement à un miroir physique, le reflet suit la personne du regard et l’invite celle-ci à entrer en contact visuel.

[0092] Ce mécanisme établit une communication visuelle et permet de capter l’attention d’une personne pour ensuite établir un dialogue visuel entre elle et la surface miroir. En particulier, après la phase d’initialisation par eye-catching, la session d’utilisation exploite alors le contact visuel et les interactions associées. Lorsque le contact visuel avec l’utilisateur est rompu, la session d’utilisation entre dans la phase de terminaison et, là aussi, la communication par contact visuel est mise à profit.

[0093] Un autre avantage offert par les interactions immersives est l’amélioration de l’expérience utilisateur; le système exploite au mieux les capacités de la perception humaine. Typiquement, plus l’expressivité et les dimensions de la surface sont proches des capacités perceptives humaines, meilleure sera l’expérience utilisateur; en effet, la surface peut ainsi visualiser et exploiter au mieux les échanges d’informations avec l’utilisateur. Au-delà de la dimension de la surface elle-même, les interactions immersives apportent une dimension supplémentaire - l’immersion - qui augmente encore l’espace perceptif mis à disposition par la surface.

[0094] Lorsque les interactions sont placées dans une espace perceptif proche des possibilités humaines, la qualité de communication visuelle est optimale. Cet avantage est illustré ici avec l’exemple d’un moteur de recherche. En effet, contrairement aux interfaces utilisateur actuelles où les résultats sont visualisés par une liste de textes ou par un tableau d’images, la surface miroir interactive offre une approche immersives où l’utilisateur «entre» en quelque sorte dans l’espace virtuel des données. Les structures des données visualisées peuvent être enrichies par rapport à une simple liste textuelle, l’ordonnancement des résultats pertinents peut aussi pleinement bénéficier de l’expressivité qu’offrent les interactions immersives.

[0095] Un autre avantage qui découle de l’invention est l’économie de place réalisée en offrant les deux usages, du miroir physique et d’un système de communication visuelle sur une seule et même surface miroir.

[0096] Un autre avantage de la surface miroir est d’offrir une interface hommes-machine où plusieurs utilisateurs peuvent interagir tout en sachant très exactement qui interagit avec la surface grâce à la visualisation du reflet miroir du ou des interlocuteurs avec lequel ou lesquelles la surface communique. Les spectateurs participent ainsi au nouveau canal de communication créé par la visualisation du contact visuel.

[0097] Dans d’autres modes de réalisation, une seule surface miroir peut être partagée entre plusieurs utilisateurs. La surface peut aussi être répartie visuellement sur plusieurs écrans distincts.

[0098] Suivant le mode de réalisation, la puissance de calcul nécessaire pour calculer le reflet miroir peut être mise à disposition localement ou à distance dans le cloud, typiquement. La même architecture est envisageable pour stocker les données, celles-ci peuvent être disponibles localement ou à distance, connectées par un réseau informatique.

[0099] D’effectuer les calculs et le stockage des données à distance par la mutualisation des ressources informatiques permet, pour certains modes de réalisation, de réduire significativement les coûts et rend l’invention d’autant plus intéressante commercialement.

EXEMPLES DE MODE DE REALISATION DE L’INVENTION

[0100] Le premier mode de réalisation est celui où les utilisateurs sont situés dans des lieux où ils passent que quelques instants soit pour patienter soit pour s’informer, ce mode d’usage éphémère est illustré par la fig. 2. Ce mode illustre l’initialisation d’un dialogue par contact visuel. Un deuxième mode de réalisation est illustré par la fig. 3 où les interactions sont décrites et ceci dans le contexte d’une échoppe de tatoueur.

[0101] Le premier mode de réalisation de la fig. 2 illustre la phase d’initialisation d’une session utilisation. Le contexte applicatif est celui d’un hall d’entrée d’un hôtel. Dans ces lieux, les deux usages d’un miroir physique et de celui d’un système d’information se retrouvent fréquemment. Aujourd’hui et à défaut d’avoir une surface miroir interactive, les informations sur les activités touristiques et culturelles sont souvent communiquées avec des dépliants en papier.

[0102] La surface miroir interactive (210) comprend la surface elle-même (212), typiquement un écran auto-stéréosco-pique avec un système d’amplification audio et des haut-parleurs, un ordinateur doté d’une puissance de calcul locale (214) et une base de données (213) qui contient les données enregistrées des hôtes de l’hôtel. La surface miroir visualise le reflet (211) de l’utilisateur (201). Les capteurs média sont installés (220) pour acquérir le flux média et pour construire l’image 3D du reflet miroir de l’utilisateur de telle manière à ce que la personne puisse établir un contact visuel avec son reflet miroir (211).

[0103] Dans un premier temps, l’utilisateur (201) marche dans une direction donnée (202) sans prêter attention à la surface miroir (210). Lorsque l’utilisateur entre dans l’espace d’interaction (200), le reflet de l’utilisateur est visualisé dans l’étape (c) du procédé de l’invention, ce reflet est construit pour regarder vers l’utilisateur (201) pour attirer son attention et donc pour créer un contact visuel. L’utilisateur (201) regarde alors son reflet (211) en tournant la tête dans la direction du reflet. Dès cet instant, le comportement visuel de la surface change et permet à l’utilisateur d’interagir de manière personnalisée. Dans l’étape (a) du procédé, un descripteur de contact visuel est attribué à l’utilisateur et une session d’utilisation est initialisée. Avec l’approche de la reconstruction 3D du reflet miroir et contrairement aux autres types de miroir, l’utilisateur n’a pas besoin d’être positionné en face de la surface miroir pour se voir de face ou pour interagir avec elle.

[0104] Durant une session d’utilisation avec la surface miroir, l’utilisateur pourrait typiquement demander par interactions vocales une proposition de restaurant italien pour le soir. Le contenu audiovisuel de la surface miroir est alors enrichi avec différentes propositions de restaurants, tout en affichant le reflet (211) miroir de l’utilisateur en transparence et avec une vue de face. La nature graphique du reflet est maintenant adaptée pour permettre une lecture aisée du contenu visuel relatif aux restaurants, le contour du visage de l’utilisateur est visualisé seulement. La transformation et le filtrage du reflet miroir sont réalisés dans l’étape (c) du procédé de la fig. 1. Finalement, lorsque l’utilisateur a lu les informations affichées et qu’il s’apprête à sortir de l’espace d’interaction, la surface miroir détecte, dans l’étape (a), la terminaison de la session d’utilisation, le descripteur de contact visuel est alors supprimé. Le procédé de l’invention se poursuit en attendant qu’un autre utilisateur entre en contact visuel avec la surface miroir.

[0105] Si l’utilisateur le désire, il peut s’identifier et s’enregistrer sur la surface par l’intermédiaire de son portable en utilisant une application sur son portable prévue à cet effet. Il peut aussi bénéficier d’une interaction personnalisée plus riche en partageant ses données personnelles depuis son portable avec la surface miroir.

[0106] Dans ce mode de réalisation, plusieurs personnes pourraient potentiellement assister à l’interaction avec la surface miroir sans forcément prendre part à celle-ci.

[0107] Un deuxième exemple de mode de réalisation est celui de l’échoppe d’un tatoueur, donc la surface miroir et son espace d’interaction sont illustrés dans la fig. 3.

[0108] Les interactions immersives de l’utilisateur permettent en particulier de contrôler le point de vue et les paramètres du pan-tilt-zoom du reflet de l’utilisateur avec l’avantage supplémentaire de pouvoir cadrer la vision du reflet miroir sur une partie précise du corps humain.

[0109] L’idée est d’exploiter l’invention dans un contexte applicatif de réalité augmentée pour permettre d’essayer un tatouage avant de se le faire tatouer. Une application logicielle est aussi proposée sur la surface miroir pour faciliter la recherche et la découverte d’un tatouage qui correspond aux souhaits. L’utilisateur pourra même, le cas échéant, recréer, modifier, ou personnaliser un tatouage avec l’usage de cette application logicielle.

[0110] L’ état de l’art mentionne la possibilité d’essayer des habits avant de les acheter ou des coiffures, sans doute, l’application la plus sensible est celle qui concerne les tatouages, il est difficile de revenir en arrière une fois que le tatouage est tatoué. Il sera donc particulièrement avantageux d’utiliser l’invention pour visualiser un tatouage. L’invention permet de visualiser un tatouage sur toutes les parties du corps, comme par exemple, sur le bas du dos sans devoir se contorsionner. Avec la visualisation par réalité augmentée, tous les paramètres géométriques du tatouage peuvent être ajustés, p. ex. la tailles, l’orientation, la position. L’invention permet de voir certaines parties du corps qui sont difficiles et parfois impossible à regarder avec un autre type de miroir.

[0111] La surface miroir interactive (310) est composée avec les éléments suivants: la surface qui est typiquement un écran auto-stéréoscopique d’une taille humaine avec des haut-parleurs intégrés, une connexion à un réseau de communication informatique (313), l’objectif de cette connexion est le réaliser la majorité des calculs et le stockage des données dans une infrastructure informatique mutualisée. L’espace d’interaction (300) est entouré de capteurs média (314), ceux-ci sont nécessaires pour avoir une reconstitution réaliste du reflet miroir sous tous les angles de vue. Les systèmes de hautes performances visuelles comportent typiquement une sphère avec une centaine de capteurs média.

[0112] Le procédé de la surface miroir interactive est montré dans l’exemple de la fig. 1. L’illustration de la fig. 3, présente les différents éléments qui composent l’usage de la surface miroir et l’environnement immersif. Lorsque le contact visuel est déjà établi avec l’utilisateur (301), c’est-à-dire, la phase d’initialisation de la session d’utilisation est déjà effectuée, le client de l’échoppe dispose maintenant du contrôle des interactions immersives, contrairement au tatoueur (302) qui lui est simplement spectateur. Seule la personne (301) possède un contact visuel avec son reflet (311) et un descripteur de contact visuel associé par la surface miroir.

[0113] Les interactions immersives sont déterminées par rapport à une référence (320) située dans l’espace d’interaction. Le reflet miroir est construit dans l’étape (b) du procédé de la fig. 1. La particularité de ce mode de réalisation de la fig. 3, est que les caractéristiques géométriques du reflet miroir sont déterminées par le référentiel utilisateur et par rapport à une première référence (320) qui se situe dans l’espace d’interaction. Le reflet miroir est construit de manière relative par rapport à cette référence comme si l’utilisateur était virtuellement répliqué à l’endroit précis de cette référence. En se déplaçant autour de cette référence, l’utilisateur peut se voir sous tous les angles possibles tout en regardant son reflet sur la surface. L’utilisateur peut donc contrôler les caractéristiques géométriques du reflet miroir en se déplaçant autour de cette première référence. Il peut aussi contrôler l’angle d’élévation en regardant en bas ou en haut sur la surface miroir. Cette construction du reflet miroir est illustrée dans la fig. 3. Elle permet à l’utilisateur (301) de se voir de profil sur la surface miroir, tout en regardant de face son reflet miroir. Cette caractéristique de l’invention est particulièrement avantageuse parce qu’un miroir physique ne permet pas de se voir correctement de profil.

[0114] Dans le mode de réalisation illustré par la fig. 3, l’utilisateur (301) a donc la possibilité de se déplacer par rapport à la référence (320) et dans les différentes directions des flèches (303). Ces déplacements sont répercutés en temps réel sur la surface miroir par la construction du reflet miroir.

[0115] En l’occurrence, l’utilisateur (301) peut se déplacer autour du point de référence pour contrôler l’angle de vue du reflet miroir et ainsi il peut faire varier l’angle de vue entre 0° et 360°. Il peut en plus se déplacer selon les flèches qui vont de gauche à droite (303), en se rapprochant du point de référence, il agrandit les détails de l’image par un zoom avant, en s’éloignant du point de référence, il effectue un zoom arrière. Les caractéristiques géométriques du reflet miroir sont donc modifiées en temps réel par les déplacements de l’utilisateur dans l’espace d’interaction et par l’orientation du regard qu’il porte sur son reflet.

[0116] Les deux cercles concentriques (321) et (322) définissent les limites dans lesquelles l’utilisateur peut influencer les fonctions zoom avant et zoom arrière.

[0117] Dans ce mode de réalisation, le contact visuel entre l’utilisateur et la surface est donc permanent. Les interactions immersives sont composées de déplacements et de l’orientation du regard de l’utilisateur.

[0118] Dans le contexte de l’échoppe d’un tatoueur, les tatouages sont placés de préférence sur le corps et plus rarement sur le visage. L’utilisateur peut personnaliser le contact visuel par une deuxième référence. Celle-ci sera avantageusement placée à l’endroit où le tatouage sera tatouer. De cette manière, le contact visuel est maintenant reporté du visage sur l’endroit où le tatouage sera placé, c’est-à-dire, sur la deuxième référence qui se situe sur l’utilisateur lui-même.

[0119] Dans le mode de réalisation de l’échoppe d’un tatoueur, cette deuxième référence est typiquement identifiée par un marqueur physique appliqué sur le corps de l’utilisateur. Le reflet miroir est alors construit et personnalisé par rapport aux deux références simultanément; la première étant placée dans l’espace d’interaction (320) pour contrôler, par les déplacements de l’utilisateur, le point de vue et les paramètres pan-tilt-zoom du reflet miroir et la deuxième référence, celle du marqueur physique, permet de reporter automatiquement le recadrage du reflet miroir et, par la même occasion, le contact visuel sur le futur tatouage.

[0120] Par la suite, ce marqueur physique permet au tatoueur de repérer très exactement le point précis ou le tatouage sera positionné, d’abord par réalité augmentée, puis par la réalisation effective du tatouage.

[0121] Avec les deux références, l’utilisateur peut maintenant regarder le tatouage placé sur le bas du dos sous tous les angles en se déplaçant autour de la première référence (320), avec le reflet miroir qui est cadré sur la hauteur du marqueur physique.

[0122] Dans l’exemple de ce mode de réalisation plusieurs problèmes se posent. Le premier est celui des occlusions créées par la présence du tatoueur (302) qui est également présent dans l’espace d’interaction. La solution proposée par l’invention est d’enregistrer des prises de vues préalablement et de les utiliser pour recomposer les parties visuelles manquantes dues aux occlusions.

[0123] Suivant la situation et les données enregistrées, un modèle infographique complet d’une personne peut ainsi être recréé, la personne peut visualiser son modèle sur la surface miroir avec les interactions captées depuis l’espace d’interaction. Ce modèle pourra aussi être visualisé ultérieurement par un logiciel capable d’afficher des fichiers avec un format spécifique à la réalité virtuelle, le modèle pourra alors être publié et consulté sur un site web.

[0124] Dans un autre cas d’utilisation, la personne pourrait souhaiter visionner le tatouage sur une autre personne qu’elle-même. Cette interaction est alors réalisée en utilisant les enregistrements du flux média d’une autre personne, un modèle infographique est alors créé pour cette autre personne. L’utilisateur présent dans l’espace d’interaction peut visionner en

Claims (11)

1. temps réel le tatouage ajouté par réalité augmentée sur le modèle infographique de l’autre personne tout en interagissant dans l’espace d’interaction, comme illustré dans la fig. 3. [0125] Dans certains cas, la personne préféra se visionner dans un contexte audio-visuel différent que celui de l’échoppe du tatoueur. Ces autres contextes peuvent être soit préalablement stockés ou être créés à la volée pour être ensuite composés avec les voxels de la personne, cette composition visuelle correspond à l’étape (c) du procédé de l’invention. [0126] La composition visuelle sera typiquement adaptée en fonction des conditions de luminosité pour obtenir un rendu de qualité. [0127] Dans d’autres cas, lorsque l’usage du miroir est utilisé en même temps que l’application logicielle de design des tatouages. La composition des sources visuelles et du reflet miroir de l’utilisateur sont visualisées avec des perspectives différentes. Cette situation est celle utilisée par défaut, mais elle n’est pas toujours désirée. Pour harmoniser les caractéristiques géométriques des transformations sont nécessaires, la première consiste typiquement à placer l’image issue d’une application logicielle dans le même espace 3D que celui du reflet miroir avec les coordonnées qui définissent la position et l’orientation ainsi que la taille et la perspective de l’image incrustée. L’objectif est d’harmoniser la composition visuelle des deux usages: celle du miroir et celle de l’application. [0128] Dans certains cas d’usage, les deux vues, celle du reflet miroir et celle de l’application de design de tatouage sont rendues solidaires dans l’espace 3D. Les coordonnées du reflet miroir sont alors déplacées p. ex. sur la gauche de la surface pour créer de la place sur la droite pour visualiser les tatouages proposés par l’application de design. Le reflet miroir 3D et les autres images 3D sont alors regroupés dans un même objet graphique 3D. Les interactions immersives de la surface miroir contrôlent alors directement l’ensemble de la composition de ces deux sources visuelles. [0129] Dans l’exemple du mode de réalisation de l’échoppe d’un tatoueur, il est intéressant d’appliquer une transformation 3D sur le tatouage de façon à ce qu’il épouse parfaitement la surface de la peau. Le modèle infographique 3D de la personne permet précisément d’effectuer cette transformation avec l’aide du marqueur physique qui identifie l’endroit précis où le tatouage sera tatoué. L’application permet alors de mieux comparer les différents tatouages avec des transformations adéquates qui rendent les tatouages réalistes. [0130] Les modes de réalisation illustrés ne montrent qu’un sous-ensemble de l’étendue des développements avantageux du procédé de l’invention. Revendications

   1. Procédé d’une surface miroir interactive étant mis en œuvre à l’aide d’un système informatique comportant une interface audiovisuelle, des capteurs média et un espace d’interaction, comprenant au moins une séquence avec les étapes suivantes: a) en fonction du flux média desdits capteurs média et pour chaque utilisateur présent dans ledit espace d’interaction, traiter les interactions homme-machine, mettre à jour le référentiel utilisateur et la session d’utilisation; b) en fonction des données de l’étape (a) et dudit flux média, construire une représentation audio-visuelle des applications exécutées sur ladite surface miroir et construire la représentation visuelle du reflet miroir nécessaire au dialogue par contact visuel; c) en fonction desdites données de l’étape (a) et dudit flux média, composer les sources audio-visuelles construites dans l’étape (b), puis effectuer le rendu audio-visuel sur ladite surface miroir.
2. 2. Procédé d’une surface miroir interactive conforme à la revendication 1, dans lequel l’étape (b) comporte une sous-étape (b1) qui utilise des données mémorisées dudit flux média pour construire ledit reflet miroir.
3. 3. Procédé d’une surface miroir interactive conforme à l’une des revendications précédentes, dans lequel l’étape (b) comporte une sous-étape (b1) qui utilise des données mémorisées dudit flux média d’une autre personne pour construire ledit reflet miroir.
4. 4. Procédé d’une surface miroir interactive conforme à l’une des revendications précédentes, dans lequel l’étape (c) compose ledit reflet miroir avec un contexte audio-visuel différent que celui dudit espace d’interaction.
5. 5. Procédé d’une surface miroir interactive conforme à l’une des revendications précédentes, dans lequel l’étape (a) comporte une sous-étape (a1) où un utilisateur est identifié.
6. 6. Procédé d’une surface miroir interactive conforme à l’une des revendications précédentes, dans lequel l’étape (a) initialise une session d’utilisation lors d’un contact visuel.
7. 7. Procédé d’une surface miroir interactive conforme à la revendication 6, dans lequel l’étape (b) modifie la nature graphique dudit reflet miroir durant ladite session d’utilisation.
8. 8. Procédé d’une surface miroir interactive conforme aux revendications 6 ou 7, dans lequel l’étape (b) construit les caractéristiques géométriques dudit reflet miroir de manière conjointe par rapport audit référentiel utilisateur et par rapport à au moins une référence dans l’environnement immersif.
9. 9. Procédé d’une surface miroir interactive conforme à la revendication 8, dans laquelle ladite au moins une référence dans l’environnement immersif est un marqueur physique.
10. 10. Procédé d’une surface miroir interactive conforme à l’une des revendications 6, 7, 8 ou 9, dans lequel ledit référentiel utilisateur détermine la perspective utilisée lors de la composition audio-visuelle de l’étape (c).
11. 11. Procédé d’une surface miroir interactive conforme à l’une des revendications précédentes, dans lequel l’étape (a) comporte une sous-étape (a2) qui permet à un autre appareil de se connecter et d’interagir avec ladite surface miroir par interaction reportée.