FR2888650A1 - Procede pour augmenter la semantique d'un objet en le survolant avec un equipement mobile et dispositif pour la mise en oeuvre de ce procede - Google Patents

Abstract

Procédé pour augmenter la sémantique d'un objet en le survolant avec un équipement mobile et dispositif pour la mise en oeuvre de ce procédé.L'invention concerne un procédé et un dispositif permettant d'enrichir la sémantique d'un objet quelconque au moyen d'un équipement mobile.Procédé dans lequel on survole de façon proche ou distante, un objet (2) doté d'au moins un item (632) ayant des caractéristiques sémantiques prédéfinies, avec un équipement mobile programmable (500) doté d'un programme spécifique (410), d'un repère visuel de survol (6) et d'au moins un capteur de localisation (540), procédé dans lequel on se sert du repère visuel et du capteur pour localiser l'item au cours du survol, et on active sur l'équipement mobile et/ou à distance de celui-ci, une action (852) contextuelle qui augmente la sémantique de l'objet.

Description

La présente invention se rapporte au domaine des interfaces Homme/Objets.

Elle se rapporte notamment à un procédé pour augmenter contextuellement la sémantique d'un objet ou son contenu, en le survolant avec un équipement mobile programmable adapté.

Plus particulièrement, dans ce procédé, on survole de façon proche ou distante, au moins un objet doté d'au moins un item (entité signifiante) ayant des caractéristiques sémantiques prédéfinies, avec un équipement mobile programmable doté d'un programme spécifique, d'un repère visuel de survol et d'au moins un capteur de localisation (caméra, accéléromètre, ou autre), procédé dans lequel on localise au cours du survol le dit item au moyen du dit capteur et du dit repère de survol selon au moins une des dites caractéristiques sémantiques prédéfinies, et on active au moins une action en relation avec la localisation du dit item, sur le dit équipement mobile et/ou à distance de celui- ci, la dite action étant une augmentation sémantique contextuelle de l'objet.

L'item peut être une forme, une couleur, un volume, une texture, un texte, une image physique ou virtuelle, un mouvement, une réflectivité, un effet, ou toute autre caractéristique identifiable au moyen d'un capteur existant sur l'équipement mobile.

On connaît déjà les concepts de: Digitaldesk, Tangible bits, Paperlink, Thinking Tag, ou Visual codes, qui ont apporté des méthodes intéressantes d'interaction entre l'être humain, les objets physiques, et les informations digitales associées à ces objets. On sait aussi que nos interactions avec les objets sont fonction de la perception que nous en avons et particulièrement de leur sémantique; plus précisément notre perception est guidée par notre aptitude à analyser les relations qui unissent les entités signifiantes de l'objet (items). Certaines caractéristiques physiques telles que la forme, la couleur, la texture, le poids, le volume, la réflectivité, la densité, l'élasticité, et bien d'autres, participent à notre compréhension de l'objet, mais elles ne sont pas les seules à intervenir dans la perception sémantique que nous en avons. Le contexte, l'histoire lié à l'objet, sa position spatiale, la répétition de certaines caractéristiques, et bien d'autres éléments immatériels ou virtuels y participent également. Plus nous ajoutons du sens à un objet, plus nous augmentons sa sémantique contextuelle, et plus nous précisons nos inter relations avec cet objet. Ainsi une lentille grossissante nous révèle des caractéristiques non perceptibles à l'oeil nu, et "une règle du jeu" permet d'ajouter du sens à des objets en créant des liens entre eux et en nous fournissant des règles d'interactions avec ces objets. On connaît également le projet ARToolkit qui a permis d'expérimenter des situations diverses de réalité augmentée basées sur le mélange d'images du monde réel avec des images virtuelles.

Par ailleurs, l'intégration de caméra dans des mobiles de plus en plus puissants, permet de les utiliser comme souris optique, ou pour photographier un code visuel imprimé (barcode, matrix,ou autres) qui renvoie vers une information hébergée sur serveur, telle que le prix le moins cher.

Mais tous ces procédés connus ont des limitations, et aucun ne répond au problème qui est posé, consistant à proposer un moyen capable d'augmenter contextuellement la sémantique d'un objet préexistant quelconque, tangible ou non, sans le modifier, et ce de manière simple, peu coûteuse, utilisable par tous et en tous lieux. Parmi les limitations des procédés connus de l'art antérieur, on notera: - la nécessité de préparer spécialement l'objet notamment par des marquages ou des codes visuels autorisant une interaction ou une augmentation, et donc l'impossibilité de s'adresser à un objet quelconque préexistant, particulièrement lorsqu'il est intangible.

- ou l'utilisation de matériels spécifiques peu répandus, encombrants ou non mobiles tels que: lunettes de vision 3D pilotée par carte hébergée sur un PC, projecteur alimenté par secteur, caméra câblée interfacée avec un PC/écran/clavier, et autres, - ou l'absence pendant l'interaction, de la prise en compte des liens sémantiques qui unissent les items appartenant aux objets, - ou la difficulté de fournir un contenu différent selon le contexte, notamment dans le cas des codes visuels et autres marquages; la saisie d'un même code visuel engendrant la même réaction, quelque soit le contexte, - ou l'utilisation exclusive d'une interface standard basée sur un clavier et/ou joystick, peu pratique et souvent inadaptée.

Il en résulte que ces procédés connus ne peuvent pas s'appliquer à un objet quelconque en l'état, ne prennent pas en compte la dimension sémantique de l'objet ni le contexte d'interaction, ou ne sont pas à la portée de tous, car coûteux, non ergonomiques et difficiles à mettre en oeuvre en tous lieux.

La présente invention entend notamment remédier à ces inconvénients.

A cet effet, la présente invention concerne, dans son acception la plus générale, un procédé d'augmentation sémantique d'un objet ayant au moins un item aux caractéristiques prédéfinies, en le survolant avec un équipement mobile adapté (PDA, smartphones, téléphones mobiles et autres), caractérisé en ce que: - tout arrêt du dit survol sur le dit item, provoque une action sur le dit équipement mobile et/ou à distance de celui-ci, - et la dite action est une augmentation 35 sémantique de l'objet résultant en outre d'une étape de construction de contenu pouvant être interactive et prenant en compte le contexte sémantique dans lequel le dit item est localisé lors du dit arrêt, - et enfin l'interactivité est obtenue au moyen 5 d'une interface évoluée, utilisant: a) l'interprétation des mouvements de l'équipement mobile comme moyen d'activation des choix proposés à l'utilisateur par le programme, b) ou des ondes de chocs (tapotage avec un ongle ou 10 un doigt, ou un objet ou autres) appliquées sur l'équipement mobile, captées par un microphone, un accéléromètre, ou autre, et interprétées par le dit programme, c) ou la reconnaissance vocale, d) ou toute autre interface évoluée, lorsqu'elle 15 est disponible sur l'équipement mobile.

Grâce à ces dispositions, on obtient un procédé d'interaction et d'augmentation sémantique qui est robuste, adaptable à un objet quelconque en l'état (qu'il soit physique, ou virtuel, tangible ou non), facile à mettre en uvre, peu coûteux, et utilisable par tous et en tous lieux.

Dans des modes de réalisation préférés de l'invention, on peut imaginer avoir recours en outre à l'une et/ou à l'autre des dispositions suivantes: on déclenche l'action (850) d'augmentation sémantique lorsque l'équipement mobile (500) de l'utilisateur entre dans un champ prédéfini (spatial, fréquentiel, temporel, ou autres) identifiable au moyen d'un capteur adapté (positionnel, fréquentiel ou autre) ; on survole en continu un objet (2), sans temps d'arrêt (suppression de l'étape d'arrêt du survol), et le programme (410) chargé de la localisation (620) décompose à la volée ce mouvement continu en une succession d'arrêts virtuels, correspondants aux items (632) localisés pendant le survol; le survol (610) qu'on effectue est relatif, car c'est en réalité l'équipement mobile (500) qui est fixe alors que l'on déplace l'objet (2), ou encore une combinaison des deux dans laquelle, l'un et l'autre sont en mouvement; -on effectue le survol de l'objet (2), non pas avec l'équipement mobile lui-même, mais avec un autre objet dont on traque les déplacements par un capteur (540) de l'équipement mobile, et les dits objets pouvant être en contact physique (altitude de survol égale à zéro) ; - on guide le survol (610) sur l'objet (2) par des images réelles de la caméra de l'équipement mobile ou par des images virtuelles synchronisées par un capteur (540) avec le dit survol, et qu'on affiche sur l'écran du dit équipement mobile ou sur une autre surface, en les augmentant d'un repère visuel permettant de désigner tout ou partie de l'item à localiser; - on effectue l'analyse des mouvements (611) de l'équipement mobile par un traitement adapté d'au moins 1 image acquise par la caméra (selon un algorithme de reconnaissance de motif, de couleur, de forme, de pixels, ou autre), ou par traitement de coordonnées x,y,z acquises par un capteur adapté (accéléromètre, GPS, ou autre) du dit équipement mobile; - l'objet (2) comporte au moins un item (632) non identifiable à l'oeil nu (incorporé dans une trame, ou très petit, ou dans une couleur imperceptible, etc...), rendant l'augmentation sémantique disponible pour les seuls utilisateurs informés; on complète ou on remplace l'étape de localisation en survol (620) par au moins une indication vocale ou sonore, prédéterminée ou identifiée par reconnaissance vocale, et qui renseigne le programme (410) sur le dit item; - on survole (610) au moins un item (632) 35 appartenant à un objet (2) dit source, dont il résulte au moins une action (850) sur un ou plusieurs objets (2) dit cibles, mais la dite action peut être réciproque et si l'on survole au moins un item (632) d'un objet cible il en résulte alors en retour, au moins une action (850) sur l'objet source; - on inscrit sur un objet (2), en clair ou codé l'URL de téléchargement du programme (410) nécessaire à l'équipement mobile pour réaliser une action d'augmentation sémantique (850), le dit téléchargement pouvant devenir immédiat, par un des moyens connus: OTA (over the air), bluetooth, internet, et autres; - l'équipement mobile programmable est doté de plusieurs capteurs (540), et on les fait participer séparément ou par coopération à la réalisation d'au moins une étape du procédé ; - on effectue la localisation d'un item, selon plusieurs caractéristiques sémantiques prédéfinies; - on localise successivement ou simultanément plusieurs items appartenant à un ou plusieurs objets identiques ou différents, dont il résulte une action en relation avec tous ces items, et la construction du contenu augmentant la sémantique des dits objets prend en compte le contexte sémantique des localisations de tous les items traités; - on annonce la localisation d'un item par une mise en évidence:un son caractéristique, une vibration, un effet visuel, ou autre; on mémorise (520) plusieurs localisations d'items et on active en différé, de manière individuelle ou 30 en séquence, au moins une action; - on active plusieurs actions, successivement ou simultanément, sur l'équipement mobile et/ou à distance de celui-ci; - on active l'action sur l'équipement mobile 35 et/ou à distance de celui-ci et on lui fait prendre des formes diverses telles que l'affichage en 2D ou 3D stéréographiques sur une surface et/ou émission de sons, vibrations, lumières, mouvements, et autres; on survole au moins un objet virtuel et au 5 moins un objet physique et il en résulte au moins une action physique ou virtuelle; - on affiche à l'écran de l'équipement mobile un contenu en XML, SVG, FLASH ou autres et on le réplique à l'identique ou modifié, sur une ou plusieurs autres surfaces distinctes; - on active une ou plusieurs actions simultanées ou en séquence, en utilisant une ou plusieurs liaisons sans fil de l'équipement mobile, (Bluetooth, IrDA, wi-fi, GPRS, 3G, ou autres).

- l'équipement mobile programmable est doté de plusieurs capteurs, et on les fait participer séparément ou par coopération à la réalisation d'une étape du procédé ; L'invention se rapporte également à un dispositif spécialement adapté pour la mise en oeuvre d'un procédé d'augmentation sémantique contextuelle d'un objet, tel que défini ci-dessus.

D'autres caractéristiques et avantages de l'invention seront mis en évidence au cours de la description qui suit concernant des formes de réalisation, données à titre d'exemples non limitatifs, en regard des dessins joints.

Sur les dessins: - la figure 1 est une illustration schématique montrant un exemple de dispositif, comprenant un équipement mobile adapté et autonome, pour mettre en oeuvre un procédé selon une première forme de réalisation de l'invention, - la figure 2 est une illustration schématique montrant un exemple de dispositif, comprenant un équipement mobile adapté en relation avec des périphériques électroniques, pour mettre en oeuvre un procédé selon une deuxième forme de réalisation de l'invention, - la figure 3 est une illustration schématique montrant un exemple de dispositif, comprenant un équipement mobile adapté servant aussi d'actionneur à un objet, pour 5 mettre en oeuvre un procédé selon une troisième forme de réalisation de l'invention, - la figure 4 illustre le synopsis du procédé, - la figure 5 illustre les composants types ou optionnels d'un équipement mobile standard mis en oeuvre dans 10 le procédé, - la figure 6 illustre le schéma fonctionnel du module de détection de mouvements, de celui de localisation d'items, et du dictionnaire des items, - la figure 7 illustre le schéma fonctionnel du 15 moteur d'analyse du contexte, - la figure 8 illustre le schéma fonctionnel du constructeur d'augmentation sémantique, du module de choix interactifs et du module d'activation des actions.

Sur les différentes figures, les mêmes références 20 désignent des éléments identiques ou similaires.

La figure 1 représente un dispositif (1) destiné à mettre en oeuvre la présente invention selon un premier mode, qui comporte par exemple: -un serveur (420) de téléchargement (430), d'un programme (410) destiné à un équipement mobile (500), - une liaison sans fil (560) entre un équipement mobile (500) et un serveur (420), - un équipement mobile (500), muni d'un capteur de localisation (540), d'un programme (410) et d'une 30 interface évoluée (550), - et un objet (2) constitué ici par un monument, le Colosseum de Rome, dotés d'items (632) ayant des caractéristiques sémantiques prédéfinies (634), dans l'exemple considéré. On notera toutefois que l'objet (2) pourrait être n'importe quel autre objet, physique ou virtuel (sans consistance physique), constitué d'une seule pièce ou de plusieurs pièces assemblées ou en contact les unes avec les autres, tel que: jouet, livre, objet pédagogique, objet éducatif, fresque, paysage, image projetée, volume défini par des contours, produit manufacturé, ou tout autre objet.

L'équipement mobile (500) de la figure 1 reçoit un programme spécifique (410) écrit en langage Java (Midlet) ou en C++ ou dans tout autre langage de programmation qui lui est adapté. Ce programme mis à disposition sur un serveur (420), est plus facilement téléchargeable (430) par OTA (over the air), mais il peut l'être également par tout autre liaison sans fil (560) (Bluetooth, wi-fi, 3G ou autre) ou même avec une liaison filaire (561) reliant l'équipement mobile à un micro ordinateur ou autre connecté à un réseau (Internet ou autre). C'est ce programme (410) qui contient toute l'intelligence artificielle permettant l'interaction entre l'utilisateur et l'objet (2), ainsi que l'augmentation sémantique qui sera activée contextuellement. Ce programme qui embarque les paramètres spécifiques de l'objet, comprend un module (600) de localisation d'items et d'analyse sémantique, ainsi qu'un moteur d'analyse contextuelle (700) et un constructeur interactif de contenu augmenté (800) ; ces modules permettent à l'utilisateur, via les choix interactifs (840), d'enrichir la sémantique de l'objet en lui apportant des informations non visibles ou imperceptibles à prime abord, et que l'objet seul serait incapable de lui fournir. Le programme (410) contient les caractéristiques sémantiques détaillées de l'objet ainsi que des règles pré stockées d'analyse de contexte qui lui permettent de proposer à l'utilisateur des augmentations sémantiques en relation avec ses choix.

Pour créer ces augmentations sémantiques, le programme (410) analyse d'abord les déplacements (610) du mobile grâce à un algorithme (612) comparant les données collectées par le capteur (540), et traitées par le module (611), avec les données de la bibliothèque de mouvements (613) ; dès qu'il détecte un arrêt du survol, il compare (622) les données de la zone de survol, après corrections géométriques éventuelles (623), avec des valeurs pré stockées (pixels, formes, couleurs, positions, etc...) dans la bibliothèque (621) afin de localiser (620) l'item (632). Il consulte ensuite le dictionnaire sémantique des items (630) qui recense dans sa bibliothèque (631) tous les items (632), pour y apprendre toutes les caractéristiques (634) de l'item et ses inters relations (633) avec les autres items.

Le programme analyse ensuite le contexte (700) de cette localisation. Il va consulter tout d'abord le journal (740) qui recense les évènements repérés par le détective de survol (710), lequel traque toutes les localisations et analyse plusieurs paramètres tels que la fréquence de localisation d'un item déterminé, ou l'intervalle de temps entre 2 localisations. Il consulte ensuite les sources de données contextuelles (730) qui répertorient notamment des contextes prédéfinis identifiables par la localisation de grappes caractéristiques (731) d'items. Il consulte également le modeleur de profil contextuel coopératif (733), par lequel l'utilisateur du mobile peut orienter le contexte dans une direction donnée en définissant certains choix. Et enfin l'algorithme de comparaison de profil contextuel (720) va extraire le bon contexte en s'appuyant sur toutes ces données analysées selon les règles de corrélation (732).

Une fois l'item (632) localisé et son contexte défini, le programme (410) va construire (800) le contenu qui représente l'augmentation sémantique (850). Pour cela il fait appel au module de structuration de contenu (860) , qui va composer le contenu à partir de la bibliothèque de fragments (820) en s'appuyant sur les règles de construction (810) et les ressources matérielles (830) disponibles sur le mobile.

La construction pouvant être interactive avec l'utilisateur par des choix (840) effectués au moyen d'une interface évoluée (550), ou pré configurée dans le programme (410) afin d'automatiser un comportement prévu à l'avance.

Il est évident que la structure du programme (410) que l'on vient de décrire et cette manière de faire sont présentées au titre d'une concrétisation possible du procédé en question, et que d'autres structures de programmes ou façons de faire menant à la même finalité, sont possibles et réalisables par l'homme du métier, sans pour autant sortir du cadre du brevet.

La figure 1 montre le Colosseum (2) tel qu'il peut être vu par un visiteur, sous un angle faisant apparaître une partie bien conservée tandis que le reste est malheureusement détruit ou fortement endommagé. De l'endroit où il observe le Colosseum, ce visiteur muni de l'équipement décrit (500), et en visant le monument avec la caméra de son mobile (540), peut activer une première augmentation sémantique (852) consistant à lui afficher sur son écran à la fois l'image réelle de ce qu'il voit, mais aussi une superposition ajoutée des parties disparues telles qu'il pourrait les voir si elles étaient encore à leur place. Cette reconstitution virtuelle est rendue possible par le programme (410) qui va déterminer la position du mobile relativement au monument, grâce à la localisation (620) d'un item prédéterminé (632) ou directement par un capteur inertiel (540) et ajouter une image virtuelle qui représente les parties manquantes au dessus de l'image réelle obtenue par la caméra du mobile. La construction de l'image virtuelle peut également prendre en compte, non seulement le lieu, l'angle et la distance de prise de vue, mais aussi l'heure, et le jour de l'année pour déterminer le niveau de saturation des ombres et obtenir une image quasi réelle; le cadrage de l'item par le visiteur, peut permettre de déduire le niveau de détails souhaité et l'image virtuelle créée le prendra en considération. Si le visiteur se déplace ou s'il modifie son champ de vision, le programme actualise son affichage en conséquence.

Cette augmentation sémantique est obtenue par reconstruction virtuelle sous forme d'addition apportée à l'image réelle de l'objet considéré. On peut aussi imaginer que dans d'autres situations il pourrait être préférable, pour clarifier le sens d'un objet ou d'un item, de faire l'inverse en soustrayant ou modifiant certaines informations parasites ou indésirables; c'est le cas de certaines consolidations réalisées sur le monument au fil des siècles à la suite de ses destructions partielles successives et qui n'ont pas respecté la construction originale, introduisant des facteurs de confusion dans la sémantique du monument. La soustraction virtuelle de ces éléments dans l'image capturée, rétablit le sens original de l'objet et lève l'ambiguité.

On notera qu'en variante l'augmentation sémantique pourrait se faire non pas sur l'image de l'objet capturé par la caméra, mais sur l'objet luimême par une projection lumineuse, holographique ou autre.

On notera aussi que pour des mobiles n'ayant pas la capacité de traitement nécessaire (510) pour construire localement l'augmentation sémantique, celle-ci pourrait se faire à distance et le résultat envoyé au mobile pour y être exécuté.

Dans une autre forme d'augmentation sémantique, il serait possible au visiteur de voir à travers l'objet certaines composantes invisibles et qui auraient été prédéterminées dans le programme (410). L'augmentation sémantique consisterait à utiliser une fonctionnalité qui traiterait l'objet comme une maquette que l'on découperait pour accéder visuellement à un volume spécifique; on modifierait l'image réelle capturée, pour simuler une section de l'objet qui révélerait des éléments cachés ou insoupçonnés et donc invisibles à ', il nu. On pourrait par exemple de cette façon, voir en même temps, les fosses aux lions et l'endroit où se tenaient les gladiateurs qui devaient les affronter.

En variante, que l'on peut qualifier de rayons X , on pourrait mettre en transparence des plans opaques différents montrant des éléments qui ne sont pas habituellement visibles en même temps et que l'on ferait apparaître par superposition simultanée.

On notera que plusieurs techniques d'augmentations peuvent être cumulées simultanément et qu'un caractère plus réaliste, pourrait être obtenu grâce à des images 3D stéréographiques affichées sur un écran adapté (530) du mobile.

L'augmentation sémantique peut également prendre la forme d'une simulation animée, superposée en temps réel sur l'image de l'objet, capturée par la caméra; ce pourrait être par exemple une scène de cirque sous les yeux de l'empereur.

Cette simulation pourrait se faire par des allers-retours virtuels dans le temps, en faisant appel à une technique de morphisme passant de l'image réelle à l'image virtuelle par déformations progressives et vice versa.

Une autre forme d'augmentation consiste à modéliser l'item ou l'objet en 3D, et donner au visiteur la possibilité de le manipuler en agissant sur ses caractéristiques physiques: dimensions, orientation, position, couleurs, ou autre.

Une variante consiste à lui offrir un zoom arrière virtuel, lui permettant de prendre du recul par rapport à l'objet comme une sorte de vue aérienne dont il maîtriserait l'altitude pour mieux situer l'objet dans son environnement physique, historique, ou contextuel.

Dans le mélange des images virtuelles avec les images réelles de la caméra du mobile, on pourrait utiliser le traitement des ombres, des contrastes, des lumières, ou encore des couleurs pour révéler des formes et des rythmes indécelables à prime abord et ajouter du sens à l'objet.

D'autres techniques d'augmentation sémantique pourraient utiliser la comparaison, ou l'illusion optique ou encore le clonage des items pour reconstituer des éléments absents (par exemple ceux qui auraient été détruits ou cachés).

On pourrait aussi agir (853) sur l'objet lui même en l'actionnant à distance comme sur la figure 3 (mouvement, lumière, son, etc...). Dans certains cas l'action peut être simulée virtuellement (852) sous forme de contenu XML, SVG, Flash ou autre, et dans notre exemple du Colosseum, le visiteur pourrait viser une des portes d'entrée avec la caméra de son mobile et la voir virtuellement s'animer sous ses yeux, dans son contexte historique, avec des effets sonores ou de vibration; il prendrait ainsi conscience du nombre d'hommes qu'il fallait pour actionner chaque vantail.

La sémantique de deux items identiques peut être complètement différente selon leurs positions. Dans un monument par exemple, deux portes d'entrée sont strictement identiques, mais l'une se trouve à l'est et l'autre à l'ouest, et la symbolique liée à leur usage est fondamentalement différente du fait de cette orientation; c'est le cas de la porte par laquelle entrent les gladiateurs vivants, et celle par laquelle ils quittent le colosseum une fois morts. L'augmentation sémantique consiste à faire apparaître ces nuances sémantiques à l'utilisateur par des manipulations techniques, qui les lui rendent évidentes. Dans l'exemple de la figure 1 concernant le Colosseum, certaines pierres qui sont tombées au cours du temps sont toujours couchées à terre, et leur déplacement virtuel vers leur emplacement d'origine, dans une animation (852) commandée par le visiteur, leur rendrait tout leur sens. Une simple modification virtuelle de la position de l'item, selon une translation, une rotation, un retournement, une superposition, ou tout autre déplacement, peut en effet apporter la clarification attendue.

On pourrait aussi traiter la caractéristique de 35 position sous les angles suivants: Un item est-il placé seul parallèlement à un ensemble ? Dépend-il du précédent ou du suivant à l'intérieur d'une série organisée selon une gradation, du plus petit au plus grand et vice versa ? la gradation s'opère-t-elle dans l'espace temporel, spatial, musical, mélodique, cinétique, scénique ou autre ? l'item rompt-il une gradation de manière évidente ? est-il placé au sommet d'une gradation qu'il ne peut dépasser ?(la dernière marche d'un escalier ou le sommet d'une pyramide par exemple) ; est-il à l'endroit où on l'attend, ou bien à l'opposé ? est-il disposé en alternance avec d'autres items, ou dans un désordre apparent ? une série d'items peut apparaître en désordre selon un critère et parfaitement ordonnée selon un autre comme la taille et la couleur. Les items de la série sont-ils placés selon une trajectoire lisible ou prévisible (axe, symétrie, etc...) ou selon une forme esthétique reconnaissable (coeur, rectangle, pyramide, etc...) ? l'item est-il en dehors d'une étendue spatiale ou temporelle donnée ? Voici d'autres éléments non limitatifs qui pourraient être traités dans l'analyse des items et qui seraient de nature à participer à l'augmentation sémantique: - la répétition de l'item: sur l'objet, dans le temps ou l'espace, ou tout à la fois (ex: un ornement sur des colonnes du Colosseum, renvoie sur le même ornement réalisé sur des colonnes à Corinthe quelques siècles auparavant), - l'intrigue: tous les items attendus sont présents sauf un, - la globalité : les items forment un ensemble mais non perceptible à prime abord par l'utilisateur, - l'indivision: L'item est considéré selon toutes ses parties au sein des autres items, - la caractérisation: l'item est considéré selon une seule de ses parties au sein des autres items, -la singularité : chaque catégorie d'items 35 comprend le même nombre d'items sauf une, - la rareté : il y a rareté d'un item par rapport aux autres, le prime abord: une suite d'items donne une impression qui peut s'avérer vraie ou fausse. L'augmentation sémantique opère par ajouts pour apporter du sens

supplémentaire, et ces ajouts peuvent prendre les formes non limitatives suivantes: - on complète l'objet dans son entité tronquée, - l'objet reçoit une simple augmentation informative (ex: bulle de texte ou message sonore, ou autre), on ajoute à l'objet des éléments additionnels virtuels, sous forme visuelle, sonore, cinétique, ou sensitive, pour montrer les relations temporelles, spatiales, ou autres qu'il entretient avec son environnement, - l'addition est tellement significative à elle seule, qu'elle constitue un effet focus (ce peut être un son, une couleur, une mélodie, etc...), ajouter du sens peut vouloir dire diminuer l'abondance d'informations pour souligner ou faire ressortir quelque chose, c'est un effet focus par amenuisement, - l'intérêt ne porte plus sur l'item seul, mais on élargit le champ à l'analyse de toutes les interactions qui s'exercent sur l'objet: spatiales, temporelles, physiques etc..., c'est l'effet ZOOM OUT qui opère par élargissement du champ et donc par augmentation du nombre d'items disponibles dans la structure. L'item s'insère dans une structure plus étoffée révélant une harmonie, une construction, ou une mélodie non perceptible, - on amène l'objet hors de son sens habituel par 30 une addition lexicale, on ajoute ou on met en évidence la dimension comique, comme forme d'augmentation sémantique, - on juxtapose une échelle de grandeur à l'objet pour quantifier sa grandeur, on substitue un item à un autre, afin de donner un façonnement différent à l'objet, ou faciliter sa mémorisation par augmentation mnémotechnique, -on étudie l'item ou plusieurs sous un autre angle (position, éclairement, diminution, etc...)pour mettre 5 en évidence une sémantique différente, -l'objet est anthropomorphisé pour mettre en scène la vie humaine, on corrige virtuellement les caractéristiques d'un item par déduction, - on améliore l'item dans sa qualité par suppression ou filtrage du bruitage, -2 items éloignés dans l'espace, le temps, ou par la forme, la couleur, la mélodie, ou autre caractéristique, sont rapprochés ou mis en relation pour marquer leur opposition ou leur ressemblance et les faire se souligner l'un l'autre, par fondu enchainé, par juxtaposition, ou superposition d'époque ou autre, afin d'apporter un éclaircissement sémantique, mais on peut avoir recours à l'opposé qui est le brouillage sémantique, - On situe l'item dans ses relations antérieures avec les autres items présents ou absents (ex: une colonne couchée à terre comme rare vestige, est redressée virtuellement et placée au sein des colonnes disparues, pour mieux comprendre le rôle qu'elle jouait dans son contexte), - un scénario visuel, oral, ou les 2 à la fois, vient préciser sous la forme d'un court récit les caractéristiques de l'objet par la mise en valeur de ses items, - un item aide à la compréhension d'un autre, - l'item devient plus important que l'objet, - la localisation d'un item renvoie le focus sur un autre item, comme une relation de cause à effet: exemple une fresque érodée, renvoie par une animation à la gargouille cassée située plus haut et qui ne remplit plus son rôle, - la localisation d'un item met en évidence tous 30 35 ceux qui sont impliqués dans sa sémantique, 2 évènements connexes ou plus participent à l'augmentation sémantique de l'objet, - l'augmentation sémantique d'un item, éclaire par cascade plusieurs autres, et révèle leur sens caché, - un item révèle deux choses, ou évènements ou actions contraires réunies (ex: des traces de destruction et en même temps des traces de reconstruction situées à des époques différentes), - plusieurs items sont inscrits dans une perspective ou disposition méthodique qui explique leur sens, - la mise en relation de l'item avec le temps lui donne tout son sens, - la lecture d'un item portant les traces du 15 passé est transposée au présent, - chaque item apporte plus de sens que son précédent, - le geste ou la posture sont altérés par la destruction d'une partie de l'item, et la restitution virtuelle de l'élément manquant redonne son sens à l'item, - la perception du sens se limite au cadrage, - la restitution des intensités ou des couleurs, révèle le sens des items considérés, l'item ressemble à d'autres items par une 25 seule caractéristique: sa forme, sa couleur, etc..., -l'item est en apparence parfaitement identique à d'autres, mais il diffère par une caractéristique, - l'absence d'un item est déduite ou reconstituée par la présence d'une suite rythmique existante 30 d'items, l'item est consensuel et sa perception est intemporelle quelque soit les langues et les peuples.

On notera que l'augmentation sémantique n'est pas limitée à l'image, et le son est un autre élément essentiel souvent capable à lui seul, de fournir le sens recherché.

L'augmentation sémantique peut être une simple annotation vocale, ou la synchronisation d'un son avec une action; ainsi par exemple le déplacement d'un banc de dauphins ressemble à un ballet, qui est en fait rythmé par des sons inaudibles par l'oreille humaine, et la superposition de ces sons aux mouvements observés, explique l'harmonie du banc.

Le son peut également être généré et synchronisé en modulation ou en fréquence, en fonction des déplacements du mobile.

On notera aussi que l'augmentation sémantique peut faire appel à des stimulations mentales ou sensorielles excitant l'imagination de l'utilisateur et basées sur des sensations qu'il a déjà vues, vécues ou connues, comme par exemple: Pompeï fût rasée comme un château de sable balayé par une vague énoncé sous forme textuelle, ou sonore ou mis en scène visuellement.

L'augmentation sémantique peut en effet être scénarisée de multiples façons, dont voici quelques une, non limitatives.

- l'objet est virtuellement ou physiquement tourné pour être présenté sous un ou plusieurs angles, - l'objet est virtuellement ou physiquement descendu ou monté pour être présenté à hauteur des yeux ou en plongée ou en contre-plongée, - un contre plan est ajouté à l'objet pour rendre l'item plus ou moins important, - on met en valeur le second plan, par effacement ou estompage du premier plan, - on élargit au plan d'ensemble par le cadrage 30 réel ou virtuel ou par un panoramique, - on fait un gros plan ou plan rapproché sur un autre item pour augmenter le sens de celui qui a été localisé (item source); le même traitement peut être réalisé en contrechamp en mettant en valeur deux items ou plus situés en opposition, - tous les items situés dans le champ sémantique sont regroupés par les critères que l'on veut souligner (par ex: tous les ornements ayant une symbolique mystique, ou au contraire tous ceux relatifs à l'esthétique), une animation intègre dans son scénario la mise en scène d'un ou plusieurs items, les révélant un à un ou par groupes, pour mettre en avant ce que veut l'auteur, - Le son synchronisé avec le contenu visuel offert à l'utilisateur sur le mobile, et diffusé par les haut-parleurs ou les 2 oreillettes de la sortie casque, pourrait recevoir des traitements de toutes sortes simulant des effets d'écho, de réverbération, de distorsion, de spatialisation 3D virtuel, ou surround, pour donner plus de réalisme et d'immersion à la mise en scène recherchée.

La figure 2 représente un dispositif destiné à mettre en oeuvre la présente invention selon un second mode, qui comporte par exemple: - Un serveur (420) de téléchargement (430), et une liaison sans fil (560), - un équipement mobile (500) possédant au moins un capteur de localisation (540) et une liaison sans fil (560), - un objet (2) constitué ici par un livre ayant un item (632) représentant une photo contemporaine du 25 Colosseum, - des appareils électroniques (854) reliés à l'équipement mobile (500) par une clé bluetooth, wi-fi ou autre, ou reliés à un serveur qui communique avec l'équipement mobile (500), - et une projection holographique (570) réalisée avec l'équipement mobile (500), La figure 2 illustre la possibilité d'étendre l'augmentation sémantique (850) à un autre appareil électronique (854) tels que: Télévision, Home cinéma, 35 ordinateur, écran 3D stéréographique, videoprojecteur, HI-FI, équipement mobile, lunettes 3D, etc... Le contenu sémantique est alors envoyé à ces appareils par l'équipement mobile lui-même, au moyen d'une liaison sans fil (560) (Bluetooth, wifi, IrDA, etc...), ou sur ses ordres par un serveur relié à ces appareils au moyen d'une connexion quelconque.

En variante, l'équipement mobile peut recevoir les données nécessaires à l'augmentation sémantique par un serveur distant et les relayer localement sur un appareil électronique (854) au moyen d'une liaison sans fil (560).

Selon une seconde variante, l'équipement mobile peut être équipé d'un projecteur holographique (570) intégré ou relié, et il peut dans ce cas projeter un contenu donné, sur une surface quelconque; il pourrait ainsi projeter directement sur l'objet (2) l'augmentation sémantique voulue, en ayant une netteté parfaite, quelque soit la forme de l'objet (2) et la distance qui les sépare, puisque l'image émise par un laser est formée par diffraction.

On notera que toutes les formes d'augmentations sémantiques (850) énumérées dans la description, peuvent être réalisées lorsqu'elles sont possibles, sur l'un ou l'autre des appareils électroniques (854) représentés en figure 2.

La figure 3 illustre un troisième mode de réalisation de l'invention dans lequel le mobile sert aussi d'actionneur sur l'objet (2) pour fournir le complément sémantique recherché, et comporte par exemple: Un serveur (420) de téléchargement (430), et une liaison sans fil (560), Un équipement mobile (500) muni d'au moins un capteur de localisation (540), et d'une liaison sans fil 30 (560), un objet (2) pouvant être actionné à distance, constitué ici par un robot équipé de capteurs et d'actionneurs, une TV (854) en liaison avec le mobile (par 35 exemple grâce à un module scart bluetooth), Dans cette figure 3, l'utilisateur explore et découvre par exemple les possibilités du robot qu'il ne connaît pas. En visant certaines parties de l'objet avec sa caméra (un pied, la tête, la queue, une oreille, etc...) le programme (410) va reconnaître et mettre en évidence l'item visé (par un son, une vibration, une surbrillance, un changement de couleur, ou autre), puis il va actionner (853) le robot par une liaison sans fil (860), afin de montrer les possibilités liées à cet item (ici dans l'exemple, bouger un pied selon 3 degrés de libertés, mais cela peut-être allumer une LED, émettre un son, provoquer une vibration, etc...); parallèlement à cette action déclenchée sur l'objet (2), il va diffuser sur le mobile lui-même et/ou sur un appareil distant (854), une augmentation sémantique visuelle et sonore, par exemple une animation (852) en rayon X montrant et expliquant le mécanisme interne d'articulation du pied et les moteurs qui l'animent. Dans cet exemple, l'objet participe directement à la clarification de sa sémantique par une action (853).

Bien évidemment, il existe d'autres formes d'augmentations sémantiques capables d'ajouter du sens à l'objet et les formes citées ne sont pas limitatives. Le procédé également ne se limite pas aux seuls exemples qui viennent d'être décrits; il a de très nombreuses applications, parmi lesquelles: - la possibilité pour le lecteur d'un livre scolaire ou autre, d'accéder directement sur son mobile (500) et/ou sur un autre périphérique (854) (TV, PC, ou autre selon les possibilités prévues par l'auteur) à des informations, explications, ou toute autre augmentation sémantique (850), fournie sous des formes non possibles par le livre seul, telle par exemple, la possibilité de faire jouer un Xlet (applet sur mobile), illustrant un théorème mathématique par une animation permettant une compréhension contextuelle bien plus approfondie et plus complète que le livre seul ne pourrait le faire, en prenant en considération les valeurs numériques choisies par le lecteur, - la possibilité pour un consommateur d'accéder en situation d'avant vente ou d'après vente à des informations non visibles sur un produit lui permettant de ce fait, de mieux forger son opinion sur sa qualité, ses caractéristiques et autres, - la possibilité d'élargir les potentialités d'un objet éducatif, ludique, commercial, touristique ou autre, par l'une ou l'autre des techniques d'augmentations sémantiques précédemment décrites, en lui permettant d'incorporer virtuellement des données qu'il n'a pas en lui-même, - la possibilité de détourner un objet de son utilisation ou perception sémantique habituelle, grâce à des fonctions nouvelles ajoutées par le mobile et donnant à l'objet des possibilités qu'il n'avait pas à lui seul; à titre d'exemple non limitatif on peut citer la faculté de créer un actionneur virtuel (potentiomètre ou autre) en survolant des items dont les couleurs ou les tailles sont progressives ou différentes.

- La possibilité de pouvoir créer pour un même objet, plusieurs programmes (410) différents permettant chacun des augmentations sémantiques (850) différentes, provenant d'auteurs différents, ou d'un même auteur qui les actualise au cours de versions successives.

L'invention est décrite dans ce qui précède à titre d'exemples. Il est entendu que l'homme du métier est à même de réaliser différentes variantes de l'invention sans pour autant sortir du cadre du brevet.

Claims (1)

1. 24 REVENDICATIONS

   1) Procédé dans lequel on survole de façon proche ou distante, au moins un objet (2) doté d'au moins un item (632) ayant des caractéristiques sémantiques prédéfinies (634), avec un équipement mobile programmable (500) doté d'un programme spécifique (410), d'un repère visuel de survol (6) et d'au moins un capteur de localisation (540), procédé dans lequel on localise (620) le dit item du dit objet au moyen du dit capteur et du dit repère de survol, selon au moins une des dites caractéristiques sémantiques prédéfinies, et au moins une action en relation avec la dite localisation du dit item est activée par le dit programme sur le dit équipement mobile et/ou à distance de celui-ci, la dite action pouvant être immédiate ou différée et pouvant résulter de choix interactifs (840) proposés par le dit programme, caractérisé en ce que l'arrêt du dit survol (610) du dit - équipement mobile (500) sur le dit item (632) détecté par le dit capteur (540) en liaison avec le dit repère visuel de survol (6) provoque sur le dit mobile et/ou à distance de celui-ci une action contextuelle d'augmentation sémantique (850) relative au dit objet (2), action définie en outre au cours d'une étape de construction de contenu (800) réalisée par le programme (410) ou par un serveur distant en liaison sans fil (560) avec le dit équipement, et les dits choix interactifs (840) pouvant être activés selon une interface évoluée (550).

   2) Procédé selon la revendication précédente, caractérisé en ce qu'on déclenche l'action (850) d'augmentation sémantique lorsque l'équipement mobile (500) de l'utilisateur entre dans un champ prédéfini (spatial, fréquentiel, temporel, autres) identifiable au moyen d'un capteur adapté (positionnel, fréquentiel ou autre).

   3) Procédé selon l'une quelconque des revendications 1 ou 2, caractérisé en ce qu'on survole en continu un objet (2), sans temps d'arrêt (suppression de l'étape d'arrêt du survol), et le programme (410) chargé de la localisation (620) décompose à la volée ce mouvement continu en une succession d'arrêts virtuels, correspondants aux items (632) localisés pendant le survol.

   4) Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que le survol (610) qu'on effectue est relatif, car c'est en réalité l'équipement mobile (500) qui est fixe alors que l'on déplace l'objet (2), ou encore une combinaison des deux dans laquelle, l'un et l'autre sont en mouvement.

   5) Procédé selon l'une quelconque des revendications 1 ou 3, caractérisé en ce qu'on effectue le survol de l'objet (2), non pas avec l'équipement mobile lui-même, mais avec un autre objet dont on traque les déplacements par un capteur (540) de l'équipement mobile, et les dits objets pouvant être en contact physique (altitude de survol égale à zéro).

   6) Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'on guide le survol (610) sur l'objet (2) par des images réelles de la caméra de l'équipement mobile ou par des images virtuelles synchronisées par un capteur (540) avec le dit survol, et qu'on affiche sur l'écran du dit équipement mobile ou sur une autre surface, en les augmentant d'un repère visuel permettant de désigner tout ou partie de l'item à localiser.

   7) Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'on effectue l'analyse des mouvements (611) de l'équipement mobile par un traitement adapté d'au moins 1 image acquise par la caméra (comparaison par reconnaissance de motif, de couleur, de forme, de pixels, ou autre), ou par traitement de coordonnées x,y,z acquises par un capteur adapté (accéléromètre, GPS, ou autre) du dit équipement mobile.

   8) Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'objet (2) comporte au moins un item (632) non identifiable à l'oeil nu (incorporé dans une trame, ou très petit, ou dans une couleur imperceptible, etc...), rendant l'augmentation sémantique disponible pour les seuls utilisateurs informés.

   9) Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'on complète ou on remplace l'étape de localisation en survol (620) par au moins une indication vocale ou sonore, prédéterminée ou identifiée par reconnaissance vocale, et qui renseigne le programme (410) sur le dit item.

   10) Procédé selon l'une quelconque des revendications 1, ou 3 à 9, caractérisé en ce qu'on survole (610) au moins un item (632) appartenant à un objet (2) dit source, dont il résulte au moins une action (850) sur un ou plusieurs objets (2) dit cibles, mais la dite action peut être réciproque et si l'on survole au moins un item (632) d'un objet cible il en résulte alors en retour, au moins une action (850) sur l'objet source.

   11) Procédé selon la revendication 1, caractérisé en ce qu'on inscrit sur un objet (2), en clair ou codé l'URL de téléchargement du programme (410) nécessaire à l'équipement mobile pour réaliser une action d'augmentation sémantique (850), le dit téléchargement pouvant devenir immédiat, par un des moyens connus: OTA (over the air), bluetooth, internet, et autres.

   12) Dispositif spécialement adapté pour mettre en uvre un procédé selon l'une quelconque des revendications précédentes, destiné à augmenter la sémantique (850) d'au moins un objet (2) doté d'au moins un item (632) ayant des caractéristiques sémantiques prédéfinies (634), en le survolant de façon proche ou distante avec un équipement mobile programmable (500), ce dispositif comprenant des moyens pour localiser le dit item au cours du dit survol, et des moyens pour déclencher sur le dit équipement mobile et/ou à distance de celui-ci au moins une action en relation avec la dite localisation du dit item, la dite action pouvant résulter de choix interactifs (840) proposés à l'utilisateur par le dit programme, caractérisé en ce qu'il comporte des moyens pour détecter la position de l'équipement mobile sur l'item et provoquer en conséquence une action qui est une augmentation sémantique (850) contextuelle (700) de l'objet, construite par un programme (410) pouvant être interactif via une interface pouvant être évoluée (550, 551).