FR3130058A1 - Procédé de gestion de la représentation de points d’intérêts - Google Patents

Abstract

Procédé de gestion de la représentation de points d’intérêts L’invention se rapporte à un procédé de gestion de la représentation de points d’intérêt sur un écran d’un dispositif muni d’une caméra, ledit procédé étant caractérisé en ce qu’il comprend les phases suivantes : une phase de géolocalisation (GEO) du dispositif ;une phase de calcul (CAL) de la direction de pointage et de l’angle de vue de la caméra du dispositif ;une phase de détermination (DET) d’un point d’intérêt se trouvant dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra du dispositif, et d’une coordonnée géographique dudit point d’intérêt ;une phase d’obtention (OBT) d’une image associée à ladite coordonnée géographique dudit point d’intérêt ;une phase de restitution (RST) de l’image obtenue sur l’écran du dispositif. Figure 2

Description

Procédé de gestion de la représentation de points d’intérêts

Le domaine technique est celui de la représentation de points d’intérêt.

Plus précisément, l’invention se rapporte à un procédé de gestion de la représentation de points d’intérêt sur un écran d’un dispositif muni d’une caméra.

La représentation de points d’intérêt est importante dans le domaine du tourisme afin de procurer une expérience agréable aux visiteurs d’un emplacement, par exemple une ville possédant de nombreux monuments qui forment chacun un point d’intérêt pour les visiteurs. La représentation de points d’intérêt peut se faire par exemple sur un dispositif de type ordiphone (smartphoneen anglais) en affichant sur une carte de la ville visitée des images des points d’intérêt considérés.

De plus, l’utilisation de techniques de réalité augmentée est maintenant bien établie et cette utilisation se répand dans le secteur du tourisme. Il existe de nombreuses applications de réalité augmentée qui peuvent être exécutées sur des dispositifs de type ordiphones (smartphoneen anglais) ou des ordinateurs de type tablette ou bien sur des dispositifs englobant complètement la vision de l’utilisateur, tels des casques de réalité virtuelle, et qui permettent à un touriste qui visite une ville d’obtenir des informations sur les points d’intérêts de la ville en question.

Etat de la technique

Le principe de ces applications est en général le suivant : l’utilisateur pointe la caméra de son ordiphone ou de sa tablette vers un point d’intérêt. L’utilisateur peut également être muni d’un dispositif de réalité virtuelle de type casque et pointer son regard vers le point d’intérêt. L’application de réalité augmentée va alors reconnaître le point d’intérêt en question. Cette reconnaissance se fera grâce aux capacités de géolocalisation de l’ordiphone ou de la tablette ou du dispositif de réalité virtuelle, ainsi que grâce à ses capacités de calcul, en exécutant sur les processeurs de l’ordiphone ou de la tablette ou du dispositif un algorithme de reconnaissance d’image qui comparera l’image captée du point d’intérêt avec des photos sauvegardées dans la mémoire de l’ordiphone ou de la tablette, ou bien téléchargées sur un serveur distant via un réseau de communication. Une fois le point d’intérêt reconnu, l’application va rajouter sur l’image captée par la caméra des informations textuelles ou visuelles au sujet du point d’intérêt, puis restituer l’image ainsi complétée sur l’écran de l’ordiphone ou de la tablette, ou bien dans l’image en réalité virtuelle reconstruite par le dispositif. Ce rajout se fait en calculant sur les processeurs de l’ordiphone ou de la tablette ou du dispositif une nouvelle image, composée principalement par l’image captée par la caméra de l’ordiphone ou de la tablette ou du dispositif, et en substituant cette image calculée à l’image captée. L’utilisateur disposera ainsi d’informations touristiques sur le point d’intérêt ainsi que d’une information de repérage minimale puisqu’il saura quel est le point d’intérêt vers lequel il pointe la caméra de son ordiphone ou de sa tablette.

De telles applications de réalité augmentée peuvent être complétées par des aspects de réalité virtuelle. Plutôt que de rajouter des informations à l’image réelle captée par la caméra de l’ordiphone ou de la tablette de l’utilisateur, ou du dispositif de réalité virtuelle, l’application va rajouter une image reconstruite du point d’intérêt à l’emplacement qu’il occupe, ou même remplacer entièrement l’image captée par une image reconstruite. L’image ainsi reconstruite est calculée en temps réel sur les processeurs de l’ordiphone ou de la tablette ou du dispositif de réalité virtuelle suivant l’orientation de celui ou celle-ci, puis affichée sur l’écran de l’ordiphone ou de la tablette, ou bien sur l’image reconstruite par le dispositif de réalité virtuelle qui englobe totalement la vision de l’utilisateur. Ceci permet par exemple de remplacer l’image actuelle du point d’intérêt par une ou plusieurs images décrivant l’aspect du point d’intérêt à différentes époques du passé, en calculant en temps réel l’image à restituer en partant de modèles du point d’intérêt à différentes époques.

Cette utilisation de la réalité virtuelle permet d’améliorer l’intérêt touristique de l’application de réalité augmentée que ce soit en complément d’applications de réalité augmentée, ou même à la place, si la totalité de l’image présentée à l’utilisateur est intégralement reconstruite. En effet, la réalité virtuelle permet de présenter aux utilisateurs des images réalistes, en trois dimensions, mais également des images ludiques, par exemple en représentant un lieu à différentes époques, ou en rajoutant des détails ludiques ou instructifs absents de l’image captée. Ces éléments vont permettre de capter davantage l’intérêt du touriste et d’améliorer sa satisfaction.

Cependant, une telle application de réalité augmentée, même en lui ajoutant des capacités de réalité virtuelle, reste limitée à la présentation de l’environnement immédiat de l’utilisateur. Les insertions d’image réalisées par l’application de réalité augmentée s’appliquent uniquement aux points d’intérêt immédiatement visibles par la caméra du dispositif de l’utilisateur qui va reconnaître le point d’intérêt en question avant d’insérer les images correspondant à ce point d’intérêt. L’application de réalité augmentée ne permet donc pas à l’utilisateur de se repérer dans la ville qu’il visite, alors qu’on pourrait souhaiter qu’une application touristique permette de le faire. De façon plus générale, une application de visite en réalité augmentée n’offre pas de facilité spéciale pour se repérer, au-delà de la présentation de l’environnement immédiat, quel que soit le lieu ou bien l’endroit visité, et que l’application utilise ou non de la réalité virtuelle en plus de la réalité augmentée.

Quand la restitution de points d’intérêt se fait en dehors d’une image de réalité augmentée ou virtuelle, c’est par exemple en ajoutant sur une carte une image des points d’intérêt considérés. Cette restitution permet de donner accès à des informations complémentaires ainsi qu’à un repérage minimal de l’utilisateur, mais elle ne met pas l’utilisateur en situation de la même manière qu’un dispositif de réalité augmentée. En particulier, elle n’indique pas clairement l’orientation respective de l’utilisateur et du point d’intérêt puisqu’il s’agit d’une représentation à plat du ou des points d’intérêt.

L’invention vient améliorer la situation.

L’invention

Selon un premier aspect fonctionnel, l’invention a trait à un procédé de gestion de la représentation de points d’intérêt sur un écran d’un dispositif muni d’une caméra, ledit procédé étant caractérisé en ce qu’il comprend les phases suivantes :

• Géolocalisation du dispositif ;
• Calcul de la direction de pointage et de l’angle de vue de la caméra du dispositif ;
• Détermination d’un point d’intérêt se trouvant dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra du dispositif calculés à la phase précédente, et d’une coordonnée géographique dudit point d’intérêt ;
• Obtention d’une image associée à ladite coordonnée géographique dudit point d’intérêt ;
• Restitution sur l’écran du dispositif de l’image obtenue à la phase d’obtention.

Grâce à l’invention, l’utilisateur pourra se guider plus facilement vers des points d’intérêt au sein d’une application proche d’une application de réalité augmentée. En effet, le procédé va représenter l’image d’un point d’intérêt sur l’écran du dispositif, et ceci indépendamment de la visibilité directe du point d’intérêt par l’utilisateur, à partir du moment que le point d’intérêt se situe dans la direction pointée par la caméra du dispositif. En particulier, si le point d’intérêt est caché par des obstacles, tels que des bâtiments ou des arbres, l’invention permet de représenter le point d’intérêt sur l’écran du dispositif. On verra plus loin que l’image du point d’intérêt restituée sur l’écran du dispositif respecte bien l’orientation réelle du point d’intérêt par rapport au pointage de la caméra du dispositif. Ce respect permet à l’utilisateur de se repérer et de se diriger vers le point d’intérêt, même si celui-ci n’est pas visible. Comme l’image restituée est représentative de la position de l’utilisateur du dispositif par rapport au point d’intérêt, cela permet à l’utilisateur de se diriger vers une partie spécifique du point d’intérêt, par exemple la porte d’entrée du monument à visiter dans le cas où le point d’intérêt est un monument et que l’image associée obtenue est bien celle de la porte d’entrée du monument vers laquelle pointe la caméra du dispositif, indépendamment des obstacles éventuels. L’utilisateur peut ainsi se repérer sans avoir à changer d’application et en restant dans une application touristique qui pourra utiliser dans certaines variantes des techniques de réalité augmentée.

Selon un premier mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre cumulativement avec le précédent mode, un point d’intérêt est associé à plusieurs coordonnées géographiques auxquelles correspondent des images respectives, et la coordonnée géographique déterminée par la phase de détermination est choisie en fonction de la distance entre la coordonnée géographique du point d’intérêt et le dispositif, et l’image obtenue lors de la phase d’obtention est une image associée à la coordonnée géographique déterminée.

Grâce à ce premier mode de mise en œuvre, l’utilisateur peut se repérer plus facilement dans son environnement alors qu’il recherche un ou des points d’intérêt. En pointant le dispositif dans une direction, le procédé va sélectionner une coordonnée géographique associée au point d’intérêt. Les différentes coordonnées géographiques d’un point d’intérêt correspondent par exemple aux différentes faces du point d’intérêt et à différents points de vue de chaque face. Par exemple, en choisissant pendant la phase de détermination la coordonnée géographique du point d’intérêt la plus proche du dispositif en ligne droite, le procédé assure que les images qui pourront être obtenues, qui sont associées à la coordonnée géographique déterminée, seront bien des vues du point d’intérêt depuis une direction proche de celle pointée par le dispositif. Cette détermination se fait indépendamment des obstacles entre le dispositif et le point d’intérêt. Comme précédemment, le point d’intérêt est représenté même s’il n’est pas visible. Une fois la coordonnée géographique du point d’intérêt obtenue, on peut disposer de plusieurs images du point d’intérêt qui montrent bien une vue du point d’intérêt depuis une direction proche de celle pointée par le dispositif. La phase d’obtention va sélectionner entre ces plusieurs images associées à la coordonnée géographique déterminée pour se rapprocher le plus d’une image qui soit une vue réaliste du point d’intérêt depuis la position de l’utilisateur du dispositif suivant les critères de direction et d’angle de vue de la caméra du dispositif. Ce réalisme permet d’améliorer le guidage de l’utilisateur et par exemple de s’assurer que l’utilisateur vise bien la face du point d’intérêt vers laquelle il souhaite se diriger.

Selon une variante de ce premier mode de mise en œuvre de l’invention, l’image obtenue lors de la phase d’obtention correspond à une vue du point d’intérêt suivant une direction de pointage et un angle de vue les plus proches de ceux calculés lors de la phase de calcul.

Grâce à cette variante, le réalisme de l’image obtenue est amélioré en ce qui concerne le respect par l’image obtenue de l’orientation du dispositif vers le point d’intérêt.

Selon un troisième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre alternativement ou cumulativement avec les modes précédents, la phase de détermination des points d’intérêt se fait en partant d’une liste des points d’intérêt situés dans un rayon prédéfini autour de la localisation courante du dispositif obtenue lors de la phase de géolocalisation.

Dans ce troisième mode de réalisation, la liste des points d’intérêt dont l’image peut être restituée sur l’écran du dispositif est limitée à ceux qui se trouvent à une distance prédéfinie du dispositif et donc de l’utilisateur. De cette manière, il y a moins de risques de conflits quant aux points d’intérêt dont l’image doit être restituée sur l’écran du dispositif. Seuls les points d’intérêt qui sont présents à une distance raisonnable seront représentés sur l’écran, et ceci indépendamment de leur visibilité directe relativement aux obstacles.

Selon un quatrième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre alternativement ou cumulativement avec les précédents modes, la phase de détermination des points d’intérêt se fait en partant d’une liste des points d’intérêt sélectionnée au préalable.

Grâce à ce quatrième mode de mise en œuvre particulier de l’invention, ce sera par exemple l’utilisateur qui choisira la liste de points d’intérêt qui l’intéresse afin de planifier et personnaliser sa visite. Ce mode présente également le même avantage que le mode précédent, à savoir ne pas risquer de devoir représenter un trop grand nombre de points d’intérêt. Ce mode peut être combiné ou utilisé alternativement avec le mode précédent de limitation des points d’intérêt dans un rayon prédéfini.

Selon un cinquième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre alternativement ou cumulativement avec les précédents modes, si la phase de détermination détermine plusieurs points d’intérêt dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra, la phase de restitution va consister à présenter successivement les plusieurs images obtenues lors de la phase d’obtention.

Grâce à ce cinquième mode de mise en œuvre particulier de l’invention, le procédé règle les conflits qui peuvent survenir si plusieurs points d’intérêt se situent dans la direction de pointage de la caméra du dispositif. Ces différents points d’intérêt doivent être représentés indépendamment de la présence d’obstacles entre le dispositif et les points d’intérêt. Dans ce mode de réalisation, les images obtenues pour les différents points d’intérêt sont représentées en succession l’une de l’autre afin que l’utilisateur se rende compte que plusieurs points d’intérêt se situent dans la direction de pointage du dispositif.

Selon un sixième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre alternativement ou cumulativement avec les précédents modes, le procédé comprend, suite à la phase d’obtention, une phase de traitement en temps réel de l’image captée par la caméra du dispositif consistant en l’insertion dans l’image captée de l’image obtenue lors de la phase d’obtention et en ce que la phase de restitution consiste à restituer en temps réel sur l’écran du dispositif l’image captée par la caméra du dispositif telle que traitée à la phase de traitement.

Grâce à ce sixième mode de réalisation, l’invention se rapproche d’un procédé de réalité augmentée. Au lieu de présenter sur l’écran une image du point d’intérêt, comme dans les modes précédents, le procédé consiste à insérer en temps réel, dans l’image réelle captée par la caméra du dispositif, l’image du point d’intérêt obtenue. Dans ce mode, l’utilisateur verra sur l’écran du dispositif son environnement immédiat tel que filmé par la caméra, mais de surcroît, il verra, indépendamment des obstacles, une image du point d’intérêt qui se situe dans la direction vers laquelle il pointe le dispositif. Ce rajout lui permet de s’orienter vers le point d’intérêt, même s’il n’est pas visible directement, tout en restant dans une application de réalité augmentée qui présente à l’utilisateur son environnement immédiat. Plusieurs variantes sont décrites en lien avec les figures, permettant d’améliorer le rendu en réalité augmentée de l’invention pour l’utilisateur.

Selon un premier aspect matériel, l’invention se rapporte à un dispositif, muni d’une caméra et d’un écran, gérant la représentation de points d’intérêt sur l’écran dudit dispositif, caractérisé en ce que le dispositif comprend :

• un module de géolocalisation du dispositif ;
• un module de calcul de la direction de pointage et de l’angle de vue de la caméra du dispositif ;
• un module de détermination d’un point d’intérêt se trouvant dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra du dispositif calculés par le module de calcul, et d’une coordonnée géographique du point d’intérêt ;
• un module d’obtention d’une image associée à ladite coordonnée géographique dudit point d’intérêt ;
• un module de restitution sur l’écran du dispositif de l’image obtenue par le module d’obtention.

Selon un autre aspect matériel, l’invention a trait à un programme d'ordinateur apte à être mis en œuvre par un dispositif muni d’une caméra et d’un écran, le programme comprenant des instructions de code qui, lorsqu’il est exécuté par un processeur, réalise les étapes du procédé de gestion défini ci-dessus.

Enfin, selon un autre aspect matériel, l’invention a trait à un support de données sur lequel est enregistré un programme d’ordinateur comprenant des séquences d’instructions pour la mise en œuvre du procédé de gestion défini ci-dessus.

Le dispositif, en plus d’être muni d’une caméra et d’un écran, présente l’architecture d’un ordinateur conventionnel. Il est muni d’un ou plusieurs processeurs capables d’exécuter tous types de programmes d’ordinateurs, depuis des systèmes d’exploitation jusqu’à des logiciels applicatifs, écrits dans des langages compilés ou interprétés. Les différents composants du dispositif sont reliés entre eux par un bus de communication. Le dispositif peut éventuellement être muni d’un système de communication pour communiquer via des protocoles tels Bluetooth, Ethernet ou WiFi avec d’autres systèmes et se connecter à des réseaux de télécommunications mobiles ou non. Le dispositif comprend en plus des composants mémoire qui vont enregistrer les données et programmes nécessaires au fonctionnement du dispositif.

Les supports de données peuvent être n'importe quelle entité ou dispositif capable de stocker les programmes. Par exemple, les supports peuvent comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique tel qu’un disque dur, ou plus souvent une mémoire Flash. D'autre part, les supports peuvent être des supports transmissibles tels qu'un signal électrique ou optique, qui peuvent être acheminés via un câble électrique ou optique, par radio ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.

L'invention sera mieux comprise à la lecture de la description qui suit, donnée à titre d'exemple, et faite en référence aux dessins annexées sur lesquels :

représente un dispositif muni d’une caméra et d’un écran qui présente un exemple possible de réalisation de l’invention.

illustre les phases du procédé objet de l’invention.

illustre la situation d’un utilisateur muni du dispositif avant qu’il ne déclenche le procédé.

illustre la situation du même utilisateur alors qu’il déclenche le procédé grâce au dispositif dont il est muni.

illustre la situation du même utilisateur alors qu’il déclenche le procédé grâce au dispositif dont il est muni, suivant un autre mode de réalisation.

illustre la restitution sur l’écran du dispositif de l’image traitée en suivant un mode particulier de réalisation de l’invention.

Description détaillée d’un ou plusieurs exemples de réalisation de l'invention

La représente un dispositif DVC.

Le dispositif DVC sera préférentiellement un ordiphone (smartphoneen anglais) ou un ordinateur de type tablette. La description des modes de réalisation et des figures se place en général dans l’hypothèse où le dispositif est effectivement un ordiphone ou un ordinateur de type tablette, ou d’autres types de terminaux présentant des tailles intermédiaires entre un ordiphone ou un ordinateur de type tablette. Cependant, le dispositif DVC pourra également être un dispositif de réalité virtuelle englobant l’ensemble de la vision de l’utilisateur, comme par exemple un casque ou un système de lunettes. Le dispositif DVC pourra également être un ordinateur portable ou bien même un dispositif dédié à l’invention.

Dans tous les cas, le dispositif DVC comprend les composants matériels suivants.

Le dispositif DVC est muni d’un écran SCR et d’une caméra CAM. Dans le cas où le dispositif DVC est un dispositif de réalité virtuelle, l’écran SCR est celui qui intercepte complètement la vision de l’utilisateur pour lui présenter une image reconstruite de réalité virtuelle, et la caméra CAM est disposée de façon à pointer dans la direction du regard de l’utilisateur.

Le dispositif DVC présente l’architecture d’un ordinateur conventionnel. Le dispositif DVC comprend un ou plusieurs processeurs ; un seul processeur PROC est représenté sur la . Le dispositif DVC comprend également un ou plusieurs composants mémoire ; un seul composant mémoire MEM est représenté sur la . L’ensemble des composants matériels du dispositif DVC sont reliés entre eux par un bus matériel B. Ce bus matériel B sert de support à un bus logiciel qui permet d’assurer la communication entre les différents composants et modules du dispositif DVC.

Le ou les processeurs PROC peuvent être tous types de micro-processeurs suivant des architectures variées, par exemple, et de façon non limitative des processeurs dits RISC (acronyme anglais pourReduced Instruction Set Computer) ou CISC (acronyme anglais pourComplex Instruction Set Computer) ou des micro-processeurs présentant une architecture ARM (développée par la société ARM Ltd). Le ou les processeurs PROC peuvent effectuer des calculs pour l’ensemble du dispositif DVC ou bien être dédiés à la gestion d’un des composants du dispositif DVC tels que par exemple, de façon non limitative, l’écran SCR ou la caméra CAM.

Le ou les composants mémoire MEM peuvent être des composants de mémoire vive, traditionnellement nommées RAM (acronyme anglais pourRandom Access Memory), ou des composants de mémoire morte, traditionnellement nommées ROM (acronyme anglais pourRead-Only Memory), ou bien encore des composants de mémoire flash ou tout autre type de mémoire.

Le ou les composants mémoire MEM servent aux supports de données qui comprennent les instructions nécessaires au fonctionnement des logiciels embarqués dans le dispositif DVC. On a représenté sur la un seul programme PRG et une seule base de données BDD, enregistrés dans la mémoire MEM. Mais il est clair qu’un dispositif DVC voit ses processeurs PROC exécuter de nombreux programmes PRG de tous types, par exemple, de façon non limitative, un ou plusieurs systèmes d’exploitation, des programmes pilotant les différents composants matériels du dispositif DVC, des programmes présentant les interfaces homme-machine à l’utilisateur, des programmes exécutant diverses applications du dispositif DVC.

Le dispositif DVC peut également comprendre de façon préférentielle un composant matériel de géolocalisation GPS. Ce composant comprend des puces dédiées à la géolocalisation par satellite, par exemple en utilisant le système le plus connu nommé GPS (acronyme anglais pourGlobal Positioning System), mais d’autres systèmes de géolocalisation par satellite peuvent être utilisés, comme le système Galileo, le système Beidou, ou le système GLONASS (acronyme russe pourGlobal’naya Navigatsionnaya Sputnikovaya Systema).

Le dispositif DVC peut également comprendre de façon optionnelle un ou plusieurs composants de communication ; un seul composant de communication COM est représenté sur la . Le ou les composants de communication COM permettent au dispositif DVC de communiquer avec d’autres dispositifs ou de se connecter à divers réseaux de télécommunication, par exemple via les protocoles Bluetooth, WiFi ou autres pour se connecter à d’autres dispositifs ou bien via les protocoles GSM, 2G, 3G, 4G, 5G et autres pour se connecter à des réseaux de télécommunication mobiles. Le dispositif DVC peut alors se retrouver relié au réseau Internet.

Le dispositif DVC comprend des modules fonctionnels. Ces modules exécutent des phases du procédé objet de l’invention. Les différents modules comprendront un ou plusieurs programmes PRG, et utiliseront éventuellement une ou plusieurs bases de données BDD ou tout autre type de données sauvegardées en mémoire MEM pour remplir leur fonctionnalité.

Le dispositif DVC comprend un module de géolocalisation G. Ce module de géolocalisation G a la charge d’exécuter la phase de géolocalisation GEO du dispositif DVC.

Pour cela, dans la grande majorité des modes de réalisation, le module G va utiliser le composant GPS de localisation par satellite. Dans certains modes de réalisation, le module de géolocalisation G s’appuiera sur des données complémentaires pour améliorer la géolocalisation du dispositif DVC. Si un composant de communication COM est présent dans le dispositif DVC, le composant COM peut ainsi fournir des informations de géolocalisation suivant les protocoles de communication que le composant COM implémente. Dans le cas des protocoles de télécommunication mobile, le composant COM pourra disposer d’informations de géolocalisation fournies par les différentes antennes du réseau de communication avec lesquelles le dispositif DVC communique. Ces informations de géolocalisation seront alors utilisées par le module G, de préférence en combinaison avec les informations fournies par le composant GPS pour déterminer la localisation précise du dispositif DVC.

Dans un autre mode de réalisation, le module de géolocalisation G va utiliser les images captées par la caméra CAM pour repérer l’environnement du dispositif DVC en comparant les images captées avec des images enregistrées par ailleurs, qui seront par exemple stockées dans la base de données BDD pour les besoins d’autres phases du procédé.

Les trois sources possibles de données de géolocalisation possibles (issues du composant GPS, issues du composant COM ou issues de la comparaison entre images de l’environnement) peuvent être combinées entre elles pour obtenir la géolocalisation du dispositif DVC la plus précise possible. Dans au moins un mode de réalisation, le module de géolocalisation G exécute la phase de géolocalisation GEO sans utiliser de données issues du composant GPS. Dans ce mode de réalisation, le composant GPS n’est pas forcément présent dans le dispositif DVC.

Le dispositif DVC comprend un module de calcul C. Ce module de calcul C a la charge d’exécuter la phase de calcul CAL de la direction de pointage et de l’angle de vue de la caméra CAM du dispositif DVC.

Dans notre exemple, cette phase de calcul CAL s’appuie sur des informations issues d’un composant (non représenté sur la figure) du dispositif DVC suivant l’orientation du dispositif DVC. Ce type d’informations est accessible de façon standard dans les dispositifs DVC de type ordiphone ou tablette qui disposent de ce genre d’informations pour orienter l’affichage de l’écran SCR.

Dans certains modes de réalisation, le module de calcul C utilisera également les images captées par la caméra CAM, éventuellement comparées à des images de l’environnement qui pourront être stockées dans la base de données BDD, ou bien accessibles via le composant de communication COM. Dans d’autres modes de réalisation, le module de calcul C pourra utiliser également des informations issues du composant GPS, ou bien des combinaisons de ces différentes sources d’information sur l’orientation du dispositif DVC.

Le dispositif DVC comprend un module de détermination D. Ce module de détermination D exécute la phase de détermination DET d’un point d’intérêt se trouvant dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra CAM du dispositif DVC calculés par le module de calcul C, et d’une coordonnée géographique dudit point d’intérêt.

Pour réaliser la phase de détermination DET d’un point d’intérêt, le module de détermination D doit accéder à un ensemble de données cartographiques qui permettent de connaître les coordonnées géographiques des points d’intérêt. Ces données cartographiques peuvent par exemple être sauvegardées dans une base de données BDD ou bien stockées à distance et accessibles grâce au composant de communication COM. A partir des données cartographiques et de la géolocalisation du dispositif DVC, le module de détermination D peut exécuter la phase de détermination DET qui va consister à déterminer en premier lieu une zone géographique en forme de triangle, issue de la localisation du dispositif DVC, centrée sur la direction de pointage de la caméra CAM du dispositif DVC, et d’une largeur égale à l’angle de vue de la caméra CAM du dispositif DVC, ces deux grandeurs ayant été calculées à la phase de calcul CAL, puis à déterminer en second lieu si un point d’intérêt se trouve dans ladite zone géographique.

Dans une variante, le module de détermination n’est pas compris dans le dispositif DVC mais est hébergé par un serveur (non représenté sur la ) accessible par le composant de communication COM. Dans cette variante, le dispositif DVC adresse au serveur, lors de la phase de détermination DET, des triplets comprenant la localisation du dispositif DVC et la direction de pointage et l’angle de vues de la caméra CAM, et le module de détermination D renvoie au dispositif DVC le ou les points d’intérêt déterminés comme ci-dessus. L’avantage de cette variante est de centraliser certains calculs et d’en conserver certains en cache, pour les plus fréquents d’un point de vue touristique, afin de ne pas avoir à les rejouer.

La phase de détermination DET ne prend pas en compte les obstacles éventuels à la vision entre la caméra CAM du dispositif DVC et le point d’intérêt. Dans notre exemple, tous les points d’intérêt situés dans la direction pointée par la caméra CAM, du moment que l’angle de vue le permette, seront déterminés durant la phase de détermination DET par le module D.

La phase de détermination DET doit également déterminer une coordonnée géographique du point d’intérêt. Dans certains modes de réalisation, certains points d’intérêt ne disposent que d’une seule coordonnée géographique. Mais dans d’autres modes de réalisation, les points d’intérêt disposent de plusieurs coordonnées géographiques. Ces différentes coordonnées géographiques sont par exemple celles des différentes faces du point d’intérêt si celui-ci est un bâtiment. Ou bien les coordonnées géographiques peuvent être par exemple celles des différentes portes d’entrée dans le point d’intérêt si celui-ci est un bâtiment. Une coordonnée géographique associée à un point d’intérêt peut aussi être la coordonnée d’un point de vue sur le point d’intérêt pour laquelle il existe une image du point d’intérêt parce que le point d’intérêt a été pris en photographie depuis le point de vue en question.

Dans un mode de réalisation, la détermination de la coordonnée géographique du point d’intérêt va consister en choisir la coordonnée géographique en fonction de la distance qui la sépare du dispositif DVC. Dans notre exemple, la coordonnée géographique choisie est celle qui est la plus proche de la localisation du dispositif DVC. De cette manière, la coordonnée géographique déterminée sera la plus réaliste pour le choix des images du point d’intérêt associée à la coordonnée géographique. Si la coordonnée géographique correspond à une face du point d’intérêt, les images associées à cette coordonnée géographique seront les différentes vues de cette face du point d’intérêt. C’est bien cette face du point d’intérêt qui serait visible du dispositif indépendamment des obstacles entre le dispositif et le point d’intérêt dans l’exemple choisi où la coordonnée géographique déterminée est celle la plus proche de la localisation du dispositif DVC.

Dans un mode de réalisation, la phase de détermination DET des points d’intérêt se fait en partant d’une liste des points d’intérêt situés dans un rayon prédéfini autour du dispositif DVC. La phase de géolocalisation GEO permet de connaître la position du dispositif DVC. Un rayon prédéfini, typiquement de quelques kilomètres, permet de limiter le nombre de points d’intérêt susceptibles d’être visités. La distance typique de quelques kilomètres peut correspondre par exemple à une promenade typique d’un touriste dans l’environnement concerné.

Dans un autre mode de réalisation, la phase de détermination DET des points d’intérêt se fait en partant d’une liste des points d’intérêt sélectionnée au préalable. Ce mode de réalisation qui peut être ou non combiné avec le mode précédent permet à l’utilisateur du dispositif DVC de sélectionner à l’avance les points d’intérêt qu’il souhaite visiter, ou bien à un office de tourisme de proposer des balades thématiques en sélectionnant des points d’intérêt parmi l’ensemble de tous les points d’intérêt possibles, ou bien tout autre choix jugé pertinent des points d’intérêt.

Il est bien entendu que la phase de détermination DET peut déterminer qu’il y a zéro, un ou plusieurs points d’intérêt qui se trouvent dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra CAM du dispositif DVC calculés par le module de calcul C indépendamment de la visibilité du point d’intérêt dans l’image captée par la caméra CAM, même si la présentation de l’invention est décrite en parlant d’un point d’intérêt déterminé lors de la phase de détermination DET, et d’une coordonnée géographique du point d’intérêt, suivant les différentes variantes qui ont été présentées.

Le dispositif DVC comprend un module d’obtention O. Le module d’obtention O va réaliser la phase d’obtention OBT d’une image associée à ladite coordonnée géographique du point d’intérêt.

Le procédé suppose que soient accessibles au dispositif tout un ensemble de photographies connues ou bien d’autres images du point d’intérêt, par exemple des vues dessinées suivant plusieurs angles du point d’intérêt. Ces différentes images associées à une coordonnée géographique du point d’intérêt peuvent être par exemple sauvegardées dans une base de données BDD, ou bien accessibles à travers le composant de communication COM. Ces images peuvent être des photographies des différentes vues des points d’intérêt qui ont été prises spécialement pour le procédé, ou des dessins des différentes vues des points d’intérêt qui là aussi ont été réalisées spécialement pour le procédé. Dans d’autres modes de réalisation, ces images seront issues de bases de données publiques ou privées dans lesquelles des personnes versent leurs photographies ou leurs dessins des points d’intérêt. Dans d’autres modes de réalisation, le procédé utilise à la fois des images préparées spécialement pour le procédé et des images récupérées de bases de données publiques. Ces images sauvegardées sont individuellement associées à une coordonnée géographique du point d’intérêt. Ces images sont également, dans plusieurs modes de réalisation, horodatées, ce qui permet au procédé d’obtenir les images des points d’intérêt les plus proches des conditions d’éclairage courantes. Ces images sauvegardées peuvent faire partie d’un ensemble de données géographiques qui peuvent également être utilisées pour améliorer la phase de géolocalisation GEO. L’ensemble des images utilisées par le procédé peuvent être enregistrées dans une ou plusieurs bases de données BDD du dispositif, ou bien sont situées à distance, et accessibles grâce au composant de communication COM, ou bien sont réparties entre les deux modes d’accès possibles. Dans certains modes de réalisation, des mécanismes de cache sont mis en œuvre qui utilisent la ou les bases de données BDD du dispositif DVC pour faciliter la phase d’obtention OBT du procédé. Dans une variante, le module d’obtention O peut être hébergé sur un serveur (non représenté sur la ) accessible par le composant de communication COM. Cette variante permet d’optimiser la réalisation de la phase d’obtention OBT en répartissant la charge entre le dispositif DVC et le serveur, et à réutiliser des photos déjà obtenues et sauvegardées en cache.

La phase d’obtention OBT va consister à obtenir une image parmi celles associées à la coordonnée géographique du point d’intérêt déterminée lors de la phase de détermination DET.

Dans un mode de réalisation, l’image obtenue sera celle qui correspond à une vue du point d’intérêt suivant une direction de pointage et un angle de vue les plus proches de ceux calculés lors de la phase de calcul CAL.

Dans d’autres modes de réalisation, plusieurs critères supplémentaires pourront être retenus pour obtenir l’image du point d’intérêt. Par exemple, entre plusieurs images de taille différente, l’image obtenue sera celle qui est la plus représentative de la taille attendue du point d’intérêt en prenant en compte la distance entre le dispositif DVC et le point d’intérêt, indépendamment des obstacles entre le dispositif et le point d’intérêt. Dans un autre mode de réalisation, l’image obtenue est une photographie horodatée dont la date et l’heure est la plus proche de la date et de l’heure courante pour que l’éclairage de l’image obtenue du point d’intérêt soit le plus réaliste possible par rapport à l’éclairage qui serait attendu si le dispositif avait une vue directe du point d’intérêt.

Le dispositif DVC comprend un module de restitution R. Le module de restitution R va réaliser la phase de restitution RST sur l’écran SCR du dispositif DVC de l’image obtenue à la phase d’obtention OBT. La phase de restitution RST est une application standard des fonctionnalités attendues du dispositif DVC qui sera par exemple un ordiphone ou un ordinateur de type tablette.

Dans le cas où le dispositif DVC est un dispositif de réalité virtuelle, la phase de restitution RST va consister en l’affichage de l’image obtenue à la suite de la phase d’obtention OBT dans le ou les différents écrans SCR du dispositif DVC qui réalisent l’immersion de l’utilisateur en réalité virtuelle. La caméra CAM du dispositif DVC, dans le cas d’un dispositif DVC de réalité virtuelle est orientée dans la direction du regard porté par l’utilisateur. L’image restituée lors de la phase de restitution RST par le module de restitution R sur le ou les écrans SCR du dispositif DVC est celle issue de la phase d’obtention OBT. Les différents modes de réalisation de la phase d’obtention OBT permettent d’assurer que l’image obtenue est la plus proche parmi les images associées aux coordonnées géographiques du point d’intérêt de celle qui correspondrait à la vue en direct par l’utilisateur du dispositif du point d’intérêt indépendamment des obstacles entre lui et le point d’intérêt, en prenant en compte l’orientation, la distance, et l’éclairage suivant les différents modes de réalisation de la phase d’obtention OBT.

Dans le cas où plusieurs points d’intérêt ont été déterminés lors de la phase de détermination DET, différents modes de réalisation de la phase de restitution RST permettent de gérer de potentiels conflits d’affichage. Par exemple, dans un mode de réalisation, les plusieurs images obtenues sont restituées successivement sur l’écran SCR du dispositif DVC. Dans une variante, l’ordre d’affichage peut être lié à la distance entre le dispositif et les points d’intérêt, le plus proche étant affiché en premier, et les suivants dans l’ordre de distance.

Dans une variante, le procédé implémente de façon plus immédiate un procédé de guidage de l’utilisateur. Dans cette variante, l’utilisateur sélectionne un point d’intérêt vers lequel il veut se diriger. Le procédé va alors déterminer si le point d’intérêt visé se trouve dans la direction de pointage et l’angle de vue de la caméra CAM. Si c’est le cas, le procédé se poursuit par la phase d’obtention OBT d’une image du point d’intérêt et de restitution RST sur l’écran SCR comme précédemment. Si le point d’intérêt visé ne se trouve pas dans la direction de pointage, la phase de restitution RST va afficher sur l’écran SCR une indication telle une flèche ou tout autre indice graphique indiquant à l’utilisateur dans quelle direction pointer la caméra CAM pour se trouver dans la direction du point d’intérêt sélectionné.

La illustre une succession des phases du procédé objet de l’invention.

Le procédé de gestion de la représentation de points d’intérêt consiste en une succession de phases qui s’enchaînent en temps réel. Il y a donc reprise à la première phase une fois la cinquième phase achevée. Le procédé est déclenché et interrompu par des actions de l’utilisateur du dispositif DVC, comme le lancement ou bien l’arrêt d’une application. Ces points classiques bien connus de l’homme du métier ne sont pas décrits et ne font pas partie de l’invention en tant que telle.

La première phase du procédé est la phase de géolocalisation GEO. Comme vu précédemment, cette phase est réalisée par le module de géolocalisation G. Celui-ci peut s’appuyer pour la réaliser sur un composant GPS comprenant des puces permettant la géolocalisation par satellite. Dans des variantes, la phase de géolocalisation GEO peut être améliorée par des données issues du composant de communication COM et/ou d’un ensemble de photographies de l’environnement de l’utilisateur. Ces données peuvent être stockées dans le dispositif DVC dans une base de données BDD, ou bien accessibles sur un serveur distant (non représenté) via le composant de communication COM. La comparaison des photographies stockées ou téléchargées avec l’image captée par la caméra CAM du dispositif DVC peut alors améliorer la précision de la phase de géolocalisation GEO.

La deuxième phase du procédé est la phase de calcul CAL de la direction de pointage et de l’angle de vue de la caméra CAM du dispositif DVC. Cette phase de calcul CAL s’appuie sur des informations issues d’un composant du dispositif DVC suivant l’orientation du dispositif DVC, accessibles de façon standard dans les dispositifs DVC de type ordiphone ou tablette pour orienter l’affichage de l’écran SCR. Dans des variantes, la phase de calcul CAL utilisera également les images captées par la caméra CAM, éventuellement comparées à des images de l’environnement qui pourront être stockées dans la base de données BDD, ou bien accessibles via le composant de communication COM, ou bien des informations issues du composant GPS, ou bien des combinaisons de ces différentes sources d’information sur l’orientation de la caméra CAM du dispositif DVC.

L’ordre de succession des phases de géolocalisation GEO et de calcul CAL est indifférent.

La troisième phase du procédé est la phase de détermination DET d’un point d’intérêt se trouvant dans la zone géographique triangulaire formée par la direction de pointage et l’angle de vue courants de la caméra CAM du dispositif DVC calculés lors de la phase de calcul CAL, et d’une coordonnée géographique dudit point d’intérêt. Cette détermination se fait indépendamment de la visibilité du point d’intérêt dans l’image captée par la caméra CAM, donc même en présence d’obstacles qui empêchent la vue directe du point d’intérêt par l’utilisateur du dispositif DVC. La phase de détermination DET peut déterminer qu’il y a zéro, un ou plusieurs points d’intérêt qui se trouvent dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra CAM du dispositif DVC. Dans des modes de réalisation, un point d’intérêt est associé à plusieurs coordonnées géographiques, et la phase de détermination DET va sélectionner la coordonnée géographique du point d’intérêt la plus proche du dispositif DVC. Dans des variantes, la phase de détermination DET se limitera de surcroît aux points d’intérêt compris dans un rayon prédéterminé autour du dispositif DVC et/ou aux points d’intérêt compris dans une liste prédéterminée.

La quatrième phase du procédé est la phase d’obtention OBT d’une image associée à ladite coordonnée géographique dudit point d’intérêt. Dans des modes de réalisation, l’image obtenue lors de la phase d’obtention OBT est associée à la coordonnée géographique et correspond à une vue du point d’intérêt suivant une direction de pointage et un angle de vue les plus proches de ceux calculés lors de la phase de calcul CAL. La phase d’obtention OBT va sélectionner une image de vue du point d’intérêt parmi tout un ensemble d’images associées à la coordonnée géographique du point d’intérêt déterminée lors de la phase de détermination DET. Dans des variantes, ces images sont des photographies ou des dessins. Les images peuvent avoir été réalisées spécialement pour le procédé ou bien être récupérées dans des bases de données publiques. Dans des variantes, les images sont horodatées, et l’obtention prend en compte la date et l’heure de l’image pour sélectionner une vue du point d’intérêt dont l’éclairage est réaliste pour la date et l’heure courantes. Les images peuvent être enregistrées dans une ou plusieurs bases de données BDD du dispositif ou bien accessibles grâce au composant de communication COM. Dans des variantes, des mécanismes de cache sont mis en œuvre. Dans les différentes variantes, l’image obtenue est une vue du point d’intérêt obtenue indépendamment de la visibilité du point d’intérêt depuis le dispositif DVC, que la phase d’obtention OBT choisit de façon à être la plus réaliste possible en termes d’orientation, de distance ou d’éclairage.

La cinquième phase du procédé est la phase de restitution RST sur l’écran SCR du dispositif DVC de l’image obtenue à la phase d’obtention OBT.

La illustre la situation d’un utilisateur muni du dispositif DVC avant qu’il ne déclenche le procédé.

L’utilisateur est vu de dos. Il regarde un paysage urbain, et tient le dispositif DVC. Celui-ci est un ordiphone. La caméra CAM du dispositif DVC est activée, et l’image captée par la caméra CAM est directement restituée sur l’écran SCR du dispositif DVC.

La illustre la situation du même utilisateur alors qu’il déclenche le procédé.

Les phases successives GEO, CAL et DET du procédé permettent de déterminer qu’un point d’intérêt se situe dans la direction pointée par la caméra CAM du dispositif DVC, même si le point d’intérêt n’est pas visible car il est caché par les bâtiments du paysage urbain. La phase de détermination DET a également permis de déterminer une coordonnée géographique du point d’intérêt qui correspond à une face du point d’intérêt, ou bien à un point de vue sur le point d’intérêt. La coordonnée géographique déterminée lors de la phase de détermination DET peut être dans une variante la coordonnée associée au point d’intérêt la plus proche de la localisation du dispositif DVC.

La phase d’obtention OBT va alors obtenir une image qui est une vue du point d’intérêt, associée à la coordonnée géographique déterminée à la phase de détermination DET. Comme vu précédemment, plusieurs variantes du procédé permettent de choisir une image qui est la plus réaliste possible en termes d’orientation, de distance ou d’éclairage du point d’intérêt par rapport à la position courante du dispositif DVC, indépendamment de la visibilité du point d’intérêt depuis le dispositif DVC.

La phase de restitution RST va ensuite restituer sur l’écran SCR du dispositif DVC l’image obtenue à la phase d’obtention OBT. Cette image restituée remplace complètement l’image captée par la caméra CAM du dispositif DVC. Dans le mode de réalisation illustré par la , le procédé ne met pas en œuvre de la réalité augmentée. Dans ce mode, l’image restituée est celle obtenue lors de la phase d’obtention OBT, donc une image sans rapport avec l’environnement immédiat de l’utilisateur du dispositif. Comme vu dans la , le paysage urbain qui est l’environnement immédiat de l’utilisateur du dispositif DVC n’est plus du tout visible sur l’écran SCR du dispositif DVC à la suite de la phase de restitution RST. Comme le point d’intérêt sélectionné est celui présent dans la direction de pointage tel que déterminée lors de la phase de détermination DET et que l’image obtenue lors de la phase d’obtention d’OBT est la plus réaliste possible en terme d’orientation, l’utilisateur du dispositif DVC peut se diriger vers le point d’intérêt en prenant bien en compte l’endroit où il souhaite arriver, alors même que le point d’intérêt n’est pas visible directement. Dans une variante du procédé, l’utilisateur peut sélectionner ce point d’intérêt pour rester en mode de guidage vers le point d’intérêt. La phase d’obtention OBT va également sélectionner la taille de l’image restituée pour donner une indication quant à la distance entre l’utilisateur du dispositif DVC et le point d’intérêt.

La illustre la situation du même utilisateur alors qu’il déclenche le procédé, suivant un autre mode de réalisation.

Dans ce mode de réalisation, le procédé comprend, à la suite de la phase d’obtention OBT, une phase de traitement TRT en temps réel de l’image captée par la caméra CAM du dispositif DVC consistant en l’insertion dans l’image captée de l’image obtenue lors de la phase d’obtention OBT. Dans ce mode de réalisation, la phase de restitution RST consiste à restituer en temps réel sur l’écran SCR du dispositif DVC l’image captée par la caméra CAM du dispositif DVC telle que traitée à la phase de traitement TRT. En variante, des informations complémentaires telles que la distance entre le dispositif DVC et le point d’intérêt peuvent être affichées.

Ce mode de réalisation correspond donc à l’utilisation de techniques de réalité augmentée dans le procédé.

Les phases successives GEO, CAL et DET du procédé permettent de déterminer qu’un point d’intérêt se situe dans la direction pointée par la caméra CAM du dispositif DVC, même si le point d’intérêt n’est pas visible car il est caché par les bâtiments du paysage urbain. La phase d’obtention OBT va alors obtenir une image qui est une vue du point d’intérêt, associée à la coordonnée géographique déterminée à la phase de détermination DET. Comme vu précédemment, plusieurs variantes du procédé permettent de choisir une image qui est la plus réaliste possible en termes d’orientation, de distance ou d’éclairage du point d’intérêt par rapport à la position courante du dispositif DVC.

De façon spécifique au mode de réalisation illustré en , la phase de traitement TRT va insérer en temps réel dans l’image captée par la caméra CAM du dispositif DVC l’image obtenue lors de la phase d’obtention OBT. Ensuite, la phase de restitution RST restitue en temps réel l’image captée par la caméra CAM telle que traitée par la phase de traitement TRT. L’utilisateur du dispositif DVC voit donc ainsi un point d’intérêt qui n’était pas visible car il était caché par les bâtiments du paysage urbain. L’image insérée est correcte en ce qui concerne l’orientation du point d’intérêt. De cette manière, l’utilisateur du dispositif DVC peut se diriger vers le point d’intérêt en prenant bien en compte l’endroit où il souhaite arriver, alors même que le point d’intérêt n’est pas visible directement.

Dans ce mode de réalisation, le dispositif DVC comprend un module de traitement T. Le module de traitement T va réaliser en temps réel la phase de traitement TRT de l’image captée par la caméra CAM du dispositif DVC.

Comme dit précédemment, la phase de traitement TRT va s’appliquer à zéro, un ou plusieurs points d’intérêt suivant ceux qui ont été déterminés lors de la phase de détermination DET, suivant les différentes variantes qui ont été présentées.

La phase de traitement TRT peut être réalisée suivant plusieurs variantes.

Dans une première variante, l’image obtenue à la suite de la phase d’obtention OBT est insérée dans l’image captée par la caméra CAM du dispositif DVC. Un traitement d’image classique est nécessaire pour extraire de l’image obtenue seulement la vue du point d’intérêt. Celui-ci est typiquement un bâtiment, qui peut être facilement reconnu dans l’image obtenue à la suite de la phase d’obtention OBT par un algorithme classique de traitement d’image. La phase de traitement TRT va alors insérer cette partie significative de l’image obtenue lors de la phase d’obtention OBT dans l’image captée par la caméra du dispositif DVC. Cette insertion se fera dans la partie de l’image captée par la caméra CAM où se trouverait le point d’intérêt en l’absence des obstacles qui cachent sa vue à l’utilisateur. Un algorithme classique de redimensionnement de l’image pourra également être utilisé pour rendre l’image insérée réaliste en terme de distance entre l’utilisateur du dispositif DVC et le point d’intérêt.

Dans une variante, si la phase de détermination des points d’intérêt DET détermine plusieurs points d’intérêt dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra CAM, la phase de traitement TRT consiste à insérer en premier plan l’image obtenue du point d’intérêt le plus proche du dispositif DVC, les images obtenues des autres points d’intérêt étant insérées en second plan. Les mêmes traitements que vus précédemment peuvent être appliqués aux images insérées des plusieurs points d’intérêt. De cette manière, les conflits potentiels d’affichage sont réglés dans la variante du procédé qui met en œuvre une phase de traitement TRT.

Dans une variante, l’image représentative d’un point d’intérêt qui sera insérée dans l’image captée par la caméra CAM est construite à partir d’un ensemble de photographies dudit point d’intérêt sous de nombreux angles de prise de vue. Ces différentes photographies peuvent être obtenues durant la phase d’obtention OBT. Dans cette variante, la phase d’obtention OBT va sélectionner plusieurs images correspondant à diverses vues sur le point d’intérêt. La phase de traitement TRT va donc consister dans cette variante à construire une image réaliste, en perspective, à partir des photographies connues du point d’intérêt qui correspondent à plusieurs vues suivant différents angles sur le point d’intérêt. Ces photographies sont comme dans les variantes précédentes sauvegardées dans une base de données BDD, ou bien accessibles à travers le composant de communication COM. Ces photographies sauvegardées peuvent faire partie d’un ensemble de données géographiques qui peuvent également être utilisées pour améliorer la phase de géolocalisation GEO. Dans cette variante, l’image reconstruite du point d’intérêt doit bien respecter la perspective sous laquelle le point d’intérêt est présentée à la caméra CAM du dispositif DVC, en prenant en compte la direction de pointage et l’angle de vue tels que calculés lors de la phase de calcul CAL. Comme déjà vu, l’image représentative du point d’intérêt est insérée lors de la phase de traitement TRT indépendamment du fait que le point d’intérêt soit visible ou bien caché par des obstacles. L’insertion lors de la phase de traitement TRT se fait en respectant l’orientation réelle du point d’intérêt comme s’il était visible par la caméra CAM du dispositif DVC, même à travers d’éventuels obstacles.

Dans un mode de réalisation de la phase de traitement TRT, l’image représentative du point d’intérêt est insérée dans l’image captée par la caméra CAM de manière à avoir les dimensions que présenterait le point d’intérêt dans l’image captée indépendamment de la visibilité du point d’intérêt dans l’image captée par la caméra CAM. Autrement dit, dans cette variante, le procédé respecte en plus de l’orientation du point d’intérêt par rapport à la direction de pointage et à l’angle de vue courants de la caméra CAM, la taille attendue du point d’intérêt en fonction de la distance entre le dispositif DVC et le point d’intérêt. Ce respect de la taille attendue de l’image représentative du point d’intérêt insérée lors de la phase de traitement TRT se combine en général avec le respect de l’orientation de l’image représentative insérée. Ces contraintes de respect de la taille attendue ou de l’orientation peuvent s’appliquer aussi bien à une image représentative insérée construite à partir de photographies du point d’intérêt prises sous tous les angles qu’à une image dessinée qui puisse être insérée sous tous les angles de prise de vue possibles. L’avantage du mode de réalisation dans lequel la taille de l’image insérée lors de la phase de traitement TRT est la taille attendue du point d’intérêt en fonction de la distance entre le dispositif DVC et le point d’intérêt est de faciliter le guidage de l’utilisateur. Le réalisme du rendu du point d’intérêt par l’image représentative insérée dans l’image captée est amélioré. En plus du respect de l’orientation, le respect de la taille permet de donner à l’utilisateur une information quant à la distance à laquelle il se trouve du point d’intérêt. L’utilisateur peut se rendre compte visuellement de la distance à laquelle il se trouve du point d’intérêt. Là encore, cette information permet à l’utilisateur de se repérer tout en restant dans une application de réalité augmentée agréable du point de vue touristique.

La phase suivante du procédé est la phase de restitution RST. Cette phase est réalisée par le module de restitution R. Celui-ci utilise des fonctionnalités classiques du dispositif DVC qui présente en temps réel sur l’écran SRC du dispositif DVC l’image captée par la caméra CAM. La phase de restitution RST reprend donc ce dispositif classique en remplaçant l’image directement captée par la caméra CAM du dispositif DVC par l’image telle que produite par la phase de traitement TRT par le module de traitement T. Dans la variante illustrée par la , la phase de traitement TRT et la phase de restitution RST doivent donc être effectuées en temps réel par les modules de traitement T et de restitution R pour ne pas introduire de délai entre ce qui peut être vu par l’utilisateur sur l’écran SCR de son dispositif DVC et ce qu’il voit directement de son environnement. De cette manière, le procédé reprend bien les techniques de réalité augmentée, en présentant à l’utilisateur sur l’écran SCR du dispositif DVC son environnement immédiat tel que capté par la caméra CAM, en y rajoutant une image la plus réaliste possible du point d’intérêt même si celui-ci n’est pas visible directement par l’utilisateur à cause de la présence d’obstacles.

La illustre la restitution sur l’écran SCR du dispositif DVC de l’image obtenue en suivant un mode particulier de réalisation de l’invention.

Dans ce mode particulier, le procédé comprend une phase de traitement TRT à la suite de la phase d’obtention OBT, et préalablement à la phase de restitution RST. La phase de traitement TRT s’effectue en quatre étapes qui sont illustrées par les quatre images de la . La succession des étapes de traitement se lit de gauche à droite et de haut en bas, comme indiqué par les flèches entre les quatre images de la .

La situation initiale est celle décrite par l’image en haut à gauche de la . L’utilisateur du dispositif DVC pointe la caméra CAM du dispositif DVC vers un paysage urbain. L’image de ce paysage urbain est captée par la caméra CAM du dispositif DVC. La phase de détermination DET a permis de déterminer qu’un point d’intérêt se trouve dans la direction de pointage de la caméra CAM calculée lors de la phase CAL à partir de la localisation du dispositif DVC géolocalisé lors de la phase GEO, et que ce point d’intérêt se trouve bien dans un rayon prédéterminé, ou appartient à une liste prédéterminée, suivant les modes de réalisation de la phase de détermination DET. Cependant, les bâtiments du paysage urbain forment obstacle et le point d’intérêt déterminé par la phase DET n’est pas directement visible sur l’image captée par la caméra CAM du dispositif DVC.

La phase d’obtention OBT permet alors d’obtenir une image qui est une vue du point d’intérêt la plus réaliste possible en termes d’orientation, de distance et d’éclairage. Dans des variantes, plusieurs images peuvent être obtenues pour construire une vue en perspective la plus réaliste possible. L’objectif est que l’utilisateur du dispositif DVC puisse se repérer en voyant sur son dispositif une représentation réaliste du point d’intérêt vers lequel il se dirige, même si celui-ci n’est pas visible suite à la présence d’obstacles. C’est la phase de traitement TRT qui va traiter l’image captée par la caméra CAM du dispositif DVC en s’aidant des informations issues des phases de détermination DET et d’obtention OBT pour construire cette vue réaliste du point d’intérêt.

Dans cette variante, la phase de traitement TRT va alors présenter les étapes suivantes illustrées par la .

La première étape consiste à effacer de l’image captée par la caméra CAM du dispositif DVC les portions d’image correspondant aux obstacles potentiels entre le sol et le ciel filmés par la caméra CAM. Cet effacement est réalisé par un algorithme classique de traitement d’image qui va reconnaître les portions de ciel et de sol dans l’image captée par la caméra CAM et effacer le reste de l’image captée. Cet algorithme de reconnaissance peut s’appuyer sur des données géographiques d’images représentatives de l’environnement de l’utilisateur, données qui ont pu être sauvegardées dans la base de données BDD ou sont accessibles par le module de communication COM et qui peuvent aussi être utilisées pour améliorer la phase de géolocalisation GEO ou de calcul CAL. Les obstacles effacés seront d’abord les obstacles fixes tels que bâtiments, tous types de constructions, arbres, tous types de végétaux, mais également des obstacles animés tels que passants, véhicules, animaux.

L’image obtenue à la suite de cette première étape est celle en haut à droite de la .

Une fois l’effacement réalisé, la phase de traitement TRT va alors consister en l’étape d’insertion de l’image qui est une vue réaliste du point d’intérêt, obtenue lors de la phase d’obtention OBT, dans l’image captée par la caméra CAM. Comme indiqué précédemment, cette insertion peut présenter plusieurs variantes. Dans tous les cas, l’image représentative du point d’intérêt sera orientée de façon réaliste par rapport à la direction de pointage et à l’angle de vue de la caméra CAM tels que calculés lors de la phase de calcul CAL. Cette orientation réaliste permet d’assurer que l’utilisateur peut se guider de façon appropriée en utilisant un dispositif DVC appliquant le procédé. Dans une variante, l’utilisateur sélectionne un point d’intérêt vers lequel il veut être guidé, la phase de restitution RST va afficher en sus sur l’écran SCR une indication telle une flèche ou tout autre indice graphique indiquant à l’utilisateur dans quelle direction pointer la caméra CAM pour se trouver dans la direction du point d’intérêt sélectionné.

Dans d’autres variantes, l’image représentative sera de surcroît réaliste en ce qui concerne la taille en appliquant un calcul prenant en compte la taille du point d’intérêt et la distance entre la géolocalisation de l’utilisateur déterminé lors de la phase GEO et la localisation du point d’intérêt, qui peut être connue dans l’ensemble des données géographiques accessibles au procédé qui sont sauvegardées dans la base de données BDD ou accessibles par le composant de communication COM.

Dans d’autres variantes, l’image insérée représentative du point d’intérêt sera construite à partir de photographies dudit point d’intérêt prises sous de nombreux angles de vue. Cette construction est un algorithme classique de traitement d’images qui permet de reconstituer un modèle en trois dimensions du point d’intérêt, puis d’en extraire des images de qualité photographique pour une orientation donnée et une taille donnée, cette orientation et cette taille étant choisies de façon réaliste, afin de pouvoir guider de façon appropriée l’utilisateur du dispositif DVC appliquant le procédé.

L’image obtenue à la suite de cette deuxième étape est celle en bas à gauche de la .

Une fois l’insertion réalisée, la phase de traitement TRT va alors consister en l’étape de remplissage de l’image traitée par la phase de traitement TRT. Une première variante peut consister en l’application d’une image présentant une texture prédéfinie sur les portions effacées lors de l’étape d’effacement, jusqu’à la portion d’image insérée représentative du point d’intérêt.

Une autre variante peut consister à utiliser un algorithme classique de traitement d’image qui va déterminer d’abord un horizon dans l’image, suivant l’orientation et l’angle de vue de la caméra CAM du dispositif DVC tels que calculés lors de la phase de calcul CAL. Des textures représentatives du sol et du ciel sont alors déterminées à partir des portions respectives de sol et de ciel captées par la caméra CAM. Ces textures sont prolongées jusqu’à l’image insérée représentative du point d’intérêt, en respectant l’horizon déterminé dans l’image. Des effets aléatoires permettront de décorer et agrémenter ces textures de remplissage.

L’image obtenue à la suite de cette troisième étape est celle en bas à droite de la .

Pour récapituler, la phase de traitement TRT peut consister dans une variante du procédé en la succession des étapes suivantes :

• Effacement sur l’image traitée de l’ensemble des obstacles potentiels entre l’utilisateur et le ou les points d’intérêt ;
• Insertion dans l’image traitée de la ou les images représentatives du ou des points d’intérêt ;
• Complétion de l’image traitée par une image de remplissage prédéfinie pour remplir les vides laissés par l’effacement des obstacles jusqu’aux images représentatives du ou des points d’intérêt.

La représente la succession de ces étapes entre l’image captée par la caméra CAM du dispositif DVC qui est celle en haut à gauche de la et l’image résultant de la phase de traitement TRT qui est celle en bas à droite de la . C’est cette dernière image qui sera restituée lors de la phase de restitution RST sur l’écran SCR du dispositif DVC.

D’autres variantes de la phase de traitement TRT sont possibles, non représentées par une figure.

Dans une variante, la phase de traitement TRT peut comprendre une étape consistant à rajouter sur l’image traitée, après l’effacement des obstacles et l’insertion de l’image représentative du point d’intérêt, une surimpression d’une représentation de type fil de fer des obstacles effacés en ne conservant que les arêtes saillantes des dits obstacles effacés. Un algorithme classique de traitement d’image peut réaliser la transformation de l’image des obstacles effacés en cette représentation de type fil de fer. La surimpression de cette représentation de type fil de fer permettra à l’utilisateur muni du dispositif DVC de conserver une représentation des obstacles présents afin de mieux se repérer dans son environnement, tout en voyant à travers cette représentation de type fil de fer l’image insérée représentative du point d’intérêt.

Dans une autre variante, la phase de traitement TRT va consister non pas en l’effacement des obstacles mais en l’ajout d’un effet classique en traitement des images de transparence sur la portion d’image traitée qui correspond aux obstacles à la vue de l’utilisateur situés au-dessus du sol. L’insertion de l’image représentative du point d’intérêt donnera alors à l’utilisateur un effet de vision à travers des obstacles auxquels aura été appliqué un effet de transparence. Comme pour la variante précédente, l’intérêt de cette variante est de permettre à l’utilisateur de mieux se repérer en conservant une représentation des obstacles présents dans son environnement immédiat.

D’autres variantes de la phase de traitement TRT sont possibles consistant en l’application d’algorithmes classiques de traitement d’image aux différentes portions de l’image captée par la caméra CAM du dispositif DVC. Ces algorithmes permettront un traitement différencié aux différentes portions identifiées dans l’image captée par la caméra CAM, à savoir en général, la portion de sol, la portion de ciel, les obstacles à la vue de l’utilisateur, et la ou les images représentatives de point d’intérêt insérées dans l’image captée par la caméra CAM. Les différentes étapes possibles de la phase de traitement TRT doivent cependant respecter la contrainte de permettre un traitement en temps réel de l’image captée par la caméra CAM, afin d’éviter un décalage trop grand entre l’image restituée sur l’écran SCR du dispositif après traitement et ce que l’utilisateur peut voir de son environnement immédiat en dehors du dispositif DVC.

Il est clair que la phase de traitement TRT va insérer zéro, une ou plusieurs images représentatives de point d’intérêt suivant le nombre de points d’intérêt à représenter déterminés lors de la phase de détermination DET. Dans le cas où aucun point d’intérêt n’est déterminé lors de la phase de détermination DET, la phase de traitement TRT peut être en général écartée et la phase de restitution RST va consister principalement en la restitution sur l’écran SCR du dispositif DVC de l’image captée par la caméra CAM.

En variante, certains traitements peuvent cependant être réalisés même si aucun point d’intérêt n’est déterminé lors de la phase DET comme potentiellement visibles si les obstacles ne sont pas pris en compte. Par exemple, une décoration de l’image captée par la caméra CAM peut être ajoutée pour faire comprendre à l’utilisateur que l’image restituée sur l’écran SCR n’est pas directement celle captée par la caméra CAM et qu’il utilise un procédé de représentation de points d’intérêt. Des indices peuvent être mis sur les côtés de l’image restituée pour inciter l’utilisateur à tourner la caméra CAM afin de l’orienter vers un point d’intérêt, s’il est déterminé que celui-ci n’est pas présent dans l’angle de vue de la caméra CAM mais est proche et serait visible si l’utilisateur réorientait le dispositif DVC.

Signalons enfin ici que, dans le présent texte, le terme « module » peut correspondre aussi bien à un composant logiciel qu’à un composant matériel ou un ensemble de composants matériels et logiciels, un composant logiciel correspondant lui-même à un ou plusieurs programmes ou sous-programmes d’ordinateur ou de manière plus générale à tout élément d’un programme apte à mettre en œuvre une fonction ou un ensemble de fonctions telles que décrites pour les modules concernés. De la même manière, un composant matériel correspond à tout élément d’un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions pour le module concerné (circuit intégré, carte à puce, carte à mémoire, etc.).

Claims (10)

1. Procédé de gestion de la représentation de points d’intérêt sur un écran (SCR) d’un dispositif (DVC) muni d’une caméra (CAM), ledit procédé étant caractérisé en ce qu’il comprend les phases suivantes :

   • Géolocalisation (GEO) du dispositif (DVC) ;
   • Calcul (CAL) de la direction de pointage et de l’angle de vue de la caméra (CAM) du dispositif (DVC) ;
   • Détermination (DET) d’un point d’intérêt se trouvant dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra (CAM) du dispositif (DVC) calculés à la phase de calcul (CAL), et d’une coordonnée géographique dudit point d’intérêt ;
   • Obtention (OBT) d’une image associée à ladite coordonnée géographique dudit point d’intérêt ;
   • Restitution (RST) sur l’écran (SCR) du dispositif (DVC) de l’image obtenue à la phase d’obtention.
2. Procédé de gestion selon la revendication 1, caractérisé en ce qu’un point d’intérêt est associé à plusieurs coordonnées géographiques auxquelles correspondent des images respectives, et en ce que la coordonnée géographique déterminée lors de la phase de détermination (DET) est choisie en fonction de la distance entre la coordonnée géographique du point d’intérêt et le dispositif (DVC) et en ce que l’image obtenue lors de la phase d’obtention (OBT) est une image associée à la coordonnée géographique déterminée.
3. Procédé de gestion selon la revendication 2, caractérisé en ce que l’image obtenue lors de la phase d’obtention (OBT) correspond à une vue du point d’intérêt suivant une direction de pointage et un angle de vue les plus proches de ceux calculés lors de la phase de calcul (CAL).
4. Procédé de gestion selon l’une des revendications 1 à 3, caractérisé en ce que la phase de détermination (DET) des points d’intérêt s’effectue en partant d’une liste des points d’intérêt situés dans un rayon prédéfini autour de la localisation courante du dispositif (DVC) obtenue lors de la phase de géolocalisation (GEO).
5. Procédé de gestion selon l’une des revendications 1 à 4, caractérisé en ce que la phase de détermination (DET) des points d’intérêt s’effectue en partant d’une liste des points d’intérêt sélectionnée au préalable.
6. Procédé de gestion selon l’une des revendications 1 à 5, caractérisé en ce que, si la phase de détermination (DET) détermine plusieurs points d’intérêt dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra (CAM), la phase de restitution (RST) va consister à présenter successivement les plusieurs images obtenues lors de la phase d’obtention (OBT).
7. Procédé de gestion selon l’une des revendications 1 à 5, caractérisé en ce que le procédé comprend, suite à la phase d’obtention (OBT), une phase de traitement (TRT) en temps réel de l’image captée par la caméra (CAM) du dispositif (DVC) consistant en l’insertion dans l’image captée de l’image obtenue lors de la phase d’obtention (OBT) et en ce que la phase de restitution (RST) consiste à restituer en temps réel sur l’écran (SCR) du dispositif (DVC) l’image captée par la caméra (CAM) du dispositif (DVC) telle que traitée à la phase de traitement (TRT).
8. Dispositif (DVC) muni d’une caméra (CAM) et d’un écran (SCR), gérant la représentation de points d’intérêt sur l’écran (SCR) dudit dispositif (DVC), caractérisé en ce que le dispositif (DVC) comprend :

   • un module de géolocalisation (G) du dispositif (DVC) ;
   • un module de calcul (C) de la direction de pointage et de l’angle de vue de la caméra (CAM) du dispositif (DVC) ;
   • un module de détermination (D) d’un point d’intérêt se trouvant dans la zone géographique formée par la direction de pointage et l’angle de vue courants de la caméra (CAM) du dispositif (DVC) calculés par le module de calcul (C), et d’une coordonnée géographique dudit point d’intérêt ;
   • un module d’obtention (O) d’une image associée à ladite coordonnée géographique dudit point d’intérêt ;
   • un module de restitution (R) sur l’écran (SCR) du dispositif (DVC) de l’image obtenue par le module d’obtention (O).
9. Programme d’ordinateur apte à être mis en œuvre par un dispositif (DVC) muni d’une caméra (CAM) et d’un écran (SCR), le programme comprenant des instructions de code qui, lorsqu’il est exécuté par un processeur (PROC), réalise les étapes du procédé de gestion selon la revendication 1.
10. Support de données sur lequel est enregistré un programme d’ordinateur selon la revendication 9 comprenant des séquences d’instructions pour la mise en œuvre du procédé de gestion selon la revendication 1.