FR2986891A1 - Method for displaying outdoor composite image on screen of mobile terminal e.g. smartphone, involves determining spatial coordinates of portion of elementary image, and assigning coordinates to observation point, to form composite image - Google Patents
Method for displaying outdoor composite image on screen of mobile terminal e.g. smartphone, involves determining spatial coordinates of portion of elementary image, and assigning coordinates to observation point, to form composite image Download PDFInfo
- Publication number
- FR2986891A1 FR2986891A1 FR1251339A FR1251339A FR2986891A1 FR 2986891 A1 FR2986891 A1 FR 2986891A1 FR 1251339 A FR1251339 A FR 1251339A FR 1251339 A FR1251339 A FR 1251339A FR 2986891 A1 FR2986891 A1 FR 2986891A1
- Authority
- FR
- France
- Prior art keywords
- image
- mobile terminal
- coordinates
- urban
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000002131 composite material Substances 0.000 title claims abstract description 14
- 238000004590 computer program Methods 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000002513 implantation Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 description 14
- 238000010276 construction Methods 0.000 description 11
- 239000003550 marker Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
Description
Procédé d'affichage sur l'écran d'un terminal mobile d'une représentation 3D d'un ensemble urbain dans une scène extérieure, terminal et produit programme d'ordinateur correspondants 1. Domaine de l'invention Le domaine général de l'invention est celui de la réalité augmentée. Plus précisément, l'invention concerne un procédé de réalité augmentée en extérieur, permettant d'afficher à l'écran d'un terminal mobile une image d'une représentation virtuelle tridimensionnelle d'un ensemble urbain superposée sur une scène extérieure. Method for displaying on the screen of a mobile terminal a 3D representation of an urban ensemble in a corresponding outdoor scene, terminal and computer program product 1. Field of the invention The general field of the invention is that of augmented reality. More specifically, the invention relates to an augmented reality process outdoors, for displaying on the screen of a mobile terminal an image of a three-dimensional virtual representation of an urban ensemble superimposed on an outdoor scene.
L'invention trouve notamment, mais non exclusivement, une application dans les secteurs professionnels de l'urbanisme, de l'architecture et de l'immobilier. 2. Etat de la technique On connait des applications logicielles de réalité augmentée en extérieur proposées aux utilisateurs d'ordiphones, telles que par exemple l'interface de navigation Layar(marque déposée), ou les applications Wikitude(marque déposée), et Nearest tube, qui permettent de visualiser des métadonnées géo-référencées relatives à des points d'intérêts d'un site vers lequel on dirige la caméra de l'ordiphone, en avant-plan d'une image vidéo de ce site. Ces applications de réalité augmentée connues permettent d'enrichir une image de la scène réelle, visée par l'utilisateur, avec du contenu textuel et/ou des images 2D. Ainsi par exemple, on peut notamment accéder à des informations commerciales et/ou touristiques concernant les points d'intérêts, consulter des extraits de l'encyclopédie sur Internet Wikipédia(marque déposée) relatifs au point d'intérêt, ou connaitre la distance séparant du point d'intérêt, s'il s'agit d'une station de métro par exemple. Afin d'améliorer l'effet de fusion des éléments virtuels dans la scène, on a proposé d'enrichir la scène avec des modèles d'objets tridimensionnels.30 Il est ainsi connu d'installer sur un site du patrimoine des bornes fixes, permettant de visualiser, sur un écran orientable, une image d'un lieu ou d'un bâtiment en vis-à-vis dans laquelle sont intégrés des éléments architecturaux virtuels 3D, par exemple pour le faire découvrir au visiteur tel qu'il était dans le passé. Un inconvénient de cette technique connue de borne de réalité augmentée est qu'il faut prévoir une borne par point d'observation, ce qui est coûteux. Afin de remédier à cet inconvénient, on a proposé des systèmes de réalité augmentée en extérieur portables, utilisant des marqueurs placés dans la scène afin de repérer la position de la caméra du système de réalité augmentée par rapport cette dernière, lorsqu'on se déplace avec le système. Cette technique de réalité augmentée en extérieur utilisant des marqueurs présente cependant l'inconvénient qu'il faut placer au préalable 15 des marqueurs sur une scène que l'on souhaite visualiser en réalité augmentée, ce qui limite la diffusion de cette technique, en raison du coût de mise en oeuvre des marqueurs et des autorisations administratives que le placement des marqueurs peut nécessiter. Plus récemment, on a proposé d'utiliser des informations de 20 géolocalisation fournies par la puce GPS (acronyme de "système de localisation global" en anglais) d'un ordiphone, afin de pouvoir positionner des objets virtuels 3D fixes ou animés dans une scène dont on visualise l'image sur l'écran de l'ordiphone, quel que soit le point d'observation. Un inconvénient de cette technique est que l'erreur absolue constatée 25 sur la position horizontale, inhérente à un système de géolocalisation par satellite, est généralement de l'ordre de 10 à 15 mètres, ce qui ne permet pas de positionner précisément un objet virtuel 3D par rapport à un site ou d'un bâtiment existant ou en cours de construction. 3. Objectifs de l'invention 30 L'invention a donc notamment pour objectif de pallier les inconvénients de l'état de la technique cités ci-dessus. The invention finds in particular, but not exclusively, an application in the professional sectors of urban planning, architecture and real estate. 2. State of the Art There are known outdoor augmented reality software applications available to users of computers, such as for example the Layar navigation interface (registered trademark), Wikitude (registered trademark), and Nearest tube applications. , which make it possible to visualize geo-referenced metadata relating to points of interest of a site towards which the camera of the ordiphone is directed, in the foreground of a video image of this site. These known augmented reality applications make it possible to enrich an image of the real scene, targeted by the user, with textual content and / or 2D images. For example, you can access commercial and / or tourist information concerning the points of interest, consult excerpts from the encyclopedia on the Internet Wikipedia (registered trademark) relating to the point of interest, or know the distance separating point of interest, if it is a metro station for example. In order to improve the fusion effect of the virtual elements in the scene, it has been proposed to enrich the scene with models of three-dimensional objects.30 It is thus known to install on a heritage site fixed terminals, allowing to visualize, on an orientable screen, an image of a place or a building in vis-à-vis in which 3D virtual architectural elements are integrated, for example to make it discover to the visitor as it was in the past. A disadvantage of this known augmented reality terminal technique is that a terminal per observation point is required, which is expensive. In order to remedy this drawback, portable outdoor augmented reality systems have been proposed, using markers placed in the scene in order to locate the position of the augmented reality system camera with respect to the latter, when moving with the system. This externally augmented reality technique using markers, however, has the drawback that markers must be placed in advance on a scene that is to be visualized in augmented reality, which limits the diffusion of this technique, because of the cost of implementing markers and administrative authorizations that placement of markers may require. More recently, it has been proposed to use geolocation information provided by the GPS chip (acronym for "global localization system" in English) of an ordiphone, in order to be able to position fixed or animated 3D virtual objects in a scene. which one visualizes the image on the screen of the ordiphone, whatever the point of observation. A disadvantage of this technique is that the absolute error found on the horizontal position, inherent to a satellite geolocation system, is generally of the order of 10 to 15 meters, which makes it impossible to precisely position a virtual object. 3D compared to a site or building existing or under construction. 3. OBJECTIVES OF THE INVENTION The object of the invention is therefore in particular to overcome the disadvantages of the state of the art mentioned above.
Plus précisément l'invention a pour objectif de fournir une technique de réalité augmentée en milieu extérieur qui permette d'afficher en temps réel l'image d'une représentation virtuelle tridimensionnelle d'un ensemble urbain positionnée de façon précise par rapport à la scène, et respectant les facteurs d'échelle. Un objectif de l'invention est notamment dans un mode de réalisation particulier de l'invention, de positionner la représentation virtuelle de l'ensemble urbain dans la scène avec une précision inférieure ou égale à 1 mètre, et de préférence inférieure ou égale à 10 centimètres. More precisely, the object of the invention is to provide an augmented reality technique in an external environment that makes it possible to display in real time the image of a three-dimensional virtual representation of an urban assembly positioned precisely with respect to the scene. and respecting scale factors. An object of the invention is particularly in a particular embodiment of the invention, to position the virtual representation of the urban ensemble in the scene with an accuracy of less than or equal to 1 meter, and preferably less than or equal to 10. centimeters.
Un objectif de l'invention est également de fournir une technique de réalité augmentée en extérieur qui soit simple à mettre en oeuvre, et peu coûteuse en temps de calcul. Un autre objectif de l'invention est de fournir une telle technique qui soit fiable. 4. Exposé de l'invention Ces objectifs, ainsi que d'autres qui apparaitront par la suite sont atteints à l'aide d'un procédé d'affichage en extérieur, sur l'écran d'un terminal mobile d'un utilisateur équipé d'une caméra vidéo, d'une image composite comprenant une image d'une représentation virtuelle tridimensionnelle d'un ensemble urbain restituée au moins en fonction d'un point d'observation superposée sur une scène extérieure capturée en temps réel par ladite caméra vidéo. Le terminal mobile utilisé peut être par exemple un téléphone portable de type ordiphone, ou en d'autres termes un "smartphone", une tablette 25 numérique ou un PDA (acronyme en anglais d'assistant numérique personnel). Il convient de noter que dans le cadre de l'invention, le terme "ensemble urbain" vise aussi bien un complexe comprenant plusieurs bâtiments et/ou des voiries et/ou du mobilier urbain, qu'un bâtiment isolé. 30 Selon l'invention, un tel procédé d'affichage comprend les étapes suivantes : - association à ladite représentation virtuelle tridimensionnelle d'une image en plan d'une représentation bidimensionnelle de l'implantation au sol dudit ensemble urbain ; - obtention d'une estimation de la position dudit terminal mobile à partir des coordonnées géographiques dudit terminal fournies par un système de géolocalisation ; - affichage sur ledit écran d'une image 2D obtenue par superposition de ladite image en plan sur une orthophotographie d'une zone entourant ladite estimation de position et incluant ladite scène, comprenant une étape de positionnement de ladite image en plan par rapport à ladite orthophotographie visant à faire coïncider les portions élémentaires de ladite image en plan et de ladite orthophotographie représentatives d'une même position géographique, et de préférence représentatives de ladite estimation de position, et à orienter ladite image en plan et ladite orthophotographie de façon identique, et une étape de génération d'un élément de marquage de position, ou repère de position, pointant ladite portion élémentaire représentative de ladite estimation de position dans ladite image 2D ; - sélection par ledit utilisateur d'une portion élémentaire de ladite image 2D représentative d'une position effective dudit terminal ; - détermination de coordonnées spatiales de ladite portion élémentaire sélectionnée ; - affectation desdites coordonnées spatiales déterminées audit point d'observation, de façon à former ladite image composite. Ainsi, l'invention propose, de façon inédite, de corriger l'estimation de position fournie par le récepteur GPS du terminal en associant une image en plan d'une représentation bidimensionnelle de l'implantation au sol de l'ensemble urbain modélisé en 3D avec une orthophotographie de la zone où se trouve l'utilisateur, permettant à celui-ci de déterminer aisément sa position exacte en se repérant par rapport à des éléments caractéristiques dans son environnement. Il peut notamment s'agir de constructions ou de routes visibles sur l'orthophotographie et/ou d'un bâtiment, ou d'une route, plus récent, construit après la prise de l'orthophotographie, et figurant uniquement sur l'image en plan. On note qu'astucieusement la demanderesse propose d'utiliser de préférence le point correspondant à l'estimation de position comme point de recalage de la position de l'image en plan sur l'orthophotographie, étant observé que l'on cherche à signaler la position ce point sur l'image 2D. Dans des variantes, il peut également être envisagé d'utiliser un point correspondant à une autre position géographique, sous réserve qu'il soit visible à la fois sur l'image en plan et sur l'orthographique. An object of the invention is also to provide an augmented reality exterior technique that is simple to implement, and inexpensive in computing time. Another object of the invention is to provide such a technique which is reliable. 4. DESCRIPTION OF THE INVENTION These objectives, as well as others which will appear later, are achieved by means of an outdoor display method, on the screen of a mobile terminal of an equipped user. a video camera, a composite image comprising an image of a three-dimensional virtual representation of an urban ensemble rendered at least according to an observation point superimposed on an outdoor scene captured in real time by said video camera . The mobile terminal used may be for example a mobile phone type ordiphone, or in other words a "smartphone", a digital tablet or PDA (acronym in English personal digital assistant). It should be noted that in the context of the invention, the term "urban ensemble" covers both a complex comprising several buildings and / or roads and / or street furniture, an isolated building. According to the invention, such a display method comprises the following steps: - association with said three-dimensional virtual representation of a plane image of a two-dimensional representation of the ground implantation of said urban complex; obtaining an estimate of the position of said mobile terminal from the geographical coordinates of said terminal provided by a geolocation system; displaying on said screen a 2D image obtained by superimposing said planar image on an orthophotography of an area surrounding said positional estimate and including said scene, comprising a step of positioning said planar image with respect to said orthophotography aiming to coincide the elementary portions of said planar image and said orthophotography representative of the same geographic position, and preferably representative of said positional estimate, and to orient said planar image and said orthophotography in an identical manner, and a step of generating a position marking element, or position marker, pointing said elementary portion representative of said position estimate in said 2D image; selection by said user of an elementary portion of said 2D image representative of an effective position of said terminal; determination of spatial coordinates of said selected elementary portion; assigning said determined spatial coordinates to said observation point so as to form said composite image. Thus, the invention proposes, in an unprecedented manner, to correct the position estimation provided by the GPS receiver of the terminal by associating a plane image of a two-dimensional representation of the ground layout of the urban ensemble modeled in 3D. with an orthophotography of the area where the user is, allowing the user to easily determine his exact position by identifying himself with characteristic elements in his environment. It can include buildings or roads visible on the orthophotograph and / or a building, or a road, more recent, built after the taking of orthophotography, and appearing only on the image. plan. It is noteworthy that the applicant proposes, preferably, to use the point corresponding to the position estimation as a point of registration of the position of the plane image on the orthophotography, being observed that it is sought to indicate the position this point on the 2D image. In variants, it may also be envisaged to use a point corresponding to another geographical position, provided that it is visible both on the plan image and on the spelling.
Préférentiellement, ladite représentation bidimensionnelle de l'implantation au sol dudit ensemble urbain forme un plan de masse dudit ensemble urbain. Ainsi, l'utilisateur a la possibilité de se repérer par rapport à des limites de l'ensemble urbain, et/ou par rapport à des voies de desserte ou de 15 raccordement. Dans un mode de réalisation avantageux de l'invention, lesdites coordonnées spatiales constituent des coordonnées dans un référentiel associé à ladite représentation bidimensionnelle de l'implantation au sol dudit ensemble urbain et/ou à ladite représentation virtuelle tridimensionnelle d'un 20 ensemble urbain, ou correspondent à des coordonnées géographiques. Ainsi, il n'est pas nécessaire de procéder à une conversion des coordonnées spatiales. De façon avantageuse, un procédé d'affichage tel que décrit ci-dessus comprend une étape de mesure de l'orientation dudit terminal mobile de 25 façon à obtenir une image d'une représentation virtuelle tridimensionnelle d'un ensemble urbain restituée en fonction dudit point d'observation et de ladite orientation. Ainsi, on assure automatiquement une adaptation du point de vue de l'ensemble urbain en fonction des mouvements du terminal mobile, ce qui 30 améliore l'impression de fusion de l'ensemble urbain virtuelle dans la scène réelle. Preferably, said two-dimensional representation of the ground layout of said urban ensemble forms a ground plane of said urban complex. Thus, the user has the opportunity to identify with respect to the limits of the urban complex, and / or with respect to service or connection roads. In an advantageous embodiment of the invention, said spatial coordinates constitute coordinates in a frame associated with said two-dimensional representation of the ground layout of said urban ensemble and / or said three-dimensional virtual representation of an urban ensemble, or correspond to geographical coordinates. Thus, it is not necessary to convert the spatial coordinates. Advantageously, a display method as described above comprises a step of measuring the orientation of said mobile terminal so as to obtain an image of a three-dimensional virtual representation of an urban assembly restored as a function of said point. of observation and of said orientation. Thus, it automatically ensures an adaptation of the perspective of the urban set according to the movements of the mobile terminal, which improves the impression of fusion of the virtual urban ensemble in the real scene.
De façon préférentielle, ladite mesure de l'orientation dudit terminal mobile est opérée par un compas et/ou un gyroscope intégrés audit terminal mobile. Il peut par exemple s'agir d'un compas électronique de type fluxgate, d'un gyroscope à trois axes ou d'un gyroscope à deux axes associé à un accéléromètre, qui sont intégrés de série dans de nombreux terminaux mobile de dernière génération. Dans un mode de réalisation particulier de l'invention, un procédé d'affichage d'une image composite tel que décrit ci-dessus comprend une étape de stockage sur ledit terminal mobile d'une application apte à générer ladite image d'une représentation virtuelle tridimensionnelle d'un ensemble urbain. L'invention propose ainsi de pouvoir télécharger l'application sur le terminal mobile. Preferably, said measurement of the orientation of said mobile terminal is operated by a compass and / or a gyroscope integrated to said mobile terminal. It can for example be a fluxgate type electronic compass, a three-axis gyroscope or a two-axis gyroscope associated with an accelerometer, which are integrated as standard in many mobile terminals latest generation. In a particular embodiment of the invention, a method for displaying a composite image as described above comprises a step of storing on said mobile terminal an application capable of generating said image of a virtual representation three-dimensional of an urban ensemble. The invention thus proposes to download the application on the mobile terminal.
Dans un autre mode de réalisation de l'invention, le procédé d'affichage selon l'invention comprend une étape de transmission d'une information représentative desdites coordonnées dudit point d'observation vers un serveur, et une étape de réception sur ledit terminal mobile de ladite image d'une représentation virtuelle tridimensionnelle d'un ensemble urbain restituée au moins en fonction dudit point d'observation générée au sein dudit serveur à partir desdites coordonnées. Ainsi, on peut utiliser avantageusement la puissance de calcul d'un serveur pour générer l'image du modèle 3D de l'ensemble urbain vue du point d'observation. In another embodiment of the invention, the display method according to the invention comprises a step of transmitting information representative of said coordinates of said observation point to a server, and a reception step on said mobile terminal. said image of a three-dimensional virtual representation of an urban assembly restored at least according to said observation point generated within said server from said coordinates. Thus, the computing power of a server can advantageously be used to generate the image of the 3D model of the urban ensemble seen from the observation point.
Selon un mode de réalisation préférentiel de l'invention, lors de l'étape d'obtention d'une estimation de la position dudit terminal mobile, lesdites coordonnées géographiques dudit terminal fournies par un système de géolocalisation sont reçues par un récepteur GPS intégré audit terminal mobile. According to a preferred embodiment of the invention, during the step of obtaining an estimation of the position of said mobile terminal, said geographical coordinates of said terminal provided by a geolocation system are received by a GPS receiver integrated with said terminal. mobile.
Dans des variantes de ce mode de réalisation de l'invention, il peut être envisagé d'utiliser une carte wifi d'un téléphone mobile permettant de déduire une estimation de la position du téléphone mobile à partir de l'emplacement des bornes wifi environnantes qu'il détecte. L'invention concerne également un terminal mobile d'un utilisateur équipé d'une caméra vidéo et d'un écran. In variants of this embodiment of the invention, it may be envisaged to use a wifi card of a mobile phone to derive an estimate of the position of the mobile phone from the location of the surrounding wifi terminals that it detects. The invention also relates to a mobile terminal of a user equipped with a video camera and a screen.
Selon l'invention, un tel terminal comprend : - des moyens d'association à une représentation virtuelle tridimensionnelle d'un ensemble urbain, d'une image en plan d'une représentation bidimensionnelle de l'implantation au sol dudit ensemble urbain ; - des moyens d'obtention d'une estimation de la position dudit terminal mobile à partir des coordonnées géographiques dudit terminal fournies par un système de géolocalisation ; - des moyens d'affichage sur ledit écran d'une image 2D obtenue par superposition de ladite image en plan sur une orthophotographie centrée sur ladite estimation de position et incluant ladite scène, comprenant des moyens de positionnement de ladite image en plan par rapport à ladite orthophotographie visant à faire coïncider les portions élémentaires de ladite image en plan et de ladite orthophotographie représentatives de ladite estimation de position, et à orienter ladite en plan et ladite orthographie de façon identique , et des moyens de génération d'un élément de marquage de position, ou repère de position, pointant ladite portion élémentaire représentative de ladite estimation de position dans ladite image 2D ; - des moyens de détermination des coordonnées d'une portion élémentaire de ladite image 2D représentative d'une position effective dudit terminal sélectionnée par ledit utilisateur ; - des moyens d'affectation des coordonnées de ladite portion élémentaire de ladite image 2D représentative d'une position effective dudit terminal à un point d'observation, de façon à former une image composite comprenant une image de ladite représentation virtuelle tridimensionnelle d'un ensemble urbain restituée en fonction dudit point d'observation superposée sur une scène extérieure capturée en temps réel par ladite caméra vidéo s'affichant sur ledit écran. According to the invention, such a terminal comprises: means for associating a three-dimensional virtual representation of an urban ensemble with a plan image of a two-dimensional representation of the ground layout of said urban complex; means for obtaining an estimate of the position of said mobile terminal from the geographical coordinates of said terminal provided by a geolocation system; means for displaying on said screen a 2D image obtained by superimposing said planar image on an orthophotography centered on said positional estimate and including said scene, comprising means for positioning said planar image with respect to said orthophotography for aligning the elementary portions of said planar image and said orthophotographic representative of said positional estimate, and for orienting said plan and said orthography identically, and means for generating a position marker element , or position marker, pointing said elementary portion representative of said positional estimate in said 2D image; means for determining the coordinates of an elementary portion of said 2D image representative of an effective position of said terminal selected by said user; means for assigning the coordinates of said elementary portion of said 2D image representative of an effective position of said terminal to a point of observation, so as to form a composite image comprising an image of said three-dimensional virtual representation of a set urban rendered according to said superimposed observation point on an outdoor scene captured in real time by said video camera displayed on said screen.
L'invention concerne encore un produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur comprenant des instructions de code de programme pour la mise en oeuvre d'un quelconque des procédés d'affichage d'une image composite décrits ci-dessus, lorsque ledit programme est exécuté par un ordinateur et/ou par ledit terminal mobile. 5. Liste des figures D'autres caractéristiques et avantages de l'invention apparaitront plus clairement à la lecture de la description suivante d'un mode de réalisation de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés parmi lesquels : - la figure 1 représente un utilisateur tenant devant lui une tablette numérique conforme à l'invention, devant l'emplacement d'une future construction ; - la figure 2 est une vue de l'écran de la tablette présentée en figure 1; la figure 3 est une représentation synoptique, sous forme de schéma bloc, des étapes d'un exemple de procédé d'affichage d'une image de réalité augmentée en extérieur selon l'invention. 6. Description détaillée d'un exemple de mode de réalisation de l'invention On a illustré en référence à la figure 1, un architecte 11 tenant devant lui une tablette numérique 12 selon l'invention, afin de présenter un projet de construction in situ à un client sur l'écran tactile 121 de la tablette 12. Dans ce mode de réalisation de l'invention, la tablette numérique 12 est équipée d'une caméra vidéo frontale, d'un récepteur GPS, d'un gyroscope trois axes, et d'un compas électronique intégrés (non représentés sur la figure 1). The invention also relates to a computer program product downloadable from a communication network and / or recorded on a computer readable medium and / or executable by a processor comprising program code instructions for the implementation of any methods for displaying a composite image described above, when said program is executed by a computer and / or said mobile terminal. 5. List of Figures Other features and advantages of the invention will appear more clearly on reading the following description of an embodiment of the invention, given as a simple illustrative and non-limiting example, and drawings. appended among which: - Figure 1 shows a user holding in front of him a digital tablet according to the invention, in front of the location of a future construction; FIG. 2 is a view of the screen of the tablet shown in FIG. 1; FIG. 3 is a schematic representation, in block diagram form, of the steps of an exemplary method of displaying an externally augmented reality image according to the invention. DETAILED DESCRIPTION OF AN EXAMPLE EMBODIMENT OF THE INVENTION With reference to FIG. 1, an architect 11 holding in front of him a digital tablet 12 according to the invention, in order to present an in situ construction project, has been illustrated. to a customer on the touch screen 121 of the tablet 12. In this embodiment of the invention, the digital tablet 12 is equipped with a front video camera, a GPS receiver, a three-axis gyroscope, and an integrated electronic compass (not shown in Figure 1).
Comme on peut le voir plus en détail sur la figure 2, deux fenêtres 21 et 22 s'affichent à l'écran de la tablette 12, après exécution de l'application dédiée à la mise en oeuvre de l'invention, stockée sur la tablette. Dans la fenêtre gauche 21 s'affiche une image composite formée d'une image partielle de la scène 27 capturée en temps réel par la caméra vidéo sur laquelle se superpose une image 28 d'une représentation virtuelle en 3D d'un groupe de bâtiments 23 faisant partie du projet de construction. Il convient de noter que l'image 28 est redéfinie en permanence en fonction des changements de position et/ou d'orientation de la tablette. As can be seen in more detail in FIG. 2, two windows 21 and 22 appear on the screen of the tablet 12, after execution of the application dedicated to the implementation of the invention, stored on the screen. Tablet. In the left window 21 is displayed a composite image formed of a partial image of the scene 27 captured in real time by the video camera on which is superimposed an image 28 of a 3D virtual representation of a group of buildings 23 part of the construction project. It should be noted that the image 28 is permanently redefined according to the changes of position and / or orientation of the tablet.
Dans la fenêtre 22 située dans la partie droite de l'écran, on peut voir une image 2D composée d'une image en plan 24 d'une représentation bidimensionnelle de l'implantation au sol du groupe de bâtiments 23 superposée sur une vue partielle d'une orthophotographie 25 d'une zone dans laquelle se trouve la tablette. In the window 22 located in the right part of the screen, we can see a 2D image composed of a plane image 24 of a two-dimensional representation of the ground layout of the group of buildings 23 superimposed on a partial view of an orthophotograph of an area in which the tablet is located.
L'orthophotographie 25 s'affichant dans la fenêtre 22 couvre avantageusement une surface au sol d'environ 600 mètres de long sur environ 200 mètres de large, ce qui permet d'englober l'ensemble de l'étendue de la scène filmée par la tablette et de bénéficier d'une résolution convenable, suffisante pour pouvoir distinguer des détails avec netteté. The orthophotography 25 displayed in the window 22 advantageously covers a ground surface approximately 600 meters long and approximately 200 meters wide, which enables the entire extent of the scene filmed by the film to be encompassed. tablet and benefit from a suitable resolution, sufficient to distinguish details with sharpness.
Cette orthophotographie a été obtenue en découpant une orthophotographie couvrant une surface au sol de plusieurs kilomètres carrés, extraite par exemple de la base de données du logiciel Google Earth(marque déposée), en une centaine d'orthophotographies élémentaires, de tailles sensiblement identiques, suivant les contours d'une grille résultant d'une projection de Mercator. On note que dans des variantes de l'exemple de mode de réalisation de l'invention, il peut être envisagé de former une vue partielle de l'orthophotographie destinée à s'afficher dans la fenêtre 22 à partir d'une sélection de plusieurs orthophotographies élémentaires adjacentes, incluant la scène filmée par la tablette ou voisines de celle-ci. This orthophotography was obtained by cutting an orthophotography covering a surface area of several square kilometers, extracted for example from the database of Google Earth software (registered trademark), in about 100 elementary orthophotos, of substantially identical sizes, following the outlines of a grid resulting from a Mercator projection. It is noted that in variants of the exemplary embodiment of the invention, it may be envisaged to form a partial view of the orthophotography intended to be displayed in the window 22 from a selection of several orthophotos adjacent elementals, including the scene filmed by or adjacent to the tablet.
Dans ce mode de réalisation de l'invention, l'image en plan est celle d'un plan de masse du groupe de bâtiments 23, représenté à l'échelle sur l'orthophotographie, à l'emplacement et suivant l'orientation prévus pour sa construction. In this embodiment of the invention, the plan image is that of a mass plane of the group of buildings 23, shown in scale on the orthophotograph, at the location and in the orientation provided for its construction.
La position de la tablette estimée par le récepteur GPS est repérée sur l'orthophotographie par un élément de marquage de position 26, signalé par un drapeau. L'architecture peut ainsi vérifier si la position indiquée par l'élément de marquage correspond à sa position effective en observant son environnement, et notamment les voiries et/ou les bâtiments figurant sur l'orthophotographie ou construits plus récemment et visibles sur l'image en plan uniquement. On note que par souci d'ergonomie, une fonction connue en soi permettant à l'architecte de réaliser un agrandissement d'une zone de l'image 2D, ou de déplacer cette image dans la fenêtre, a été implémentée au sein de l'application dédiée. Ainsi par exemple, lorsque l'architecte se place à l'intersection entre deux routes 29 et constate depuis son point d'observation, en utilisant la tablette, que l'élément de marquage 26 pointe une position sur un terrain situé hors de la route, il lui suffit de sélectionner sur l'image 2D, avec un stylet, une portion élémentaire, ou groupe de pixels, de l'image représentative de sa position effective, afin de procéder à une correction de la position de la tablette. Dans une variante de ce mode de réalisation de l'invention, il peut être envisagé que l'architecte déplace l'élément de marquage 26 jusqu'au point de l'image 2D correspondant à sa position effective, et valide ensuite la correction apportée à la position de l'élément de marquage. Ceci entraine une modification de l'image de la représentation virtuelle 3D du projet de construction s'affichant dans la fenêtre 21. En effet, les nouvelles coordonnées spatiales de l'élément de marquage résultant de la correction sont affectées automatiquement par l'application dédiée au point d'observation à partir duquel est restituée la représentation virtuelle tridimensionnelle du projet de construction. La figure 3 résume les étapes d'un exemple de procédé de réalité augmentée en extérieur selon l'invention, permettant d'afficher à l'écran de la tablette une image d'une représentation virtuelle tridimensionnelle du projet de construction superposée sur une scène extérieure, sous forme d'un schéma bloc. Lors de la conception du projet de conception, une image en plan de l'implantation au sol du projet de construction a été générée sur la base de la modélisation 3D du projet de construction, à l'aide d'un logiciel d'architecture connu en soi (étape 31). L'architecte a exporté vers l'application dédiée de réalité augmentée la modélisation 3D, l'image en plan associée, et les coordonnées géographiques d'un élément de référence du projet, par exemple une borne du Cadastre, lors d'une étape 32. Dans une étape 34, une image 2D est générée par l'application dédiée, par superposition de l'image en plan 24 sur l'orthophotographie 25, et s'affiche sur l'écran de la tablette. Lors de cette étape 34 de génération de l'image 2D, l'image en plan 24 et l'orthophotographie 25 sont positionnées l'une par rapport à l'autre (étape 341), de sorte à faire coïncider le pixel de l'image 24 et de l'orthophotographie 25 correspondant à l'estimation de la position de la tablette, obtenue, dans une étape 33, à partir des données géographiques fournies par le récepteur GPS intégré à la tablette, et en les orientant de façon identique. L'application génère également dans une étape 342 l'élément de marquage de position 26 qui s'affiche à l'écran, ce qui permet de repérer d'un coup d'oeil la position de la tablette indiquée par le GPS sur l'image 2D. Grâce à cette indication, l'architecte est en mesure de sélectionner avec précision et sans effort sa position effective sur l'image 2D (étape 35). The position of the tablet estimated by the GPS receiver is marked on the orthophotography by a position marking element 26, indicated by a flag. The architecture can thus verify whether the position indicated by the marking element corresponds to its actual position by observing its environment, and in particular the roads and / or buildings appearing on the orthophotography or built more recently and visible on the image. in plan only. We note that for the sake of ergonomics, a function known in itself allowing the architect to enlarge an area of the 2D image, or move this image in the window, has been implemented within the dedicated application. For example, when the architect is at the intersection between two roads 29 and observes from his observation point, using the tablet, that the marking element 26 points a position on a ground off the road it is sufficient for him to select on the 2D image, with a stylus, an elementary portion, or group of pixels, of the image representative of its actual position, in order to proceed to a correction of the position of the tablet. In a variant of this embodiment of the invention, it can be envisaged that the architect moves the marking element 26 to the point of the 2D image corresponding to its actual position, and then validates the correction made to the position of the marking element. This causes a modification of the image of the 3D virtual representation of the construction project displayed in the window 21. In fact, the new spatial coordinates of the marking element resulting from the correction are automatically assigned by the dedicated application. at the observation point from which the three-dimensional virtual representation of the construction project is restored. FIG. 3 summarizes the steps of an example of an augmented reality exterior method according to the invention, making it possible to display on the screen of the tablet an image of a three-dimensional virtual representation of the construction project superimposed on an external stage , in the form of a block diagram. When designing the design project, a floor plan image of the construction project was generated based on the 3D modeling of the construction project, using known architectural software. in itself (step 31). The architect has exported to the dedicated augmented reality application the 3D modeling, the associated plan image, and the geographic coordinates of a reference element of the project, for example a Cadastre marker, during a step 32. In a step 34, a 2D image is generated by the dedicated application, by superimposing the plane image 24 on the orthophotography 25, and is displayed on the screen of the tablet. During this step 34 of generating the 2D image, the plane image 24 and the orthophotography 25 are positioned relative to each other (step 341), so as to make the pixel of the pixel coincide. image 24 and the orthophotography 25 corresponding to the estimation of the position of the tablet obtained, in a step 33, from the geographic data provided by the GPS receiver integrated in the tablet, and orienting them identically. The application also generates in a step 342 the position marking element 26 that appears on the screen, which makes it possible to identify at a glance the position of the tablet indicated by the GPS on the 2D image. With this indication, the architect is able to accurately and effortlessly select his actual position on the 2D image (step 35).
En observant son environnement, l'architecte peut ainsi vérifier si sa position effective correspond à celle pointée par l'élément de marquage de position 26 sur l'image 2D. Si tel est le cas, il suffit à l'architecte de sélectionner l'élément de marquage 26, afin de valider sa position (étape 351). Dans le cas contraire, l'architecte doit valider sa position effective en sélectionnant (étape 352) le point de l'image 2D correspondant à sa position effective. Pour se repérer, il bénéfice avantageusement des informations fournies par l'orthophotographie et/ou par l'image en plan, et de l'indication selon laquelle il se trouve à proximité de la position pointée par l'élément de marquage, dans un rayon d'environ 10 à 15 mètres. À cet effet, il peut être prévu, dans un mode de réalisation de l'invention, d'afficher au sein de l'image 2D un cercle d'un rayon représentatif d'une distance de 15 mètres, par exemple, et centré sur la position de l'élément de marquage 26, pour signaler à l'architecte dans quelle zone il est susceptible de se trouver. Dans une étape 36, l'application dédiée détermine les coordonnées spatiales du point de l'image 2D sélectionné par l'architecte déterminée et les convertit dans un référentiel associé à la modélisation 3D du projet de construction (étape 37). By observing its environment, the architect can thus check whether his actual position corresponds to that pointed by the position marking element 26 on the 2D image. If this is the case, it is sufficient for the architect to select the marking element 26, in order to validate its position (step 351). In the opposite case, the architect must validate his actual position by selecting (step 352) the point of the 2D image corresponding to his actual position. In order to find his bearings, he advantageously benefits from the information provided by the orthophotograph and / or the planar image, and from the indication that he is in the vicinity of the position pointed by the marking element, in a radius about 10 to 15 meters. For this purpose, it may be provided, in one embodiment of the invention, to display within the 2D image a circle of a radius representative of a distance of 15 meters, for example, and centered on the position of the marking element 26, to indicate to the architect in which area it is likely to be. In a step 36, the dedicated application determines the spatial coordinates of the point of the 2D image selected by the determined architect and converts them into a repository associated with the 3D modeling of the construction project (step 37).
Les coordonnées spatiales exprimées dans le référentiel attaché à la modélisation 3D sont affectées, dans une étape 38, au point d'observation du bâtiment 23. Dans une étape 39, une donnée représentative de la mesure de l'orientation de la tablette 12 délivrée par le gyroscope trois axes à la tablette est transmise à l'application dédiée. L'application dédiée génère alors une nouvelle image 28 du groupe de bâtiments, qui s'affiche (étape 310) dans la fenêtre 21, dans le cas où les coordonnées affectées au point d'observation sont différentes de celles correspondant à l'estimation de position délivrée par le GPS et/ou dans le cas où la position et/ou l'orientation de la tablette a été modifiée. The spatial coordinates expressed in the reference frame attached to the 3D modeling are assigned, in a step 38, to the observation point of the building 23. In a step 39, a datum representative of the measurement of the orientation of the tablet 12 delivered by the three-axis gyroscope to the tablet is transmitted to the dedicated application. The dedicated application then generates a new image 28 of the group of buildings, which is displayed (step 310) in the window 21, in the case where the coordinates assigned to the observation point are different from those corresponding to the estimate of position delivered by the GPS and / or in the case where the position and / or orientation of the tablet has been changed.
Dans une variante du mode de réalisation de l'invention détaillé ci-dessus, il peut être envisagé, sans sortir du cadre de l'invention, de transmettre, par exemple en wifi, l'information représentative des coordonnées du point d'observation à destination d'un serveur distant, hébergeant une application permettant de générer une image de la représentation virtuelle tridimensionnelle du projet de construction restituée en fonction du point d'observation et apte à émettre vers la tablette un signal dans laquelle l'image 28 est encapsulée.10 In a variant of the embodiment of the invention detailed above, it may be envisaged, without departing from the scope of the invention, to transmit, for example by wifi, the information representative of the coordinates of the observation point to destination of a remote server, hosting an application for generating an image of the three-dimensional virtual representation of the building project restored according to the observation point and able to transmit to the tablet a signal in which the image 28 is encapsulated. 10
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1251339A FR2986891B1 (en) | 2012-02-13 | 2012-02-13 | METHOD FOR DISPLAYING THE DISPLAY OF A MOBILE TERMINAL OF A 3D REPRESENTATION OF AN URBAN SET IN AN OUTSIDE SCENE, TERMINAL AND CORRESPONDING COMPUTER PROGRAM PRODUCT |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1251339A FR2986891B1 (en) | 2012-02-13 | 2012-02-13 | METHOD FOR DISPLAYING THE DISPLAY OF A MOBILE TERMINAL OF A 3D REPRESENTATION OF AN URBAN SET IN AN OUTSIDE SCENE, TERMINAL AND CORRESPONDING COMPUTER PROGRAM PRODUCT |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2986891A1 true FR2986891A1 (en) | 2013-08-16 |
| FR2986891B1 FR2986891B1 (en) | 2014-02-14 |
Family
ID=46298479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1251339A Active FR2986891B1 (en) | 2012-02-13 | 2012-02-13 | METHOD FOR DISPLAYING THE DISPLAY OF A MOBILE TERMINAL OF A 3D REPRESENTATION OF AN URBAN SET IN AN OUTSIDE SCENE, TERMINAL AND CORRESPONDING COMPUTER PROGRAM PRODUCT |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2986891B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3026872A1 (en) * | 2014-10-02 | 2016-04-08 | Amega Signaletiques | METHOD FOR MANUFACTURING CUSTOMIZED OBJECTS FOR STORE SIGNS USING INCREASED REALITY |
-
2012
- 2012-02-13 FR FR1251339A patent/FR2986891B1/en active Active
Non-Patent Citations (3)
| Title |
|---|
| DIDIER STRICKER ET AL: "Augmented reality for visitors of cultural heritage sites", CAST 01 INTERNATIONAL CONFERENCE ON ARTISTIC, CULTURAL AND SCIENTIFIC ASPECTS OF EXPERIMENTAL MEDIA SPACES, 21 September 2001 (2001-09-21), Bonn, Germany, XP055041927, Retrieved from the Internet <URL:http://netzspannung.org/cat/servlet/CatServlet/$files/42287/%3Cno+file%3E> [retrieved on 20121023] * |
| DIDIER STRICKER ET AL: "Design and Development Issues for ARCHEOGUIDE: An Augmented Reality based Cultural Heritage On-site Guide", 30 May 2001 (2001-05-30), pages 1 - 5, XP055041914, Retrieved from the Internet <URL:http://archeoguide.intranet.gr/papers/publications/ARCHEOGUIDE-ICAV3D 01.pdf> [retrieved on 20121023] * |
| LEUNG K Y K ET AL: "Localization in urban environments by matching ground level video images with an aerial image", 2008 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION. THE HALF-DAY WORKSHOP ON: TOWARDS AUTONOMOUS AGRICULTURE OF TOMORROW, IEEE - PISCATAWAY, NJ, USA, PISCATAWAY, NJ, USA, 19 May 2008 (2008-05-19), pages 551 - 556, XP031340208, ISBN: 978-1-4244-1646-2 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3026872A1 (en) * | 2014-10-02 | 2016-04-08 | Amega Signaletiques | METHOD FOR MANUFACTURING CUSTOMIZED OBJECTS FOR STORE SIGNS USING INCREASED REALITY |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2986891B1 (en) | 2014-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10929494B2 (en) | Systems and methods for tagging objects for augmented reality | |
| US9699375B2 (en) | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system | |
| US9471986B2 (en) | Image-based georeferencing | |
| US8897541B2 (en) | Accurate digitization of a georeferenced image | |
| EP2806645B1 (en) | Image enhancement using a multi-dimensional model | |
| US8730312B2 (en) | Systems and methods for augmented reality | |
| US9497581B2 (en) | Incident reporting | |
| EP2625847B1 (en) | Network-based real time registered augmented reality for mobile devices | |
| US20140300637A1 (en) | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system | |
| US9583074B2 (en) | Optimization of label placements in street level images | |
| US10444954B2 (en) | Distinguishable geographic area presentation | |
| US20090232415A1 (en) | Platform for the production of seamless orthographic imagery | |
| KR101589928B1 (en) | System for updating numerical map by confirmation changed landforms and landmarks | |
| Antigny et al. | Pedestrian track estimation with handheld monocular camera and inertial-magnetic sensor for urban augmented reality | |
| US20120026324A1 (en) | Image capturing terminal, data processing terminal, image capturing method, and data processing method | |
| US10108882B1 (en) | Method to post and access information onto a map through pictures | |
| FR2986891A1 (en) | Method for displaying outdoor composite image on screen of mobile terminal e.g. smartphone, involves determining spatial coordinates of portion of elementary image, and assigning coordinates to observation point, to form composite image | |
| JP6546940B2 (en) | Orientation estimation device, photographing / map display device, method, and program | |
| Vaittinen et al. | City scene: field trial of a mobile street-imagery-based navigation service | |
| KR101762514B1 (en) | Method and apparatus for providing information related to location of shooting based on map | |
| US11137976B1 (en) | Immersive audio tours | |
| Thomas et al. | 3D modeling for mobile augmented reality in unprepared environment | |
| Olesk et al. | Geometric and error analysis for 3D map-matching | |
| Dias et al. | Seamless indoor and outdoor location, guidance and visualization in mobile computing | |
| CA3057919A1 (en) | Means for storing data processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |
|
| PLFP | Fee payment |
Year of fee payment: 10 |
|
| PLFP | Fee payment |
Year of fee payment: 11 |
|
| PLFP | Fee payment |
Year of fee payment: 12 |
|
| PLFP | Fee payment |
Year of fee payment: 13 |