ES2300204B1 - SYSTEM AND METHOD FOR THE DISPLAY OF AN INCREASED IMAGE APPLYING INCREASED REALITY TECHNIQUES. - Google Patents
SYSTEM AND METHOD FOR THE DISPLAY OF AN INCREASED IMAGE APPLYING INCREASED REALITY TECHNIQUES. Download PDFInfo
- Publication number
- ES2300204B1 ES2300204B1 ES200602922A ES200602922A ES2300204B1 ES 2300204 B1 ES2300204 B1 ES 2300204B1 ES 200602922 A ES200602922 A ES 200602922A ES 200602922 A ES200602922 A ES 200602922A ES 2300204 B1 ES2300204 B1 ES 2300204B1
- Authority
- ES
- Spain
- Prior art keywords
- dimensional
- real
- image
- zoom
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 17
- 230000003993 interaction Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Sistema y método para la visualización de una imagen aumentada aplicando técnicas de realidad aumentada.System and method for displaying a augmented image applying augmented reality techniques.
Sistema (1) de visualización interactivo basado en tecnologías de Realidad Aumentada para aplicaciones de turismo y ocio, que permite que un usuario (13) contemple una imagen real (6) aumentada con cierta información interesante. El sistema (1) incluye una cámara real (2), una unidad de procesamiento (3), una base de datos (4), un dispositivo de visualización (8) y un sistema de seguimiento (9). La unidad de procesamiento (3) convierte objetos gráficos tridimensionales (5) almacenados en la base de datos (4) en representaciones virtuales bidimensionales (5') en función de la posición de la cámara real (2) calculada por el sistema de seguimiento (9); posteriormente, alinea las representaciones virtuales bidimensionales (5') y la imagen real (6), generando la imagen aumentada (6'). El sistema (1) permite hacer zoom sobre la imagen aumentada (6'), realizándose un zoom simultáneo y ajustado sobre la imagen real (6) y las representaciones virtuales bidimensionales (5').Interactive display system (1) based in Augmented Reality technologies for tourism applications and leisure, which allows a user (13) to contemplate a real image (6) augmented with some interesting information. The system (1) includes a real camera (2), a processing unit (3), a database (4), a display device (8) and a system Tracking (9). The processing unit (3) converts three-dimensional graphic objects (5) stored in the base of data (4) in two-dimensional virtual representations (5 ') in function of the position of the real camera (2) calculated by the tracking system (9); then align the two-dimensional virtual representations (5 ') and the real image (6), generating the enlarged image (6 '). The system (1) allows zoom in on the enlarged image (6 '), zooming in simultaneous and adjusted on the real image (6) and the two-dimensional virtual representations (5 ').
Description
Sistema y método para la visualización de una imagen aumentada aplicando técnicas de realidad aumentada.System and method for displaying a augmented image applying augmented reality techniques.
Esta invención se refiere a un método y un sistema para la visualización de una escena aumentada, que permita aumentar con contenidos interesantes una escena o imagen real que se encuentra dentro del punto de vista de un usuario. La invención está principalmente orientada a aparatos para el sector del turismo y del ocio del tipo de unos prismáticos para la observación de una vista, aunque también está concebido para otros entornos como las instituciones culturales, ferias o turismo de naturaleza.This invention relates to a method and a system for viewing an enlarged scene, which allows increase with real content a real scene or image that It is within a user's point of view. The invention It is mainly oriented to devices for the tourism sector and leisure type binoculars for the observation of a view, although it is also designed for other environments such as cultural institutions, fairs or nature tourism.
Desde los anales de la ciencia moderna, la observación visual ha precedido al conocimiento. La observación visual, la contemplación y el conocimiento se encuentran íntimamente ligados en la sociedad occidental. Incluso puede afirmarse que la sociedad moderna es una sociedad basada en lo visual. El sentido de la vista ha sido siempre el sentido dominante y el que ha jugado un papel preponderante en la comunicación entre las personas.From the annals of modern science, the Visual observation has preceded knowledge. The observation visual, contemplation and knowledge meet intimately linked in western society. Can even affirm that modern society is a society based on what visual. The sense of sight has always been the dominant sense and the one who has played a leading role in the communication between people.
El concepto de unos prismáticos colocados sobre una colina para que los turistas observen la zona circundante durante unos minutos al introducir una moneda está muy generalizado. Dichos prismáticos ofrecen una vista panorámica de los edificios y calles de un área urbana, sus recursos naturales y culturales. Adicionalmente, en algunos casos, permiten hacer zoom sobre determinadas atracciones turísticas para verlas de forma más cercana. Esta vista puede despertar en los turistas el interés de visitar dichas atracciones posteriormente, ayudándoles en la identificación de nuevos puntos de interés para su posterior visita.The concept of binoculars placed on a hill for tourists to observe the surrounding area for a few minutes when entering a coin is very generalized These binoculars offer a panoramic view of the buildings and streets of an urban area, its natural resources and cultural. Additionally, in some cases, they allow you to zoom about certain tourist attractions to see them more nearby. This view can arouse in tourists the interest of visit these attractions later, helping them in the identification of new points of interest for later visit.
Sin embargo, muchas veces resulta complejo encontrar algo en el campo de visión de los prismáticos que no sean los bosques cercanos o el propio cielo. Incluso cuando se ha encontrado una atracción turística que puede resultar interesante, muchas veces se pierde ese interés por la falta de imágenes e información sobre dicha atracción. Las personas están acostumbradas a recibir información de una forma sencilla y entretenida a través de diferentes canales como Internet o la televisión, utilizando hipervínculos ("hyperlinks") para obtener contenidos multimedia que respondan a su petición.However, it is often complex find something in the field of vision of binoculars other than the nearby forests or the sky itself. Even when it has found a tourist attraction that can be interesting, many times that interest is lost due to the lack of images and information about said attraction. People are used to receive information in a simple and entertaining way through from different channels such as Internet or television, using hyperlinks ("hyperlinks") to get content multimedia that respond to your request.
La mayoría de los turistas aprenden sobre el mundo a través de diferentes procesos, que incluyen características como la representación, la imaginación y la observación. Cada vez más, las tecnologías visuales (fotografías, cine, vídeo, televisión, imágenes digitales, etc.) forman parte de la experiencia cotidiana de muchas personas y tienen además una influencia directa en la forma en la que las personas experimentan los nuevos entornos. Estas "visiones" o "interpretaciones" socialmente generadas que plasman el mundo y su patrimonio en términos visuales no sólo traen consigo nuevos retos de investigación, sino que generan numerosas oportunidades de examinar de forma crítica el papel y la función del turismo como un vehículo en la comunicación de la observación, el ser y el conocimiento.Most tourists learn about the world through different processes, which include features such as representation, imagination and observation. Every time more, visual technologies (photographs, cinema, video, television, digital images, etc.) are part of the everyday experience of many people and they also have a direct influence on the way people experience The new environments. These "visions" or socially generated "interpretations" that shape the world and their heritage in visual terms not only bring new research challenges, but generate numerous opportunities for critically examine the role and function of tourism as a vehicle in the communication of observation, being and knowledge.
De forma adicional, se puede afirmar que existe una gran cantidad de información en formato digital, como contenido audiovisual, textos electrónicos, aplicaciones multimedia o sistemas de información geográfica. Hasta la actualidad, esta información se ha usado de forma puntual en guías electrónicas, permaneciendo inaccesible para el visitante. Además, las presentaciones multimedia existentes se encuentran físicamente alejadas de los entornos reales, lo que implica que el turista debe dejar la atracción turística para disponer de información adicional.Additionally, it can be said that there is a large amount of information in digital format, such as content audiovisual, electronic texts, multimedia applications or geographic information systems. Until today, this information has been used in a timely manner in electronic guides, remaining inaccessible to the visitor. In addition, the existing multimedia presentations are physically found away from real environments, which implies that the tourist must leave the tourist attraction for information additional.
Si las organizaciones turísticas quieren acceder a un público más extenso, deberán diseñar contenidos multimedia suficientemente interesantes como para atraer a los turistas. Por ello, son necesarios nuevos sistemas que permitan estas aplicaciones innovadoras y proporcionen contenidos de valor añadido.If tourism organizations want to access to a larger audience, they must design multimedia content Interesting enough to attract tourists. By this requires new systems that allow these innovative applications and provide valuable content added.
La presente invención satisface las necesidades previamente mencionadas mediante un sistema y un método para la visualización de una imagen aumentada con contenido multimedia adicional. Para ello, la invención detecta la posición de un dispositivo de visualización comprendido en el sistema, aumenta la vista del usuario con representaciones gráficas de objetos gráficos recuperados de una base de datos y permite la interacción del usuario con la información multimedia proporcionada.The present invention meets the needs previously mentioned by a system and a method for viewing an enlarged image with multimedia content additional. For this, the invention detects the position of a display device included in the system, increases the User view with graphic representations of graphic objects recovered from a database and allows the interaction of user with multimedia information provided.
Otro aspecto de la invención proporciona un sistema y un método para hacer zoom sobre la imagen aumentada, detectando la posición del dispositivo de visualización y fijando la posición relativa de los objetos gráficos cuando se hace zoom sobre la vista.Another aspect of the invention provides a system and a method to zoom on the enlarged image, detecting the position of the display device and setting the relative position of graphic objects when zooming on sight
Los detalles de la invención se aprecian en las figuras que se acompañan, no pretendiendo éstas ser limitativas del alcance de la invención:The details of the invention can be seen in the accompanying figures, not pretending to be limiting of scope of the invention:
- La Figura 1 muestra un sistema de acuerdo con un modo de realización de la invención.- Figure 1 shows a system according to an embodiment of the invention.
- La Figura 2 muestra el esquema funcional de la invención.- Figure 2 shows the functional scheme of the invention.
- La Figura 3 muestra el funcionamiento del sistema mediante un ejemplo de uso de la invención.- Figure 3 shows the operation of the system by an example of use of the invention.
- La Figura 4 muestra el método preferente de acuerdo con la invención.- Figure 4 shows the preferred method of according to the invention.
- La Figura 5 muestra un ejemplo del método de la invención para hacer zoom.- Figure 5 shows an example of the method of The invention to zoom.
En el presente documento, se definen las tecnologías de Realidad Aumentada (RA) como aquellas tecnologías que aumentan un escenario real mediante la adición de información virtual, mientras que un entorno que consta principalmente de información virtual aumentada con algunos objetos reales se conoce como Virtualidad Aumentada (VA). En otras palabras, las tecnologías RA pueden generar un entorno aumentado mediante la adición de cierta información virtual sobre un entorno inicial totalmente real.In this document, the Augmented Reality (RA) technologies such as those technologies that increase a real scenario by adding information virtual, while an environment consisting primarily of augmented virtual information with some real objects is known as Augmented Virtuality (VA). In other words, the technologies RA can generate an augmented environment by adding certain virtual information about a completely real initial environment.
La invención se basa en la aplicación de las tecnologías de Realidad Aumentada (RA) al concepto tradicional de unos prismáticos en entornos turísticos, es decir, la invención se refiere a un sistema que permite que los usuarios vean una escena (por ejemplo, la vista desde una colina cercana) aumentada mediante la superposición de información virtual relativa a la escena que está observando el usuario utilizando las tecnologías de RA. El aumento de la escena incrementa la experiencia lúdica del usuario, dado que la información virtual proporciona contenido adicional a la escena (por ejemplo, las flechas que señalan edificios y muestran su nombre). El sistema también permite que el usuario interaccione con la información virtual y obtenga contenidos adicionales (por ejemplo, acceso a ficheros de textos, imágenes o vídeos relacionados con un recurso turístico en concreto). El sistema permite personalizar los contenidos en función de diferentes perfiles de usuario.The invention is based on the application of Augmented Reality (RA) technologies to the traditional concept of binoculars in tourist environments, that is, the invention is refers to a system that allows users to see a scene (for example, the view from a nearby hill) augmented by the virtual information overlay relative to the scene that The user is observing using RA technologies. He Increasing the scene increases the user's entertainment experience, since virtual information provides additional content to the scene (for example, the arrows pointing to buildings and show your name) The system also allows the user interact with virtual information and get content additional (for example, access to text files, images or videos related to a specific tourist resource). He system allows you to customize the contents based on Different user profiles.
La Figura 1 muestra un sistema (1) típico de acuerdo con un modo de realización de la invención. El sistema (1) comprende básicamente una cámara real (2) que registra una imagen real (6) o imagen en tiempo real desde el punto de vista del usuario (13), y que envía esta imagen real (6) a una unidad de procesamiento (3). La unidad de procesamiento (3) incluye una base de datos (4) que almacena objetos gráficos tridimensionales (5) -no representados- que se superpondrán a la imagen real (6) utilizando métodos RA. Los métodos RA convierten los objetos gráficos tridimensionales (5) en representaciones virtuales bidimensionales (5'), y a continuación, se superponen las representaciones virtuales bidimensionales (5') de dichos objetos gráficos tridimensionales (5) a la imagen real (6), conformando la imagen aumentada (6'). Los objetos gráficos tridimensionales (5) pueden incluir información multimedia adicional (7) -no representada- capaz de proporcionar información adicional y más compleja sobre los objetos gráficos tridimensionales (5).Figure 1 shows a typical system (1) of according to an embodiment of the invention. The system (1) It basically comprises a real camera (2) that records an image real (6) or real-time image from the point of view of user (13), and that sends this real image (6) to a unit of processing (3). The processing unit (3) includes a base of data (4) that stores three-dimensional graphic objects (5) -no represented - which will be superimposed on the real image (6) using RA methods. RA methods convert graphic objects three-dimensional (5) in two-dimensional virtual representations (5 '), and then the representations overlap two-dimensional virtual (5 ') of said graphic objects three-dimensional (5) to the real image (6), forming the image increased (6 '). Three-dimensional graphic objects (5) can include additional multimedia information (7) -not represented- able to provide additional and more complex information about three-dimensional graphic objects (5).
El sistema (1) también incluye un dispositivo de visualización (8) mediante el cual el usuario (13) puede observar la imagen aumentada (6'), es decir, la imagen real (6) a la que se le han añadido las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5). El sistema (1) incluye un sistema de seguimiento (9) para detectar la posición actual del dispositivo de visualización (8) como un elemento fundamental dentro del proceso de aumento. Tal y como se muestra en la Figura 1, el dispositivo de visualización (8) y la cámara real (2) se encuentran preferiblemente montados sobre el mismo eje mecánico de modo que se mueven de manera solidaria. De este modo, el sistema de seguimiento (9) calcula la posición del dispositivo de visualización (8) y por lo tanto, la posición de la cámara real (2).The system (1) also includes a device for visualization (8) by which the user (13) can observe the enlarged image (6 '), that is, the real image (6) to which they have added the two-dimensional virtual representations (5 ') of three-dimensional graphic objects (5). The system (1) includes a tracking system (9) to detect the position current display device (8) as an item fundamental within the process of increase. As shown in Figure 1, the display device (8) and the real camera (2) are preferably mounted on the same axis mechanic so that they move in solidarity. In this way, the tracking system (9) calculates the position of the device display (8) and therefore the position of the real camera (2).
Adicionalmente, se incluyen unos altavoces (10) para que el usuario (13) pueda escuchar las presentaciones u otro contenido en forma de audio incluido dentro del contenido multimedia adicional (7). El sistema (1) también incluye medios de interacción (11) que cumplen la función de interfaz de usuario para el sistema (1). Finalmente, el sistema (1) puede incluir un sistema de pago (12) basado en la inserción de monedas u otros medios de pago.Additionally, speakers (10) are included so that the user (13) can listen to the presentations or other content in the form of audio included within the content additional multimedia (7). The system (1) also includes means of interaction (11) that fulfill the user interface function for the system (1). Finally, the system (1) can include a system of payment (12) based on the insertion of coins or other means of payment.
La cámara real (2) puede ser cualquier tipo de cámara que incluya lentes "autofocus" para el zoom óptico, de modo que el usuario (13) pueda aumentar o disminuir el zoom para observar objetos pequeños o lejanos de forma más nítida. La cámara real (2) debe poder ser controlada desde un dispositivo de control externo capaz de acceder y modificar el zoom y otros ajustes o parámetros de control de la cámara, por ejemplo, mediante una conexión por cable de tipo serie RS-232C. Existen gran cantidad de cámaras de este tipo disponibles comercialmente.The real camera (2) can be any type of camera that includes "autofocus" lenses for optical zoom, from so that the user (13) can increase or decrease the zoom to observe small or distant objects more clearly. The camera real (2) must be able to be controlled from a control device external capable of accessing and modifying the zoom and other settings or camera control parameters, for example, by means of a RS-232C serial cable connection. exist large number of cameras of this type available commercially
El sistema de seguimiento (9) se basa preferentemente en sensores inerciales. Sin embargo, existe un gran número de sistemas de posicionamiento alternativos que pueden usarse de manera eficaz en otros modos de realización. Dado que se supone que el sistema (1) se va a utilizar principalmente en dos direcciones (derecha/izquierda, arriba/abajo), las técnicas de seguimiento más sencillas proporcionan precisión suficiente. Sin embargo, la invención puede utilizar cualquier sistema de seguimiento que sea capaz de determinar la posición del dispositivo de visualización (8) de forma robusta y de enviar las coordenadas a la unidad de procesamiento (3).The tracking system (9) is based preferably in inertial sensors. However, there is a great number of alternative positioning systems that can be used effectively in other embodiments. Since it is assumes that the system (1) is going to be used mainly in two directions (right / left, up / down), the techniques of Simpler tracking provide sufficient accuracy. Without However, the invention can use any system of tracking that is able to determine the position of the device display (8) robustly and send coordinates to the processing unit (3).
El dispositivo de visualización (8) mediante el que el usuario (13) percibe la imagen aumentada (6') que incluye la imagen real (6) y las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) junto con el contenido multimedia adicional (7), es preferentemente una metáfora de los prismáticos convencionales. El dispositivo de visualización (8) comprende preferentemente un visualizador que es básicamente un sistema de visualización de vídeo no transparente, que puede ser de tipo no-estereoscópico, estereoscópico y autoestereoscópico. El dispositivo de visualización (8) puede ser uno de los prismáticos o telescopios virtuales disponibles en el mercado con capacidad estereoscópica. En futuros modos de realización de la invención, se podrán utilizar dispositivos semi-transparentes y autoestereoscópicos para visualizar la imagen aumentada (6').The display device (8) by means of the that the user (13) perceives the enlarged image (6 ') that includes the real image (6) and two-dimensional virtual representations (5 ') of the three-dimensional graphic objects (5) together with the additional multimedia content (7), is preferably a metaphor of conventional binoculars. Display device (8) preferably comprises a display that is basically a non-transparent video display system, which can be non-stereoscopic, stereoscopic and autostereoscopic. The display device (8) can be one of the binoculars or virtual telescopes available in the market with stereoscopic capacity. In future modes of embodiment of the invention, devices may be used semi-transparent and autostereoscopic for display the enlarged image (6 ').
En lo referente a los medios de interacción (11), el modo de realización preferente de la invención incluye siete botones para interaccionar con el sistema (1) de una forma sencilla y ergonómica. Tal y como muestra la Figura 1, los botones (11) se han distribuido entre el lado izquierdo (19) y el lado derecho (20) del sistema (1). En el lado izquierdo (19) del sistema (1) hay dos botones que permiten interactuar con la imagen aumentada (6'). El usuario (13) puede hacer zoom para aumentar la imagen con uno de los botones y hacer zoom para reducirla con el otro. En el lado derecho (20) del sistema (1) hay cinco botones: un botón central (preferentemente de un color) y cuatro botones a su alrededor (preferentemente de un color diferente al botón central). El botón central es el botón de "intro", que se utiliza para hacer clic en las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) y también para elegir entre los menús del contenido multimedia adicional (7). Los botones que lo rodean sirven para moverse por los menús que permiten la selección del contenido multimedia adicional (7).Regarding the means of interaction (11), the preferred embodiment of the invention includes seven buttons to interact with the system (1) in one way Simple and ergonomic. As Figure 1 shows, the buttons (11) have been distributed between the left side (19) and the side right (20) of the system (1). On the left side (19) of the system (1) there are two buttons that allow you to interact with the image increased (6 '). The user (13) can zoom to increase the image with one of the buttons and zoom to reduce it with the other. On the right side (20) of the system (1) there are five buttons: a central button (preferably one color) and four buttons to its around (preferably a different color than the central button). The middle button is the "enter" button, which is used to click on the two-dimensional virtual representations (5 ') of three-dimensional graphic objects (5) and also to choose from between menus of additional multimedia content (7). The buttons that surround it serve to move through the menus that allow the selection of additional multimedia content (7).
El sistema (1) incluye preferentemente dos bases de datos (4) diferentes: una base de datos para el aumento y una base de datos de contenidos autoadministrables. La base de datos para el aumento incluye los objetos gráficos tridimensionales (5) asociados a los puntos de interés para el usuario (13), incluyendo el nombre de las principales atracciones turísticas y otros objetos gráficos. La base de datos de contenidos autoadministrables almacena el contenido multimedia adicional (7), incluyendo vídeos, clips de películas, panoramas 3D interactivos o incluso modelos tridimensionales de atracciones turísticas existentes y no existentes.The system (1) preferably includes two bases of different data (4): a database for augmentation and a database of self-administered contents. The database for magnification includes three-dimensional graphic objects (5) associated with points of interest for the user (13), including the name of the main tourist attractions and other objects graphics. The self-administered content database store additional multimedia content (7), including videos, movie clips, interactive 3D panoramas or even models three-dimensional existing tourist attractions and not existing.
El modo de realización preferente de la invención también incluye una herramienta de autor para simplificar la manipulación de los objetos gráficos tridimensionales (5), su posición en la imagen aumentada (6') y el contenido multimedia adicional (7) que pueden mostrar. El programa puede trabajar con archivos XML para cambiarlos o crear otros nuevos adecuados para el programa principal. El modo de realización preferente de la invención incluye hasta diez puntos de interés con un máximo de cinco subobjetos para elegir dentro del menú. Estos objetos gráficos tridimensionales (5) incluyen los puntos de interés turístico y sus marcadores correspondientes en la imagen aumentada (6'), mientras que los subobjetos representan diferentes tipos de contenido multimedia adicional (7) que se muestran al elegir las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5).The preferred embodiment of the invention also includes an authoring tool to simplify the manipulation of three-dimensional graphic objects (5), their position in the enlarged image (6 ') and multimedia content additional (7) that they can show. The program can work with XML files to change or create new ones suitable for the main program The preferred embodiment of the invention includes up to ten points of interest with a maximum of Five subobjects to choose from within the menu. These objects three-dimensional graphics (5) include points of interest tourist and its corresponding markers in the enlarged image (6 '), while sub-objects represent different types of additional multimedia content (7) displayed when choosing two-dimensional virtual representations (5 ') of objects three-dimensional graphics (5).
La Figura 2 muestra un esquema funcional del sistema (1) de la Figura 1. Tal y como se ha explicado, la cámara real (2) captura el punto de vista del usuario (13), es decir, graba una imagen de vídeo en tiempo real que se denomina imagen real (6). El sistema de seguimiento (9) calcula y envía una información de posición (14) a la unidad de procesamiento (3), informando sobre la localización y orientación actual del dispositivo de visualización (8). La unidad de procesamiento (3) realiza entonces un proceso de adaptación de gráficos (15), que convierte los objetos gráficos tridimensionales (5) almacenados en las representaciones virtuales bidimensionales (5') en función de un vector de orientación que se obtiene a partir de la información de posición (14). Es decir, la unidad de procesamiento (3) adapta una vista de los objetos gráficos tridimensionales (5) para obtener una escena virtual, controlando una "cámara virtual" que utiliza el mismo vector de orientación que la cámara real (2), es decir, orientando la cámara virtual exactamente igual que la cámara real (2). Por ello, la escena real (6) y las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) se sincronizan de acuerdo con el mundo real. Esta sincronización permite componer las escenas real y virtual de la imagen aumentada (6').Figure 2 shows a functional scheme of the system (1) of Figure 1. As explained, the camera real (2) captures the user's point of view (13), that is, record a real-time video image called an image real (6). The tracking system (9) calculates and sends a position information (14) to the processing unit (3), informing about the current location and orientation of the display device (8). The processing unit (3) then performs a graphics adaptation process (15), which convert the three-dimensional graphic objects (5) stored in the two-dimensional virtual representations (5 ') depending on an orientation vector that is obtained from the information position (14). That is, the processing unit (3) adapts a view of three-dimensional graphic objects (5) to obtain a virtual scene, controlling a "virtual camera" that use the same orientation vector as the real camera (2), it is say, orienting the virtual camera exactly like the camera real (2). Therefore, the real scene (6) and the representations two-dimensional virtual (5 ') of graphic objects Three-dimensional (5) are synchronized according to the real world. This synchronization allows composing the real and virtual scenes of the enlarged image (6 ').
A continuación, la unidad de procesamiento (3) realiza un proceso de aumento (16) en el que la escena real (6) se aumenta con las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5) para obtener la imagen aumentada (6'), que se envía de nuevo al dispositivo de visualización (8). Cuando el usuario (13) mira a través del dispositivo de visualización (8), puede ver la imagen aumentada (6'). Si el usuario (13) gira el sistema (1) o realiza algún movimiento que cambia la posición del dispositivo de visualización (8), el sistema de seguimiento (9) informa del cambio a la unidad de procesamiento (3). El proceso de adaptación de gráficos (15) actualiza entonces las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5), de modo que coincidan con la nueva imagen real (6). Por ello, cuando el usuario (13) gira el sistema (1) o cambia su posición, la imagen aumentada (6') cambia en su totalidad, es decir, la imagen real (6) y las representaciones virtuales bidimensionales (5') se adecuan a ese cambio.Then the processing unit (3) performs an augmentation process (16) in which the actual scene (6) is increases with the two-dimensional virtual representations (5 ') of three-dimensional graphic objects (5) to obtain the image augmented (6 '), which is sent back to the device visualization (8). When the user (13) looks through the display device (8), you can see the enlarged image (6 '). If the user (13) turns the system (1) or performs any movement that changes the position of the display device (8), the tracking system (9) reports the change to the unit processing (3). The graphics adaptation process (15) then update the two-dimensional virtual representations (5 ') of the three-dimensional graphic objects (5), so that match the new real image (6). Therefore, when the user (13) turn the system (1) or change its position, the enlarged image (6 ') changes in its entirety, that is, the real image (6) and the two-dimensional virtual representations (5 ') fit that change.
La Figura 3 muestra el funcionamiento de la invención utilizando un ejemplo de uso del sistema (1). El gráfico de la parte superior muestra un ejemplo de una imagen aumentada (6') visualizada por el usuario (13). Esta imagen aumentada (6') está compuesta por la imagen real (6) de un pueblo (17) y algunos montes (18), en la que aparecen señalados uno de los edificios y uno de los montes mediante las correspondientes representaciones virtuales bidimensionales (5'). Cuando el usuario (13) descubre un objeto interesante sobre el que desea recabar más información -por ejemplo, el edificio de gran altura en el centro de la pantalla señalado con el texto "obj1"-, actúa con los medios de interacción (11) hasta seleccionar la representación virtual bidimensional (5') de dicho objeto interesante. A continuación, el sistema (1) visualiza el contenido multimedia adicional (7) relacionado con dicha representación virtual bidimensional (5'). Por ejemplo, tal y como se muestra en la Figura 3, el sistema (1) puede mostrar una pantalla en la que se visualice algún texto interesante y un vídeo de una persona que explica ciertas características del edificio, y/o ofrece nuevas opciones de navegación. El sistema (1) puede ofertar también información personalizada, de modo que los diferentes contenidos pueden mostrarse a diferentes perfiles de usuario, incluyendo aspectos como el multilingüismo. Por ejemplo, un turista angloparlante que tiene un perfil cultural puede ser un tipo de perfil de usuario. Este usuario recibirá información adicional más completa en inglés sobre la historia del edificio seleccionado que la información recibida por otros perfiles.Figure 3 shows the operation of the invention using an example of use of the system (1). The graphic from the top shows an example of an enlarged image (6 ') displayed by the user (13). This enlarged image (6 ') It is composed of the real image (6) of a town (17) and some mountains (18), in which one of the buildings and one are indicated of the mountains through the corresponding representations two-dimensional virtual (5 '). When the user (13) discovers a interesting object on which you want to gather more information -by example, the high-rise building in the center of the screen indicated with the text "obj1" -, acts with the means of interaction (11) until selecting the virtual representation two-dimensional (5 ') of said interesting object. Then the system (1) displays the additional multimedia content (7) related to said two-dimensional virtual representation (5 '). For example, as shown in Figure 3, the system (1) can display a screen where some text is displayed interesting and a video of a person explaining certain characteristics of the building, and / or offers new options for navigation. The system (1) can also offer information customized, so that the different contents can show to different user profiles, including aspects like multilingualism For example, an English-speaking tourist who Having a cultural profile can be a type of user profile. This user will receive more complete additional information in English about the history of the selected building that information received by other profiles.
La Figura 4 muestra el método de acuerdo con la invención por el que los objetos gráficos tridimensionales (5) se colocan en el mundo virtual utilizando un entorno esférico. La información de registro (24) que determina la colocación de los objetos gráficos tridimensionales (5) en la imagen aumentada (6') se define utilizando la herramienta de autor. La unidad de procesamiento (3) recibe la información de registro (24) de los diferentes objetos gráficos tridimensionales (5) y la información de posición (14) del dispositivo de visualización (8), para poder realizar el proceso de adaptación de los gráficos (15). Se construye un mundo virtual (21), es decir, un modelo tridimensional en el que los objetos gráficos tridimensionales (5) se colocan en su posición espacial previamente definida. En este mundo virtual (21), se coloca una cámara virtual (22) con respecto a los objetos gráficos tridimensionales (5) en función de la información de posición (14) de la cámara real (2). En otras palabras, los objetos gráficos tridimensionales (5) se colocan en los puntos virtuales que simulan la distancia de los objetos reales desde el punto de vista del usuario (13).Figure 4 shows the method according to the invention whereby three-dimensional graphic objects (5) are placed in the virtual world using a spherical environment. The registration information (24) that determines the placement of the three-dimensional graphic objects (5) in the enlarged image (6 ') It is defined using the authoring tool. The unit of processing (3) receives the registration information (24) of the different three-dimensional graphic objects (5) and information position (14) of the display device (8), to be able to carry out the process of adapting the graphics (15). Be build a virtual world (21), that is, a three-dimensional model in which three-dimensional graphic objects (5) are placed in its previously defined spatial position. In this virtual world (21), a virtual camera (22) is placed with respect to the objects three-dimensional graphics (5) based on the information in position (14) of the real camera (2). In other words, the objects three-dimensional graphics (5) are placed in virtual points that simulate the distance of real objects from the point of user view (13).
El proceso de adaptación de gráficos (15) de los objetos virtuales tridimensionales (5) en representaciones virtuales bidimensionales (5') se basa en la información sobre el ángulo que los objetos gráficos tridimensionales (5) difieren respecto a un valor de referencia Zero-View-Vector, que representa el punto central de un sistema coordenado. A continuación, el proceso de adaptación de gráficos (15) convierte los objetos gráficos tridimensionales (5) en sus respectivas representaciones virtuales bidimensionales (5'). El resultado es la colocación y adecuación de las representaciones virtuales bidimensionales (5') de modo que proporcionen una sensación de profundidad al usuario (13).The graphics adaptation process (15) of the three-dimensional virtual objects (5) in representations Two-dimensional virtual (5 ') is based on information about the angle that three-dimensional graphic objects (5) differ with respect to a reference value Zero-View-Vector, which represents the central point of a coordinate system. Then the process graphics adaptation (15) convert graphic objects three-dimensional (5) in their respective virtual representations two-dimensional (5 '). The result is the placement and adaptation of the two-dimensional virtual representations (5 ') so that provide a feeling of depth to the user (13).
Seguidamente, el proceso de aumento (16) combina las representaciones virtuales bidimensionales (5') con la imagen real (6) grabada por la cámara real (2) para obtener la imagen aumentada (6'). Al mirar esta imagen aumentada (6'), el usuario (13) puede disfrutar del paisaje y de la información proporcionada por las representaciones virtuales bidimensionales (5'). Esta información es útil (ya que contiene los nombres de las atracciones turísticas y cualquier otra información interesante) y clara (ya que se presenta en perspectiva, simulando los objetos en el entorno).Next, the augmentation process (16) combines the two-dimensional virtual representations (5 ') with the image real (6) recorded by the real camera (2) to get the image increased (6 '). When looking at this enlarged image (6 '), the user (13) you can enjoy the landscape and the information provided by two-dimensional virtual representations (5 '). This Information is useful (as it contains the names of attractions tourist and any other interesting information) and clear (since It is presented in perspective, simulating the objects in the environment).
El proceso de transformación de las coordinadas espaciales definidas por los objetos gráficos tridimensionales (5) en un entorno real en coordenadas bidimensionales que definen los pixels que se visualizan en un dispositivo de visualización (8) es un elemento clave en la presente invención. Tal y como se ha explicado previamente, este proceso se realiza aplicando una aproximación innovadora, construyendo un "mundo virtual" y capturando una imagen de dicho "mundo virtual" de la misma forma en la que la cámara real (2) graba la imagen real (6). A continuación, la imagen aumentada (6') superpone el mundo real y el mundo virtual para conseguir el efecto de aumento, haciendo confluir ambos mundos en un nuevo "mundo aumentado".The process of transformation of the coordinates Spatial defined by three-dimensional graphic objects (5) in a real environment in two-dimensional coordinates that define the pixels that are displayed on a display device (8) is a key element in the present invention. As it has been explained previously, this process is done by applying a innovative approach, building a "virtual world" and capturing an image of said "virtual world" of it way in which the real camera (2) records the real image (6). TO then the enlarged image (6 ') superimposes the real world and the virtual world to achieve the effect of increasing, bringing together both worlds in a new "augmented world".
Adicionalmente, y tal y como muestra la Figura 4, la invención permite hacer zoom sobre la imagen aumentada (6'). Al hacer zoom, las representaciones virtuales bidimensionales (5') no sólo se reescalan, sino que también se recolocan, de modo que continúan situadas sobre los objetos que aumentan. Esto quiere decir que, al hacer zoom, la invención garantiza que los puntos de vista de la cámara real (2) y de la cámara virtual (22) están ajustados en todos los instantes.Additionally, and as shown in Figure 4, the invention allows zooming in on the enlarged image (6 '). When zooming, the two-dimensional virtual representations (5 ') not only do they rescale, but they also reposition themselves, so that they continue to be placed on the objects that increase. This wants say that by zooming in, the invention guarantees that the points of view of the real camera (2) and the virtual camera (22) are adjusted in every moment.
El usuario (13) activa el proceso de zoom interactuando con los dos botones que se encuentran en el lado izquierdo (19) del sistema (1). Los botones están conectados a la unidad de procesamiento (3), de modo que cuando el usuario (13) actúa sobre ellos, la unidad de procesamiento (3) modifica el zoom de la cámara virtual (22) y envía un comando a la cámara real (2) para que cambie sus parámetros de control del zoom de forma sincronizada.The user (13) activates the zoom process interacting with the two buttons that are on the side left (19) of the system (1). The buttons are connected to the processing unit (3), so that when the user (13) act on them, the processing unit (3) modifies the zoom from the virtual camera (22) and send a command to the real camera (2) to change its zoom control parameters so synchronized
El ajuste de los parámetros de control de la cámara real (2) y la cámara virtual (22) debe hacerse de forma dinámica en tiempo real, mientras funciona el sistema (1), para conseguir alinear correctamente la imagen real (6) y las representaciones virtuales bidimensionales (5'). Debido al sistema mecánico de zoom de la cámara real (2), existe un retardo entre el ajuste del valor del zoom de la cámara virtual (22) y la actualización mecánica del zoom de la cámara real (2). Este retardo en el cambio entre dos posiciones del zoom es percibido por el usuario (13). Otra limitación mecánica del sistema de la cámara real (2) es que la velocidad del zoom de dicha cámara real (2) no es lineal, debido a los procesos de aceleración y deceleración al inicio y al final.The adjustment of the control parameters of the real camera (2) and virtual camera (22) must be done real-time dynamics, while the system is working (1), to correctly align the real image (6) and the two-dimensional virtual representations (5 '). Due to system real camera zoom mechanic (2), there is a delay between the setting the zoom value of the virtual camera (22) and the mechanical update of the real camera zoom (2). This delay in the change between two zoom positions is perceived by the user (13). Another mechanical limitation of the real camera system (2) is that the zoom speed of said real camera (2) is not linear, due to the acceleration and deceleration processes at Start and end.
Teóricamente, sería necesario disponer de una conexión y un intercambio de datos continuos entre la cámara virtual (22) y la cámara real (2) para que existiera una correspondencia entre los parámetros de ambas cámaras en cualquier instante de tiempo. Sin embargo, en la práctica, no es posible conseguir un intercambio de datos continuos debido a las limitaciones mecánicas de la cámara real (2). Además, existe un retardo de tiempo desde que la unidad de procesamiento (3) envía un comando para conocer el estado de la cámara real (2) y hasta que la cámara real (2) devuelve su estado a la unidad de procesamiento (3). Este retardo se incrementa debido a la baja velocidad de actualización de los valores de los parámetros del zoom de la cámara real (2).Theoretically, it would be necessary to have a connection and continuous data exchange between the camera virtual (22) and the real camera (2) so that there was a correspondence between the parameters of both cameras in any instant of time. However, in practice, it is not possible achieve continuous data exchange due to mechanical limitations of the real camera (2). In addition, there is a time delay since the processing unit (3) sends a command to know the status of the real camera (2) and until the real camera (2) returns its status to the processing unit (3). This delay is increased due to the low speed of update of the values of the zoom parameters of the real camera (2).
La invención propone un método para actualizar y ajustar los valores del zoom de las cámaras real (2) y virtual (22), un ejemplo del cual se muestra en la Figura 5, de modo que ambos valores sean coincidentes en todos los instantes de tiempo a pesar de las limitaciones mecánicas y los retrasos de la cámara real (2). En la Figura 5, el ángulo de vista inicial de ambas cámaras real (2) y virtual (22) se fija en un valor de 48º. De acuerdo con el modo de realización preferente de la invención, cuando el usuario (13) interactúa con uno de los botones del lado izquierdo (19) del sistema (1) para hacer zoom aumentando la imagen, la cámara virtual (22) y la cámara real (2) comienzan a hacer zoom. Como se ha mencionado previamente, existen algunos retrasos en la cámara real (2) para seguir el proceso de zoom, es decir, la cámara real (2) hace zoom de forma más lenta que la cámara virtual (22). Para sincronizar el valor del zoom de la cámara real (2) con el valor instantáneo del zoom de la cámara virtual (22), la unidad de procesamiento (3) recibe un comando de ajuste (25) de la cámara virtual (22) indicando su valor instantáneo de zoom. La unidad de procesamiento (3) fija entonces el zoom de la cámara real (2) con el valor del zoom de la cámara virtual (22). Sin embargo, si el usuario (13) continúa haciendo zoom, el valor del zoom de la cámara virtual (22) sigue cambiando. Por ello, este proceso se repite hasta que el usuario (13) detiene el zoom (hasta que transcurre un tiempo t de acuerdo con la Figura 5). En otras palabras, el ajuste entre los zooms de la cámara real (2) y de la cámara virtual (22) se realiza de una manera discreta iterativa, de modo que la cámara real (2) relativamente más lenta sigue al zoom instantáneo de la cámara virtual (22).The invention proposes a method for updating and adjust the zoom values of the real (2) and virtual cameras (22), an example of which is shown in Figure 5, so that both values are coincident in all moments of time at despite mechanical limitations and camera delays real (2). In Figure 5, the initial angle of view of both Real (2) and virtual (22) cameras are set at a value of 48º. From according to the preferred embodiment of the invention, when the user (13) interacts with one of the buttons on the side left (19) of the system (1) to zoom by increasing the image, the virtual camera (22) and the real camera (2) begin to zoom in As previously mentioned, there are some delays in the real camera (2) to follow the zoom process, is that is, the real camera (2) zooms slower than the virtual camera (22). To synchronize the zoom value of the real camera (2) with instant camera zoom value virtual (22), the processing unit (3) receives a command from setting (25) of the virtual camera (22) indicating its instantaneous value Zoom The processing unit (3) then fixes the zoom of the real camera (2) with the zoom value of the virtual camera (22). However, if the user (13) continues to zoom, the value of the virtual camera zoom (22) keeps changing. Therefore, this process is repeated until the user (13) stops the zoom (until a time t elapses according to Figure 5). In others words, the adjustment between the zooms of the real camera (2) and the Virtual camera (22) is performed in an iterative discrete manner, of so that the relatively slower real camera (2) follows the zoom Virtual camera snapshot (22).
Hay que mencionar que el zoom de la cámara real (2) sólo suele poder adoptar un conjunto de valores discretos debido a su configuración mecánica. Tal y como se muestra en la Figura 5, cuando la unidad de procesamiento (3) recibe información del valor específico del zoom de la cámara virtual (22), por ejemplo, 45º, la unidad de procesamiento (3) trata de fijar el zoom de la cámara real (2) en el valor de 45º. Sin embargo, el zoom de la cámara real (2) alcanza este valor específico con un error "e" (positivo o negativo). Debido a este error, al final del proceso, la unidad de procesamiento (3) debe leer el valor final del zoom de la cámara real (2), que será ligeramente diferente al valor final del zoom de la cámara virtual (22) debido al error "en". A continuación, la unidad de procesamiento (3) envía un comando de afinamiento (26) a la cámara virtual (22), de modo que el valor final de la cámara virtual (22) se actualiza con el valor final del zoom de la cámara real (2).It should be mentioned that the real camera zoom (2) you can usually only adopt a set of discrete values Due to its mechanical configuration. As shown in the Figure 5, when the processing unit (3) receives information of the specific value of the virtual camera zoom (22), by example, 45º, the processing unit (3) tries to fix the zoom of the real camera (2) in the value of 45º. However, the zoom of the real camera (2) reaches this specific value with an error "e" (positive or negative). Because of this error, at the end of process, the processing unit (3) must read the final value of the real camera zoom (2), which will be slightly different from the value end of the virtual camera zoom (22) due to the "in" error. Next, the processing unit (3) sends a command of tuning (26) to the virtual camera (22), so that the value end of the virtual camera (22) is updated with the final value of the real camera zoom (2).
El parámetro de control de zoom de algunas cámaras reales (2) utilizadas en la práctica está codificado en formato hexadecimal. Por ello, cuando la unidad de procesamiento (3) recibe un comando de ajuste (25) de la cámara virtual (22) indicando el valor actual del zoom de la cámara virtual (22), la unidad de procesamiento (3) transforma este valor en un código hexadecimal antes de enviarlo a la cámara real (2) y viceversa.The zoom control parameter of some Real cameras (2) used in practice are encoded in hexadecimal format. Therefore, when the processing unit (3) receive an adjustment command (25) from the virtual camera (22) indicating the current value of the virtual camera zoom (22), the processing unit (3) transforms this value into a code hexadecimal before sending it to the real camera (2) and vice versa.
Las especificaciones de las cámaras reales (2) existentes en el mercado suelen incluir una tabla que relaciona un conjunto de ángulos de vista con los correspondientes valores hexadecimales de los parámetros de control. Por ejemplo, en el modo de realización preferente, los valores hexadecimales de los parámetros de control del zoom oscilan entre 0 y 4000, representando ángulos de vista entre 4.8º (zoom máximo) y 48º (sin ningún tipo de zoom). Esto significa que se conocen los valores de los ángulos de vista para estos valores hexadecimales específicos. Sin embargo, la mayor parte de los valores hexadecimales y sus ángulos correspondientes no se incluyen en la tabla. Para poder calcular cualquier código hexadecimal para cualquier ángulo de vista y viceversa, la invención propone la utilización de algoritmos de interpolación basados en la tabla de especificaciones de la cámara real (2). Por ejemplo, para la cámara real (2) del modo de realización preferente de la invención, se proponen las siguientes ecuaciones de interpolación:The specifications of the real cameras (2) existing in the market usually include a table that relates a set of view angles with corresponding values Hexadecimal control parameters. For example, in the mode of preferred embodiment, the hexadecimal values of the Zoom control parameters range from 0 to 4000, representing Viewing angles between 4.8º (maximum zoom) and 48º (without any kind of zoom). This means that the values of the angles of view for these specific hexadecimal values. However, the most of the hexadecimal values and their angles corresponding are not included in the table. In order to calculate any hexadecimal code for any angle of view and vice versa, the invention proposes the use of algorithms of interpolation based on camera specification table real (2). For example, for the real camera (2) of the mode preferred embodiment of the invention, the following are proposed interpolation equations:
y = -0.2274x^{3} + 22.593x^{2} - 949.94x + 18690,y = -0.2274x3 + 22.593x2 - 949.94x + 18690,
donde y es el valor del parámetro de control del zoom en hexadecimal y x es el ángulo de vista actual de la cámara real (2). Cuando recibe un comando de ajuste (25) que incluye el ángulo de vista de la cámara virtual (22), la unidad de procesamiento (3) utiliza esta ecuación para calcular el código hexadecimal correspondiente que se envía a la cámara real (2).where and is the parameter value zoom control in hexadecimal and x is the current angle of view of the real camera (2). When you receive an adjustment command (25) that includes the angle of view of the virtual camera (22), the unit of processing (3) use this equation to calculate the code corresponding hexadecimal that is sent to the real camera (2).
x = -2.87*10^{12} y^{3} + 1.99*10^{7} y^{2} * -0.00525077y + 48,x = -2.87 * 10 12 and 3 + 1.99 * 10 7 and 2 * -0.00525077y + 48,
donde x es el ángulo de vista de la cámara real (2) e y es el valor hexadecimal del parámetro de control del zoom. Una vez leído el valor del parámetro de control del zoom de la cámara real (2) en formato hexadecimal, la unidad de procesamiento (3) utiliza esta ecuación para calcular el ángulo de vista correspondiente que se enviará a la cámara virtual (22) como comando de afinamiento (26).where x is the angle of view of the real camera (2) e y is the hexadecimal value of the parameter of zoom control After reading the value of the control parameter of the zoom of the real camera (2) in hexadecimal format, the unit of processing (3) uses this equation to calculate the angle of corresponding view that will be sent to the virtual camera (22) as tuning command (26).
Tal y como se ha explicado previamente, la invención se aplica al sector del turismo cultural, que es una de las áreas futuras clave para la creación y el afianzamiento de las industrias culturales. Las técnicas de Realidad Aumentada propuestas para acceder y entender los contenidos turísticos y culturales son formas de presentación altamente visuales e interactivas. Por lo tanto, estas aproximaciones tecnológicas son un valor añadido, que permite que los visitantes experimenten la historia asociada a un entorno real de una forma personalizada.As previously explained, the invention applies to the cultural tourism sector, which is one of the key future areas for the creation and consolidation of cultural industries Augmented Reality techniques proposals to access and understand tourist content and cultural are highly visual forms of presentation and interactive Therefore, these technological approaches are a added value, which allows visitors to experience the history associated with a real environment in a personalized way.
Como un primer ejemplo de aplicación de la
invención, el lector puede imaginar la vista de una ciudad desde
una colina cercana. La invención está colocada en lo alto de la
colina para permitir una "visita" a algunas de las atracciones
turísticas y elementos del entorno, y para recibir información sobre
cada una de estas atracciones. Por ejemplo, se puede elegir una
catedral o una isla en medio de la bahía para recibir información
multimedia
adicional.As a first example of application of the invention, the reader can imagine the view of a city from a nearby hill. The invention is placed at the top of the hill to allow a "visit" to some of the tourist attractions and elements of the environment, and to receive information about each of these attractions. For example, you can choose a cathedral or an island in the middle of the bay to receive multimedia information
additional.
Sin embargo, los modos de realización de la invención no están limitados a los entornos turísticos, sino que se pueden extender a una gran variedad de experiencias lúdicas y culturales. Escenarios similares pueden describirse en situaciones como las instituciones culturales, salas de exposición, turismo de naturaleza, ferias o cualquier otro escenario en el que aparezcan objetos y recursos que pueden aumentarse mediante Gráficos por Ordenador o contenidos multimedia adicionales.However, the embodiments of the invention are not limited to tourist environments, but are can extend to a wide variety of playful experiences and cultural. Similar scenarios can be described in situations such as cultural institutions, exhibition halls, tourism nature, fairs or any other scenario in which they appear objects and resources that can be augmented by Graphics by Computer or additional multimedia content.
Como un segundo ejemplo, se puede mencionar la aplicación de la invención para piezas de arte culturales y artísticas, monumentos y piezas únicas. El uso de técnicas de restauración actuales como los rayos infrarrojos se está generalizando entre las instituciones culturales. Así, se ha encontrado información oculta detrás de la primera capa de los cuadros. El visitante de un museo puede utilizar la invención delante de un cuadro para obtener información adicional invisible e interactuar con las diferentes partes del lienzo. Los museos y las instituciones culturales pueden definir un precio por el contenido que se muestra utilizando la invención.As a second example, the application of the invention for cultural art pieces and artistic, monuments and unique pieces. The use of techniques current restoration as infrared rays are being generalizing among cultural institutions. So, it has found information hidden behind the first layer of the picture. The visitor of a museum can use the invention in front of a box to get additional invisible information and interact with the different parts of the canvas. The museums and the cultural institutions can define a price for the content shown using the invention.
Un tercer ejemplo puede ser el aumento de objetos que se muestran en ferias comerciales. La máquina herramienta se suele mostrar en grandes ferias. Uno de los principales problemas de los fabricantes es que no pueden mostrar todas las funcionalidades de las máquinas en la feria. La invención puede proporcionar más información sobre los componentes y el funcionamiento real de las máquinas.A third example may be the increase in Objects shown at trade shows. Machine tool is usually shown in large fairs. One of the main problems of manufacturers is that they can't show All the functionalities of the machines at the fair. The invention can provide more information about the components and the real operation of the machines.
En un ejemplo final de la invención, el lector puede considerar el caso de los excursionistas que quieren conocer más datos sobre los paisajes, la flora y la fauna mientras que caminan por el medio rural. La invención puede proporcionar información adicional en la cima de las montañas, como el nombre de los diferentes picos del entorno, la forma de acceso o la diversidad en fauna y flora.In a final example of the invention, the reader You can consider the case of hikers who want to meet more data on landscapes, flora and fauna while They walk through the rural environment. The invention can provide additional information at the top of the mountains, such as the name of the different peaks of the environment, the way of access or diversity in fauna and flora.
Aunque esta invención se ha presentado y descrito en relación a sus modos de realización preferentes, resulta evidente que se realizarán algunos cambios y modificaciones adicionales a los previamente mencionados sobre las características básicas de la invención. Adicionalmente, existe una gran diversidad de tipos de software y hardware que se pueden utilizar a la hora de materializar la invención, y la invención no se limita a los ejemplos previamente descritos. Por ello, los solicitantes protegen todas las variaciones y modificaciones dentro del ámbito de aplicación de la presente invención. La invención se define mediante las siguientes reivindicaciones, incluyendo todas las equivalentes.Although this invention has been presented and described in relation to their preferred embodiments, it is clear that some changes and modifications will be made additional to those previously mentioned about the characteristics Basic of the invention. Additionally, there is great diversity of types of software and hardware that can be used when materialize the invention, and the invention is not limited to previously described examples. Therefore, applicants protect all variations and modifications within the scope of Application of the present invention. The invention is defined. by the following claims, including all equivalent.
Claims (14)
- --
- una cámara real (2) para grabar la imagen real (6) desde el punto de vista del usuario (13),a real camera (2) to record the real image (6) from the point of user view (13),
- --
- una base de datos (4) con un conjunto de objetos gráficos tridimensionales (5) que proporcionan información gráfica capaz de aumentar la imagen real (6),a database (4) with a set of graphic objects three-dimensional (5) that provide graphical information capable of increase the real image (6),
- --
- un sistema de seguimiento (9) que calcula y registra la posición del dispositivo de visualización (8),a tracking system (9) that calculates and records the position of the display device (8),
- --
- una unidad de procesamiento (3), que convierte los objetos gráficos tridimensionales (5) en representaciones virtuales bidimensionales (5') en función de la posición del dispositivo de visualización (8) calculada por el sistema de seguimiento (9), y que construye la imagen aumentada (6') mediante la composición de las representaciones virtuales bidimensionales (5') de los objetos gráficos (5) y la imagen real (6),a processing unit (3), which converts graphic objects three-dimensional (5) in two-dimensional virtual representations (5 ') depending on the position of the display device (8) calculated by the tracking system (9), and that builds the enlarged image (6 ') by composing the two-dimensional virtual representations (5 ') of objects graphics (5) and the real image (6),
- --
- un dispositivo de visualización (8) para la visualización de la imagen aumentada (6'),a display device (8) for image display increased (6 '),
- --
- medios de interacción (11) que proporcionan una interfaz de usuario.media interaction (11) that provide an interface of Username.
- --
- proveer a una unidad de procesamiento (3) con una base de datos (4) que incluye una serie de objetos gráficos tridimensionales (5) que proporcionan contenidos interesantes capaces de aumentar la imagen real (6),provide a processing unit (3) with a database (4) that includes a series of objects three-dimensional graphics (5) that provide content interesting capable of increasing the real image (6),
- --
- grabar la imagen real (6) desde el punto de vista del usuario (13) utilizando una cámara real (2),Record the real image (6) from the user's point of view (13) using a real camera (2),
- --
- seguir la posición de un dispositivo de visualización (8) mediante un sistema de seguimiento (9),follow the position of a display device (8) by means of a tracking system (9),
- --
- transformar los objetos gráficos tridimensionales (5) en representaciones virtuales bidimensionales (5') en función de la posición del dispositivo de visualización (8) calculada por el sistema de seguimiento (9), y generar la imagen aumentada (6') alineando las representaciones virtuales bidimensionales (5') y la imagen real (6),transform graphic objects three-dimensional (5) in two-dimensional virtual representations (5 ') depending on the position of the display device (8) calculated by the tracking system (9), and generate the image augmented (6 ') by aligning virtual representations two-dimensional (5 ') and the real image (6),
- --
- visualizar la imagen aumentada (6') mediante un dispositivo de visualización (8),display the enlarged image (6 ') by means of a display device (8),
- --
- adaptar la imagen aumentada (6') en función de los cambios en la posición del dispositivo de visualización (8) o en función de los comandos del usuario a través de los medios de interacción (11), permitiendo que el usuario (13) interaccione con áreas de interés de la imagen real (6).adapt the enlarged image (6 ') in function of changes in the position of the device display (8) or based on user commands through of the means of interaction (11), allowing the user (13) interact with areas of interest of the real image (6).
- --
- el usuario (13) interactúa con los medios de interacción (11) para cambiar el grado de zoom de la imagen aumentada (6'),he user (13) interacts with the interaction means (11) to change the zoom ratio of the enlarged image (6 '),
- --
- la unidad de procesamiento (3) cambia el valor del zoom de la cámara real (2) y cambia adecuadamente las representaciones virtuales bidimensionales (5') de los objetos gráficos tridimensionales (5),the Processing unit (3) changes the camera's zoom value real (2) and properly change virtual representations two-dimensional (5 ') of the three-dimensional graphic objects (5),
- --
- la unidad de procesamiento (3) recompone la imagen aumentada (6') en función de la nueva posición del zoom.the processing unit (3) recomposes the enlarged image (6 ') in function of the new zoom position.
x = -2.87*10^{12}y^{3} + 1.99*10^{7}y^{2} * -0.00525077y + 48.13. Method according to claim 10, characterized in that the processing unit (3) reads the zoom value of the real camera (2) in the form of a hexadecimal value and, and converts the three-dimensional graphic objects (5) into their corresponding two-dimensional virtual representations (5 ') based on an angle of view x given by
x = -2.87 * 10 12 y 3 + 1.99 * 10 7 y 2 * -0.00525077y + 48.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES200602922A ES2300204B1 (en) | 2006-11-16 | 2006-11-16 | SYSTEM AND METHOD FOR THE DISPLAY OF AN INCREASED IMAGE APPLYING INCREASED REALITY TECHNIQUES. |
PCT/ES2007/000645 WO2008059086A1 (en) | 2006-11-16 | 2007-11-13 | System and method for displaying an enhanced image by applying enhanced-reality techniques |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES200602922A ES2300204B1 (en) | 2006-11-16 | 2006-11-16 | SYSTEM AND METHOD FOR THE DISPLAY OF AN INCREASED IMAGE APPLYING INCREASED REALITY TECHNIQUES. |
Publications (2)
Publication Number | Publication Date |
---|---|
ES2300204A1 ES2300204A1 (en) | 2008-06-01 |
ES2300204B1 true ES2300204B1 (en) | 2009-05-01 |
Family
ID=39015743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES200602922A Expired - Fee Related ES2300204B1 (en) | 2006-11-16 | 2006-11-16 | SYSTEM AND METHOD FOR THE DISPLAY OF AN INCREASED IMAGE APPLYING INCREASED REALITY TECHNIQUES. |
Country Status (2)
Country | Link |
---|---|
ES (1) | ES2300204B1 (en) |
WO (1) | WO2008059086A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2998680B1 (en) * | 2012-11-26 | 2015-01-16 | Laurent Desombre | NAVIGATION METHOD IN AN ENVIRONMENT ASSOCIATED WITH AN INTERACTIVE PERISCOPE WITH A VIRTUAL REALITY |
EP3055833A4 (en) * | 2013-10-10 | 2017-06-14 | Selverston, Aaron | Outdoor, interactive 3d viewing apparatus |
US20180255285A1 (en) * | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
FR3104290B1 (en) * | 2019-12-05 | 2022-01-07 | Airbus Defence & Space Sas | SIMULATION BINOCULARS, AND SIMULATION SYSTEM AND METHODS |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064398A (en) * | 1993-09-10 | 2000-05-16 | Geovector Corporation | Electro-optic vision systems |
US7301536B2 (en) * | 1993-09-10 | 2007-11-27 | Geovector Corporation | Electro-optic vision systems |
US20020082498A1 (en) * | 2000-10-05 | 2002-06-27 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
US7050078B2 (en) * | 2002-12-19 | 2006-05-23 | Accenture Global Services Gmbh | Arbitrary object tracking augmented reality applications |
SE0203908D0 (en) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
EP1784787A4 (en) * | 2004-08-23 | 2007-10-17 | Gamecaster Inc | Apparatus, methods and systems for viewing and manipulating a virtual environment |
DE102004044718A1 (en) * | 2004-09-10 | 2006-03-16 | Volkswagen Ag | Augmented reality help instruction generating system for e.g. aircraft, has control unit producing help instruction signal, representing help instruction in virtual space of three-dimensional object model, as function of interaction signal |
DE102004046144A1 (en) * | 2004-09-23 | 2006-03-30 | Volkswagen Ag | Augmented reality system used for planning a production plant layout has camera system to enter units into a central controller where they are combined and then stored in data base |
-
2006
- 2006-11-16 ES ES200602922A patent/ES2300204B1/en not_active Expired - Fee Related
-
2007
- 2007-11-13 WO PCT/ES2007/000645 patent/WO2008059086A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
ES2300204A1 (en) | 2008-06-01 |
WO2008059086A1 (en) | 2008-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3592444B1 (en) | Mixed reality viewer system and method | |
US9268406B2 (en) | Virtual spectator experience with a personal audio/visual apparatus | |
ES2688643T3 (en) | Apparatus and augmented reality method | |
CN107209565B (en) | Method and system for displaying fixed-size augmented reality objects | |
CN109584295A (en) | The method, apparatus and system of automatic marking are carried out to target object in image | |
JP2008520052A5 (en) | ||
KR20140082610A (en) | Method and apaaratus for augmented exhibition contents in portable terminal | |
US20130249792A1 (en) | System and method for presenting images | |
JP2003264740A (en) | Observation scope | |
Hoberman et al. | Immersive training games for smartphone-based head mounted displays | |
US11532138B2 (en) | Augmented reality (AR) imprinting methods and systems | |
Sandnes et al. | Head-mounted augmented reality displays on the cheap: a DIY approach to sketching and prototyping low-vision assistive technologies | |
ES2300204B1 (en) | SYSTEM AND METHOD FOR THE DISPLAY OF AN INCREASED IMAGE APPLYING INCREASED REALITY TECHNIQUES. | |
WO2007129065A1 (en) | Virtual display method and apparatus | |
Woletz | Interfaces of immersive media | |
Luchev et al. | Presenting Bulgarian Cultural and Historical Sites with Panorama Pictures | |
Mohammed-Amin | Augmented reality: A narrative layer for historic sites | |
CN112639889A (en) | Content event mapping | |
Cohen et al. | A multiuser multiperspective stereographic QTVR browser complemented by java3D visualizer and emulator | |
DeHart | Directing audience attention: cinematic composition in 360 natural history films | |
Cardoso | Accessible tangible user interfaces in extended reality experiences for cultural heritage | |
Beckwith et al. | Parallax: Dancing the Digital Space | |
Hamadouche | Augmented reality X-ray vision on optical see-through head mounted displays | |
Shikhri | A 360-Degree Look at Virtual Tours: Investigating Behavior, Pain Points and User Experience in Online Museum Virtual Tours | |
Rajkumar | Best of Both Worlds: Merging 360˚ Image Capture with 3D Reconstructed Environments for Improved Immersion in Virtual Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
EC2A | Search report published |
Date of ref document: 20080601 Kind code of ref document: A1 |
|
FG2A | Definitive protection |
Ref document number: 2300204B1 Country of ref document: ES |
|
FD2A | Announcement of lapse in spain |
Effective date: 20180912 |