ES2688643T3 - Aparato y método de realidad aumentada - Google Patents

Aparato y método de realidad aumentada Download PDF

Info

Publication number
ES2688643T3
ES2688643T3 ES13774768.9T ES13774768T ES2688643T3 ES 2688643 T3 ES2688643 T3 ES 2688643T3 ES 13774768 T ES13774768 T ES 13774768T ES 2688643 T3 ES2688643 T3 ES 2688643T3
Authority
ES
Spain
Prior art keywords
camera
virtual image
image
screen
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13774768.9T
Other languages
English (en)
Inventor
Christopher George KNIGHT
James Patrick RILEY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
2MEE Ltd
Original Assignee
2MEE Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 2MEE Ltd filed Critical 2MEE Ltd
Application granted granted Critical
Publication of ES2688643T3 publication Critical patent/ES2688643T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

Un aparato para visualizar una realidad aumentada en una pantalla de un dispositivo portátil (10) que tiene una cámara, el aparato que comprende una unidad de identificación del contexto para identificar una vista de la cámara de al menos una imagen real capturada por la cámara, una unidad de recuperación de imagen virtual para seleccionar y visualizar una imagen virtual (14) en la pantalla y una unidad de posicionamiento de imagen virtual para posicionar la imagen virtual en la pantalla, caracterizado porque el aparato se dispone durante el uso para visualizar la imagen virtual, que comprende el contenido de una imagen de video del mundo real capturada electrónicamente desde una realidad diferente, que se corta de esa realidad diferente y se trasplanta a la capturada por la cámara, mientras el usuario ve la imagen capturada por la cámara y en donde el posicionamiento de la imagen virtual por la unidad de posicionamiento incluye anclar la imagen virtual, y dimensionar la imagen virtual, con respecto a la vista de la cámara determinada por la unidad de identificación de contexto, para crear la ilusión de que el contenido de la imagen virtual está presente en el campo de visión de la cámara en tiempo real en la pantalla.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Aparato y método de realidad aumentada
La presente invención se refiere a un aparato y a un método para proporcionar una experiencia de realidad aumentada, y se refiere particularmente a un aparato y a un método para proporcionar una experiencia de realidad aumentada en un dispositivo portátil que tiene una cámara.
La realidad aumentada, en la cual se mejora la visualización de un entorno del mundo real mediante el uso de entradas generadas por ordenadores, está disponible en varias plataformas, que incluye pantallas de televisión, pantallas táctiles, y hasta cierto punto, dispositivos portátiles como teléfonos móviles.
El uso de dispositivos portátiles, como teléfonos móviles, como cámaras se ha mejorado con la disponibilidad de pequeños programas descargables especializados, conocidos informalmente como aplicaciones. Muchos de estos incluyen efectos visuales generados por ordenadores que pueden combinarse con una "vista en vivo" a través de la cámara, para proporcionar al usuario un grado de realidad aumentada para una imagen mejorada o entretenimiento. Sin embargo, la incorporación de secuencias de video en la vista en vivo de una cámara demuestra ser difícil debido a la capacidad de procesamiento limitada disponible en la mayoría de los dispositivos portátiles, y la falta de una base de código funcional provista con las estructuras incorporadas.
El documento WO 2012/109182 A1 describe un dispositivo informático móvil que incluye un módulo de captura de video para capturar una secuencia de video, un módulo de sistema de posicionamiento global (GPS) para generar información geográfica asociada con los cuadros de la secuencia de video que capturará el dispositivo de captura de video, y un módulo de procesamiento de video para analizar los cuadros de la secuencia de video y extraer las características de los puntos de interés incluidos en los cuadros. El procesamiento de video se configura para transmitir las características de los puntos de interés y la información geográfica a un servidor y para recibir información de aumento desde el servidor mediante el uso de comunicación inalámbrica. El módulo de procesamiento de video usa la información de aumento para superponer los cuadros de la secuencia de video para generar una secuencia de video aumentada.
El documento WO 2012/001218 A1 describe un aparato para proporcionar un nivel constante de información en un entorno de realidad aumentada que puede incluir un procesador y memoria que almacena un código de programa informático ejecutable que hace que el aparato realice al menos operaciones que incluyen la determinación de un primer número de puntos de interés asociado con un primer conjunto de objetos del mundo real de una(s) ubicación(es) actual(es). El primer conjunto de objetos del mundo real se muestra actualmente. El código de programa informático puede provocar además que el aparato determine si el primer número está por debajo de un umbral predeterminado y puede aumentar el rango de visión de un dispositivo para visualizar un segundo conjunto de objetos del mundo real. El rango de visión puede aumentarse para aumentar el primer número a un segundo número de puntos de interés que corresponde al umbral, en base a determinar que el primer número está por debajo del umbral. También se proporcionan métodos y productos de programa informático correspondientes.
El documento US 2010/0309225 A1 describe un sistema y método para la realidad aumentada móvil. En ciertas modalidades, se adquiere una primera imagen en un dispositivo. La información correspondiente con al menos una segunda imagen que coincide con la primera imagen se obtiene de un servidor. Una imagen mostrada en el dispositivo se aumenta con la información obtenida.
Las modalidades de la presente invención pretenden proporcionar un aparato y un método para incorporar una imagen aparentemente en movimiento en una vista de cámara en vivo de un dispositivo portátil.
La presente invención se define en las reivindicaciones independientes adjuntas a las que se debe hacer ahora referencia. Además, las características preferidas se pueden encontrar en las subreivindicaciones adjuntas a la misma.
De acuerdo con un aspecto de la presente invención se proporciona un aparato para visualizar una realidad aumentada en una pantalla de un dispositivo portátil que tiene una cámara, el aparato que comprende una unidad de identificación del contexto para identificar un contexto de al menos una imagen real capturada por el dispositivo, una unidad de recuperación de imagen virtual para seleccionar y visualizar una imagen virtual en la pantalla y una unidad de posicionamiento de imagen virtual para posicionar la imagen virtual en la pantalla, en donde el aparato se dispone para visualizar una imagen virtual que comprende una imagen del mundo real móvil, capturada electrónicamente.
Preferentemente la imagen virtual es una que se ha almacenado previamente.
En una disposición preferida la imagen virtual comprende una secuencia de imágenes fijas tomadas de un video en movimiento.
Alternativa o adicionalmente la imagen virtual puede comprender una imagen de video en movimiento continuo.
5
10
15
20
25
30
35
40
45
50
55
60
65
La imagen virtual puede comprender una imagen de una persona o criatura, o podría ser cualquier otro objeto o elemento del "mundo real".
En una disposición preferida, la unidad de identificación de contexto se dispone durante el uso para identificar un contexto mediante la comparación en una disposición preferida, la unidad de identificación de contexto se dispone durante el uso para identificar un contexto mediante la comparación de al menos un objeto en un campo de visión con los datos almacenados de una pluralidad de objetos. La unidad de recuperación de imágenes se dispone preferentemente para seleccionar una imagen a partir de una pluralidad de imágenes almacenadas de acuerdo con la información del contexto determinada por la unidad de identificación del contexto. La unidad de posicionamiento se dispone preferentemente durante el uso para posicionar la imagen virtual de acuerdo con la información del contexto determinada por la unidad de identificación del contexto.
El posicionamiento de la imagen por la unidad de posicionamiento incluye el dimensionamiento de la imagen en la pantalla, e incluye el anclaje de la imagen en la pantalla, con respecto a la información del contexto determinada por la unidad de identificación del contexto.
La unidad de identificación del contexto, y/o la unidad de recuperación de imagen virtual, y/o la unidad de posicionamiento de imagen virtual pueden comprender procesos dispuestos durante el uso que van a realizarse por uno o más dispositivos de procesamiento electrónico.
La invención incluye además un método para visualizar una realidad aumentada en una pantalla de un dispositivo portátil que tiene una cámara, el método que comprende identificar un contexto de al menos una imagen real capturada por el dispositivo y seleccionar y posicionar una imagen virtual en la pantalla, en donde el método comprende visualizar una imagen virtual que comprende una imagen del mundo real móvil, capturada electrónicamente.
Preferentemente la imagen virtual es una que se ha almacenado previamente.
En una disposición preferida, la imagen virtual comprende una secuencia de imágenes fijas tomadas de un video en movimiento.
En una disposición preferida el método comprende identificar un contexto comparando al menos un objeto en el campo de visión con los datos almacenados de una pluralidad de objetos. El método preferentemente comprende seleccionar una imagen de una pluralidad de imágenes almacenadas de acuerdo con la información del contexto determinada. El método comprende además posicionar la imagen virtual de acuerdo con la información del contexto determinada por la unidad de identificación del contexto.
El posicionamiento de la imagen por la unidad de posicionamiento incluye el dimensionamiento de la imagen en la pantalla e incluye el anclaje de la imagen en la pantalla con respecto a la información del contexto determinada por la unidad de identificación del contexto.
La invención comprende además un programa para hacer que un dispositivo realice un método para visualizar una realidad aumentada en una pantalla de un dispositivo portátil que tiene una cámara, el método que comprende identificar un contexto de al menos una imagen real capturada por el dispositivo y seleccionar y posicionar una imagen virtual en la pantalla, en donde el método comprende visualizar una imagen virtual que comprende una imagen del mundo real móvil, capturada electrónicamente.
El programa puede contenerse dentro de una aplicación. La aplicación también puede contener datos, tales como datos de imágenes virtuales.
La invención comprende además un producto de programa informático, que almacena, transporta o transmite a través de él o a través de un programa para hacer que un dispositivo realice un método de visualización de una realidad aumentada en una pantalla de un dispositivo portátil que tenga una cámara, el método que comprende identificar un contexto desde al menos una imagen real capturada por el dispositivo y seleccionar y posicionar una imagen virtual en la pantalla, en donde el método comprende visualizar una imagen virtual que comprende una imagen del mundo real en movimiento capturada electrónicamente.
La imagen virtual puede comprender una secuencia de imágenes fijas tomadas de un video en movimiento.
La presente invención puede comprender cualquier combinación de las características o limitaciones a las que se hace referencia en la presente descripción, excepto la combinación de características que son mutuamente excluyentes.
Las modalidades preferidas de la presente invención se describirán ahora solo a manera de ejemplo con referencia a los dibujos esquemáticos acompañantes en los que:
La Figura 1 muestra una imagen virtual superpuesta a una vista de cámara de una imagen real, de acuerdo con una modalidad preferida de la presente invención;
5
10
15
20
25
30
35
40
45
50
55
60
65
La Figura 2 muestra esquemáticamente una primera etapa en un proceso de reconocimiento del contexto de acuerdo con una modalidad de la presente invención;
Las Figuras 3 y 3a muestran esquemáticamente una primera etapa alternativa en un proceso de reconocimiento del contexto, en el que hay múltiples objetos visibles en la vista en vivo de la cámara;
La Figura 4 muestra esquemáticamente una técnica de animación para su uso con una modalidad de la presente invención;
La Figura 5 muestra esquemáticamente un proceso de posicionamiento de acuerdo con una modalidad de la presente invención;
La Figura 6 muestra los controles de usuario esquemáticamente opcionales para una imagen virtual, de acuerdo con una modalidad de la presente invención;
La Figura 7 muestra una primera etapa en un proceso de anclaje para la imagen de la Figura 6;
La Figura 8 muestra una etapa adicional en el proceso de anclaje de la Figura 7;
La Figura 9 muestra esquemáticamente un proceso de anclaje alternativo de acuerdo con una modalidad de la presente invención;
La Figura 10 muestra esquemáticamente un proceso de redimensionamiento automático para una imagen virtual, de acuerdo con una modalidad de la presente invención;
La Figura 11 muestra esquemáticamente un proceso de redimensionamiento automático para una imagen virtual en un escenario alternativo;
Las Figuras 12-15 muestran esquemáticamente diferentes etapas en un proceso para tomar una fotografía que incorpora tanto una imagen real como una imagen virtual, de acuerdo con una modalidad de la presente invención;
La Figura 16 muestra esquemáticamente un proceso para adquirir secuencias de video que incorporan imágenes tanto reales como virtuales; y
La Figura 17 es un diagrama de flujo esquemático que muestra algunas etapas clave en el proceso de visualizar una imagen virtual en la vista en vivo de una cámara, de acuerdo con una modalidad de la presente invención.
La modalidad descrita a continuación pretende proporcionar una experiencia de realidad aumentada a un usuario de un dispositivo portátil, tal como un teléfono móvil, que incorpora un procesador electrónico, una cámara y una pantalla. En particular, las imágenes tomadas de secuencias de video se muestran en una pantalla de un dispositivo portátil junto con una vista de cámara en vivo, para crear la ilusión de que el sujeto del video - es decir, la imagen en movimiento virtual - está presente en el campo de visión de la cámara en tiempo real.
En este contexto el término imagen del "mundo real" significa una imagen tomada de la realidad, tal como un escenario físico, del mundo real que utiliza una técnica de captura de fotos electrónica, por ejemplo, grabación de video.
En este contexto el término imagen del "mundo real" significa una imagen tomada de la realidad, tal como un escenario físico, del mundo real que utiliza una técnica de captura de fotos electrónica, por ejemplo, grabación de video.
Para lograr esto, el dispositivo debe realizar varios procesos, que incluyen adquirirla información contextual desde la vista de la cámara, obtener una imagen virtual apropiada, posicionar la imagen virtual dentro de la vista de la cámara, anclar la imagen virtual con respecto al contexto y dimensionar la imagen virtual dentro de la vista de la cámara.
Los procesos pueden realizarse por un procesador electrónico del dispositivo portátil.
Los datos necesarios para la reconstrucción de la imagen en movimiento virtual, junto con uno o más programas para facilitar los procesos necesarios para manipularlos para proporcionar la experiencia de realidad aumentada, se pueden descargar a un dispositivo portátil en la forma de un programa especializado, o una aplicación de software, conocida ampliamente como una aplicación. La aplicación puede actualizarse preferentemente para presentar al usuario nuevas experiencias de visualización.
El primer ejemplo que se describe en detalle a continuación es el de un sistema de realidad aumentada para su uso como guía de atracción para el visitante, en el que se muestra una imagen virtual de una figura dentro de la vista de la cámara del mundo real para proporcionar información, a través de un archivo de audio asociado, sobre la atracción al objeto 12. El dispositivo reconoce el objeto, en este caso una estatua, basado en un conjunto único de puntos de la matriz 12a que se han almacenado en la aplicación descargada en una etapa anterior, y que pueden proporcionar al dispositivo la información contextual necesaria para la selección posterior, visualización y manipulación de la imagen virtual 14.
Las imágenes virtuales en movimiento 14 se almacenan en el dispositivo como secuencias de imágenes fijas tomadas de un archivo de video, y se sincronizan con un archivo de audio apropiado, cuando se descarga la aplicación y se elige la apropiada después de que se haya determinado el contexto.
Volviendo a la Figura 2, esta muestra la imagen virtual elegida 14 tal como se muestra en la vista de la cámara del dispositivo, al lado del objeto 12.
La Figura 3 muestra esquemáticamente el escenario en el que se detectan múltiples objetos por el dispositivo. En este caso se detecta el objeto 12 y además otros dos objetos 16 y 18. El dispositivo muestra los tres objetos junto con los
5
10
15
20
25
30
35
40
45
50
55
60
65
respectivos botones virtuales superpuestos al mismo de manera que el usuario pueda seleccionar el objeto de interés tocando el botón apropiado en la pantalla, como se muestra en la Figura 3a.
La Figura 4 muestra esquemáticamente un método para animar una imagen virtual. Utiliza una técnica establecida desde hace mucho tiempo para cortar una imagen en movimiento en una sucesión de 20 cuadros fijos en un fondo de pantalla verde (no se muestra). Luego el dispositivo reproduce la secuencia de imágenes fijas, eliminando automáticamente el fondo de pantalla verde según sea necesario. A medida que las imágenes individuales se reemplazan a una velocidad superior a seis cuadros por segundo, el ojo humano las interpreta como una imagen en movimiento continuo. Una banda sonora, opcionalmente en formato MP3, se reproduce en sincronía con la animación para reforzar la ilusión de secuencias de video continuas. En este ejemplo la figura animada es un soldado romano, cuyos comentarios y acciones son relevantes para la atracción que se ve a través de la pantalla de la cámara.
La Figura 5 muestra esquemáticamente una técnica para posicionar la imagen 14 con respecto al objeto 12. Durante la creación de una aplicación en particular, cuando la escena particular se investiga por primera vez, un director creativo elegirá una colocación óptima para la imagen virtual, en base a una serie de factores, tanto artísticos como prácticos. Una vez que se elige la posición óptima el sistema usa la trigonometría para calcular la posición de la imagen en las coordenadas espaciales del mundo real x, y z con respecto al objeto 12. Una alternativa es decidir sobre un punto cero dentro del objeto y colocar la imagen usando las coordenadas absolutas x, y y/o z desde el punto cero.
La Figura 6 muestra esquemáticamente cómo el usuario puede redimensionar o reposicionar la imagen con respecto al objeto. La imagen puede redimensionarse usando la técnica de pellizcar y esparcir con los dedos 22 mientras se toca la pantalla. La imagen se puede mover mediante el uso de la técnica de arrastrar y soltar 24, y un sistema de anclaje (descrito a continuación) también puede activarse o desactivarse mediante la técnica de doble toque con doble dedo 26. En un modo REPRODUCIR, también se proporciona un botón de PAUSA virtual 28, que se convierte en el botón REPRODUCIR virtual (no mostrado) en modo PAUSA.
Para mantener la ilusión de que la figura está realmente presente junto a la atracción, es necesario que la posición de la Figura - es decir, la imagen 14 - esté anclada espacialmente con respecto al objeto 12. Esto se debe a que si el usuario se mueve mientras mira el objeto y la imagen virtual a través de la cámara, la imagen que se fija con respecto a la pantalla de la cámara rápidamente dejaría de mantener la ilusión de la realidad.
La Figura 7 muestra esquemáticamente un sistema de anclaje de acuerdo con una modalidad de la presente invención. El sistema usa un algoritmo predefinido para buscar objetos que son prominentes o tienen una forma definitiva dentro de la vista de la cámara. Una vez que se localizan varios objetos el sistema utiliza técnicas trigonométricas avanzadas para evaluar la escena que se muestra en la vista de la cámara y para asignar datos de proporción a la imagen virtual. Luego el sistema bloquea la imagen en las coordenadas x, y y z con respecto a su contexto del mundo real.
La Figura 8 muestra esquemáticamente en más detalle el sistema de anclaje de acuerdo con la modalidad descrita anteriormente en la presente invención. Primeramente, una etiqueta 30 indica que el sistema de anclaje se ha activado. Luego el dispositivo detecta dinámicamente el objeto más cercano 32 a la vista de la cámara. En este caso, el método utilizado es uno en el que un algoritmo busca reconocer objetos mediante la detección de un patrón, en lugar de utilizar puntos de la matriz preprocesados (según el ejemplo de la Figura 1). Esto permite que el algoritmo busque objetos del mundo real a los que se pueda anclar el rendimiento, es decir, la imagen virtual. Por ejemplo, el algoritmo podría reconocer los cuatro bordes de una mesa de billar. Esto permite una técnica de anclaje mejorada a medida que se crean reglas de reconocimiento que permiten la aplicación de umbrales más altos o más bajos en base a un objeto particular o tipo de objeto. Un algoritmo adecuado considerado previamente se conoce como FAST (Características de la Prueba de Segmento Acelerado).
A continuación el dispositivo detecta un segundo objeto 34 para proporcionar información de profundidad. La imagen se ancla al primer objeto - es decir - se determina la posición de la imagen en las coordenadas x, y y z con respecto a la ubicación del primer objeto 32. El dispositivo luego verifica regularmente para determinar si el patrón del objeto - es decir de los objetos 32 y 34 - ha cambiado, lo que ocurriría si el usuario que sostenía el dispositivo se ha movido. Si el dispositivo determina que hubo movimiento, el dispositivo vuelve a escanear el campo de visión y determina la coincidencia más cercana con el patrón inicial de los objetos 32 y 34 para garantizar que la posición de la imagen virtual 14 sigue siendo verdadera.
El enfoque descrito anteriormente permite a un usuario bloquear el anclaje a un objeto conocido dentro de la pantalla, en casi cualquier ubicación, de manera eficiente e invisible. Si no hay un objeto específico desde el que tomar una referencia tal como un campo abierto, por ejemplo, entonces el sistema se revierte primero a una biblioteca de reconocimiento precargada y luego, si no se reconoce una vista se utilizan una brújula digital y una referencia de GPS para arreglar la ubicación de la imagen en el espacio real.
El uso del GPS y las marcaciones de la brújula digital por el sistema de anclaje se representa esquemáticamente en la Figura 9. Esta configuración crea un mapa básico del mundo real mediante el uso de coordenadas de GPS junto a las marcaciones de la brújula. Las coordenadas del GPS se utilizan para bloquear una configuración de longitud y latitud conocida, mientras que las marcaciones se utilizan para detectar un movimiento circular de 360 grados por parte del
5
10
15
20
25
30
35
40
45
50
55
60
65
usuario. Si el sistema detecta tal movimiento, entonces la película vuelve a su posición original bloqueada. La animación regresa usando algoritmos que proporcionan un retorno suave y rápido a las coordenadas que reconocen la amortiguación y la velocidad de retorno en base a la distancia recorrida.
El tamaño aparente de la imagen con respecto a los objetos en la vista de la cámara también es importante para mantener la ilusión de la realidad. La Figura 10 muestra una operación de dimensionamiento automático en la que la imagen 14 se ajusta con respecto al objeto 12 cuando un usuario, que ve el objeto a través del dispositivo de cámara, se mueve más cerca o más lejos del objeto.
Se emplean sofisticados algoritmos por el dispositivo para ajustar el tamaño de la imagen sin problemas a medida que el usuario se acerca o aleja del objeto 12. La función de enfoque automático de la lente de la cámara puede emplearse para proporcionar datos relativos a un cambio en la distancia desde el objeto. Si el dispositivo no posee una función de enfoque automático la distancia al objeto reconocido se puede calcular mediante el uso de datos almacenados sobre su origen. Ambas técnicas pueden usarse, cuando estén disponibles, para proporcionar una lectura más precisa.
Alternativamente, el usuario puede cambiar manualmente el tamaño de la imagen 14 usando la técnica de pellizco 22 descrita anteriormente.
Si el sistema detecta una ubicación relativamente estrecha, tal como una ubicación interior, o una escena callejera medieval por ejemplo, el dispositivo cambia automáticamente el tamaño de la imagen a un tamaño mayor para mantener el realismo. La Figura 11 representa la imagen ampliada 14 en tal caso.
El sistema también permite la captura de imágenes fijas o de video que llevan tanto la vista real como la imagen virtual. Las Figuras 12-15 muestran esquemáticamente un proceso para tomar una fotografía con la imagen virtual 14 incluida. En la Figura 12 una persona real 36 entra en una escena en la que la imagen virtual de la Figura 14 ya está posicionada. En la Figura 13 se toma y almacena la fotografía y se graban las coordenadas de la imagen virtual. En la Figura 14 el sistema procesa posteriormente la imagen 14 y la perspectiva se detecta automáticamente. La imagen compuesta se vuelve a guardar. En la Figura 15 se invita al usuario a compartir la imagen compuesta almacenada a través de botones virtuales 38 que acceden a varios medios comunes. Una corta secuencia de video se puede grabar y compartir de manera similar.
La Figura 16 muestra esquemáticamente un ejemplo de un proceso completo de acuerdo con la modalidad descrita anteriormente.
El proceso comienza en la etapa 100. En la etapa 102 las reglas de reconocimiento de objetos se leen desde una base de datos. En la etapa 104 el dispositivo lee la vista y en la etapa 106 comprueba si hay un patrón reconocible. El dispositivo gira hasta que se detecta un patrón. Una vez que se detecta un patrón se selecciona una imagen en movimiento apropiada de una biblioteca en la etapa 108. En la etapa 110, la imagen se posiciona y comienza el juego. La etapa 112 espera una entrada del usuario. Las opciones de salir 114, cambiar el tamaño 116, anclar 118 o reposicionar 120 están disponibles. Si el usuario selecciona salir de la aplicación en la etapa 114 la aplicación se detiene en la etapa 122. De cualquier otra manera la imagen de video continúa reproduciéndose en la etapa 124.
La Figura 17 muestra una modalidad alternativa en la que una base de datos de reconocimiento de objetos 40 está dividida en varias bases de datos más pequeñas 42, 44, 46, 48 de acuerdo con la ubicación del usuario. Se verifican tres o más ángulos de un objeto 50 y una vez que se ha detectado el objeto se lanza la imagen virtual 52.
Los ejemplos anteriores describen el uso de controles táctiles, que pueden ser diferentes a los descritos. Sin embargo, cuando el aparato lo soporta, se pueden emplear gestos sin contacto para controlar el dispositivo. De manera similar, cuando el aparato lo soporta, pueden usarse comandos de voz para controlar el aparato.
La información contextual puede derivarse de una imagen del "mundo real", como se ve a través de la cámara del dispositivo, o puede derivarse de una imagen bidimensional, tal como una página impresa, una fotografía o una imagen visualizada electrónicamente. Esto permite que las técnicas descritas anteriormente se utilicen para mejorar la experiencia del usuario en una amplia variedad de circunstancias, tales como ver una publicación impresa o un anuncio. En una modalidad (no mostrada), se puede hacer que la imagen virtual parezca elevarse o "saltar" hacia arriba desde tal contexto bidimensional.
Se pueden emplear técnicas de procesamiento de imágenes para crear sombras virtuales para la imagen virtual, de esta manera mejore la percepción de que la imagen virtual es real. De manera similar, las técnicas de procesamiento de imágenes se pueden emplear para equilibrar el brillo aparente de la imagen virtual con relación al contexto del mundo real que se está viendo a través del dispositivo. Aunque los ejemplos descritos anteriormente son de una experiencia de visualización bidimensional, las técnicas descritas en la presente descripción también se pueden aplicar a una experiencia de visualización tridimensional aparente donde el aparato lo soporte, tal como en formatos de reproducción de video 3-D.
En la descripción anterior, el término "imagen virtual" pretende referirse a una imagen previamente capturada o adquirida por separado - que preferentemente es una imagen en movimiento - que se muestra en una pantalla del dispositivo
mientras el usuario ve la imagen o imágenes reales o actuales que se capturan por la cámara del dispositivo. La imagen virtual es en sí misma real, de una realidad diferente, que se corta de manera efectiva de esa otra realidad y se trasplanta a otra - la que el espectador ve en la pantalla de su dispositivo.

Claims (12)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    Reivindicaciones
    1. Un aparato para visualizar una realidad aumentada en una pantalla de un dispositivo portátil (10) que tiene una cámara, el aparato que comprende una unidad de identificación del contexto para identificar una vista de la cámara de al menos una imagen real capturada por la cámara, una unidad de recuperación de imagen virtual para seleccionar y visualizar una imagen virtual (14) en la pantalla y una unidad de posicionamiento de imagen virtual para posicionar la imagen virtual en la pantalla, caracterizado porque el aparato se dispone durante el uso para visualizar la imagen virtual, que comprende el contenido de una imagen de video del mundo real capturada electrónicamente desde una realidad diferente, que se corta de esa realidad diferente y se trasplanta a la capturada por la cámara, mientras el usuario ve la imagen capturada por la cámara y en donde el posicionamiento de la imagen virtual por la unidad de posicionamiento incluye anclar la imagen virtual, y dimensionar la imagen virtual, con respecto a la vista de la cámara determinada por la unidad de identificación de contexto, para crear la ilusión de que el contenido de la imagen virtual está presente en el campo de visión de la cámara en tiempo real en la pantalla.
  2. 2. Un aparato de acuerdo con la reivindicación 1, en donde la imagen virtual comprende una secuencia de imágenes fijas tomadas de un video.
  3. 3. Un aparato de acuerdo con la reivindicación 1 o 2, en donde la imagen virtual comprende una imagen de video en movimiento continuo.
  4. 4. Un aparato de acuerdo con cualquiera de las reivindicaciones de la 1-3, en donde la imagen virtual comprende una imagen de una persona, criatura u objeto del mundo real o un artículo.
  5. 5. Un aparato de acuerdo con cualquiera de las reivindicaciones anteriores, en donde la unidad de identificación del contexto se dispone durante el uso para identificar la vista de la cámara comparando al menos un objeto en un campo de visión con los datos almacenados de una pluralidad de objetos.
  6. 6. Un aparato de acuerdo con cualquiera de las reivindicaciones anteriores, en donde la unidad de recuperación de imágenes se dispone durante el uso para seleccionar la imagen virtual de una pluralidad de imágenes almacenadas de acuerdo con la vista de la cámara determinada por la unidad de identificación del contexto.
  7. 7. Un método para visualizar una realidad aumentada en una pantalla de un dispositivo portátil que tiene una cámara, el método que comprende identificar una vista de la cámara de al menos una imagen real capturada por la cámara y seleccionar y posicionar una imagen virtual en la pantalla, caracterizado porque el método comprende visualizar la imagen virtual que comprende el contenido de una imagen de video del mundo real capturada electrónicamente de una realidad diferente, que se corta de esa realidad diferente y se trasplanta en la capturada por la cámara, mientras el usuario ve la imagen capturada por la cámara y en donde el posicionamiento de la imagen virtual incluye anclar la imagen virtual y dimensionar la imagen virtual, con respecto a la vista de cámara, para crear la ilusión de que el contenido de la imagen virtual está presente en el campo de visión de la cámara en tiempo real en la pantalla.
  8. 8. Un método de acuerdo con la reivindicación 7, en donde el método comprende visualizar una imagen virtual que comprende la secuencia de imágenes fijas tomadas de un video.
  9. 9. Un método de acuerdo con la reivindicación 7 u 8, en donde el método comprende identificar la vista de la cámara comparando al menos un objeto en el campo de visión con los datos almacenados de una pluralidad de objetos.
  10. 10. Un método de acuerdo con cualquiera de las reivindicaciones de la 7 - 9, en donde el método comprende seleccionar la imagen virtual a partir de una pluralidad de imágenes almacenadas de acuerdo con la vista de la cámara determinada.
  11. 11. Un programa para hacer que un procesador electrónico de un dispositivo portátil realice un método para visualizar una realidad aumentada en una pantalla de un dispositivo portátil que tiene una cámara, el método que comprende identificar una vista de la cámara de al menos una imagen real capturada por la cámara y seleccionar y posicionar una imagen virtual en la pantalla, caracterizado porque el método comprende visualizar la imagen virtual que comprende el contenido de una imagen de video del mundo real capturada electrónicamente de una realidad diferente, que se corta de esa realidad diferente y se trasplanta dentro de una capturada por la cámara, mientras el usuario ve la imagen capturada por la cámara, y en donde el posicionamiento de la imagen virtual incluye anclar la imagen virtual y dimensionar la imagen virtual con respecto a la vista de la cámara, para crear la ilusión de que el contenido de la imagen virtual está presente en el campo de visión de la cámara en tiempo real en la pantalla.
  12. 12. Un producto de programa informático, que almacena, transporta o transmite en el mismo o a través de un programa de acuerdo con la reivindicación 11.
ES13774768.9T 2012-09-12 2013-09-12 Aparato y método de realidad aumentada Active ES2688643T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1216210.3A GB201216210D0 (en) 2012-09-12 2012-09-12 Augmented reality apparatus and method
GB201216210 2012-09-12
PCT/GB2013/052382 WO2014041352A1 (en) 2012-09-12 2013-09-12 Augmented reality apparatus and method

Publications (1)

Publication Number Publication Date
ES2688643T3 true ES2688643T3 (es) 2018-11-06

Family

ID=47137276

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13774768.9T Active ES2688643T3 (es) 2012-09-12 2013-09-12 Aparato y método de realidad aumentada

Country Status (8)

Country Link
US (2) US10885333B2 (es)
EP (1) EP2896200B1 (es)
CN (1) CN104904195B (es)
ES (1) ES2688643T3 (es)
GB (2) GB201216210D0 (es)
HK (1) HK1212845A1 (es)
IN (1) IN2015DN02252A (es)
WO (1) WO2014041352A1 (es)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201216210D0 (en) 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
GB201404990D0 (en) 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
US10664975B2 (en) * 2014-11-18 2020-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program for generating a virtual image corresponding to a moving target
WO2017072534A2 (en) * 2015-10-30 2017-05-04 2Mee Ltd Communication system and method
CN105681684A (zh) * 2016-03-09 2016-06-15 北京奇虎科技有限公司 基于移动终端的图像实时处理方法及装置
AU2017273462A1 (en) * 2016-05-28 2019-01-03 Acoustic Knowledge, LLC Digital camera with audio, visual and motion analysis
CN108572969A (zh) * 2017-03-09 2018-09-25 阿里巴巴集团控股有限公司 提供地理信息点介绍信息的方法及装置
CN107920202B (zh) * 2017-11-15 2020-02-21 阿里巴巴集团控股有限公司 基于增强现实的视频处理方法、装置及电子设备
CN111640165A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 Ar合影图像的获取方法、装置、计算机设备及存储介质
CN111640166B (zh) * 2020-06-08 2024-03-26 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质
CN113270101A (zh) * 2021-04-22 2021-08-17 清华珠三角研究院 一种虚拟人物自动讲解的方法、系统、装置和介质

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU690910B2 (en) 1993-08-10 1998-05-07 Katayama, Midori Method for teaching the body gesture
US5984684A (en) 1996-12-02 1999-11-16 Brostedt; Per-Arne Method and system for teaching physical skills
US20020158873A1 (en) 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
US20020115047A1 (en) 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
US20050272517A1 (en) 2001-06-11 2005-12-08 Recognition Insight, Llc Swing position recognition and reinforcement
US20030108329A1 (en) * 2001-12-12 2003-06-12 Meric Adriansen Advertising method and system
JP4136420B2 (ja) 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
KR100358415B1 (ko) 2002-07-29 2002-10-25 최승환 인터넷을 이용한 골프 스윙 교정 장치 및 방법
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20060228689A1 (en) 2005-04-12 2006-10-12 Rajaram Kishore K Interactive tutorial system and method
US8953909B2 (en) 2006-01-21 2015-02-10 Elizabeth T. Guckenberger System, method, and computer software code for mimic training
US8026931B2 (en) 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
RU2364436C2 (ru) 2007-06-18 2009-08-20 Максим Алексеевич Васин Способ тренировки и устройство для его осуществления
DE102007054472B4 (de) 2007-11-13 2010-04-15 Tracto-Technik Gmbh & Co. Kg Geothermiesystem
US20090319397A1 (en) * 2008-06-19 2009-12-24 D-Link Systems, Inc. Virtual experience
US20100309225A1 (en) * 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
WO2011063034A1 (en) * 2009-11-17 2011-05-26 Rtp, Llc Systems and methods for augmented reality
FI20096276A0 (fi) 2009-12-02 2009-12-02 Virtual Air Guitar Company Oy Menetelmä, järjestelmä ja tietokoneohjelma koko kehon liikkeiden ohjaukseen ja arvioimiseen
US20110275045A1 (en) 2010-01-22 2011-11-10 Foerster Bhupathi International, L.L.C. Video Overlay Sports Motion Analysis
US9158777B2 (en) * 2010-03-30 2015-10-13 Gravity Jack, Inc. Augmented reality methods and apparatus
US8451994B2 (en) 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
US8963954B2 (en) 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US8730354B2 (en) * 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
WO2012061804A1 (en) 2010-11-05 2012-05-10 Nike International Ltd. Method and system for automated personal training
WO2012063480A1 (ja) * 2010-11-10 2012-05-18 パナソニック株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
US8488011B2 (en) * 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2012216077A (ja) 2011-03-31 2012-11-08 Fujifilm Corp 拡張現実感提供装置及び仮想物体の重畳方法
US20130050395A1 (en) 2011-08-29 2013-02-28 DigitalOptics Corporation Europe Limited Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions
KR101352385B1 (ko) 2011-04-29 2014-01-16 주식회사 휴원 ３ｄ 증강현실 포토 서비스 시스템 및 이를 이용한 서비스 방법.
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
TWI544447B (zh) 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統
US8823807B2 (en) 2011-12-09 2014-09-02 Robert Schinker Methods and apparatus for enhanced reality messaging
US20150019644A1 (en) 2012-01-06 2015-01-15 Thomsom Licensing Method and system for providing a display of socialmessages on a second screen which is synched to content on a first screen
GB201216210D0 (en) 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
KR101978219B1 (ko) 2013-03-15 2019-05-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US20140308640A1 (en) 2013-07-08 2014-10-16 George Edward Forman Method to Improve Skilled Motion Using Concurrent Video of Master and Student Performance
US20150091891A1 (en) 2013-09-30 2015-04-02 Dumedia, Inc. System and method for non-holographic teleportation
KR102246305B1 (ko) 2014-01-09 2021-04-29 한국전자통신연구원 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN106415671B (zh) 2014-06-03 2020-05-19 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
GB201410285D0 (en) 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method

Also Published As

Publication number Publication date
GB201316229D0 (en) 2013-10-30
EP2896200A1 (en) 2015-07-22
EP2896200B1 (en) 2018-06-27
CN104904195A (zh) 2015-09-09
CN104904195B (zh) 2019-06-28
US20150242688A1 (en) 2015-08-27
WO2014041352A1 (en) 2014-03-20
HK1212845A1 (zh) 2016-06-17
GB2508070A (en) 2014-05-21
GB201216210D0 (en) 2012-10-24
US11361542B2 (en) 2022-06-14
IN2015DN02252A (es) 2015-08-21
GB2508070B (en) 2015-12-23
US20210166030A1 (en) 2021-06-03
US10885333B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
ES2688643T3 (es) Aparato y método de realidad aumentada
US11663785B2 (en) Augmented and virtual reality
US11120596B2 (en) Systems and methods for utilizing a living entity as a marker for augmented reality content
US11417365B1 (en) Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures
JP6367926B2 (ja) 拡張現実（ａｒ）キャプチャおよびプレイ
US11363325B2 (en) Augmented reality apparatus and method
US20170193679A1 (en) Information processing apparatus and information processing method
ES2746448T3 (es) Realidad mediada
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
ES2300204B1 (es) Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada.
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays