ES2807001T3 - Soportar una aplicación de software para realidad aumentada - Google Patents

Soportar una aplicación de software para realidad aumentada Download PDF

Info

Publication number
ES2807001T3
ES2807001T3 ES16798114T ES16798114T ES2807001T3 ES 2807001 T3 ES2807001 T3 ES 2807001T3 ES 16798114 T ES16798114 T ES 16798114T ES 16798114 T ES16798114 T ES 16798114T ES 2807001 T3 ES2807001 T3 ES 2807001T3
Authority
ES
Spain
Prior art keywords
user
virtual object
physical location
physical
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16798114T
Other languages
English (en)
Inventor
Yu Wang
Johan Haraldson
Jaeseong Jeong
Sandra Bäckström
Matthew John Lawrenson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Application granted granted Critical
Publication of ES2807001T3 publication Critical patent/ES2807001T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Un dispositivo informático (120; 500; 600) para soportar una aplicación de software de Realidad Aumentada, AR, comprendiendo el dispositivo informático un medio de procesamiento (125) operativo para: para cada una de al menos dos ubicaciones físicas candidatas (131, 132; 231, 232) para colocar un objeto virtual actual (104; 204), donde el objeto virtual actual parece estar colocado cuando está superpuesto sobre una secuencia de video que captura una escena física (100; 200) en el entorno de un usuario (110) de la aplicación de software de AR: determinar una ubicación física esperada a la que se desplaza el usuario, o en la que permanece el usuario, en respuesta a mostrar (123; 223) al usuario la escena física y el objeto virtual actual superpuesto, y evaluar un valor de un atributo que está relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR, y que depende del espacio del entorno del usuario, en la ubicación física esperada, y seleccionar la ubicación física para colocar el objeto virtual actual de al menos dos ubicaciones físicas candidatas en base a un mayor rendimiento de la conexión inalámbrica para la ubicación física seleccionada.

Description

DESCRIPCIÓN
Soportar una aplicación de software para realidad aumentada
Campo técnico
La invención se refiere a un dispositivo informático para soportar una aplicación de software de Realidad Aumentada (AR - Augmented Reality, en inglés), a un método para soportar una aplicación de software de AR, a un programa informático correspondiente y a un producto de programa informático correspondiente.
Antecedentes
La AR es una vista directa o indirecta, en vivo, de un entorno físico real cuyos elementos están aumentados (o complementados) mediante una entrada sensorial generada por ordenador, tal como sonido, video o gráficos. Está relacionado con un concepto más general llamado realidad mediada, en la cual una visión de la realidad es modificada (posiblemente incluso disminuida en lugar de aumentada) mediante un ordenador. El aumento se realiza convencionalmente en tiempo real y en contexto semántico con objetos ambientales. Además, mediante la utilización del reconocimiento de objetos, objetos físicos del mundo real pueden ser manipulados o tenidos en cuenta para aumentar el entorno del mundo real.
Habitualmente, las aplicaciones del software de AR utilizan pantallas utilizadas por un usuario para mostrar una escena aumentada del entorno del usuario, que, a menudo es capturada por una cámara que utiliza el usuario. En los últimos años, las pantallas montadas en la cabeza (HMD - Head-Mounted Displays, en inglés) o los auriculares de realidad virtual (VR - Virtual Reality, en inglés) se han vuelto cada vez más populares para su utilización con la AR. Estos dispositivos comprenden una o más pantallas y, a menudo, también una cámara, y están diseñados para adaptarse a la frente del usuario, como un arnés o un casco. Los HMD colocan imágenes tanto del mundo físico como de objetos virtuales que aumentan el mundo físico sobre el campo de visión del usuario. A menudo emplean sensores para la monitorización de seis grados de libertad, que permiten que la aplicación de software de AR alinee correctamente objetos virtuales al mundo físico, en respuesta a los movimientos del usuario. Los HMD están disponibles comercialmente, por ejemplo, Microsoft HoloLens y Oculus Rift. También están disponibles utilidades para utilizar un teléfono inteligente como HMD, lo que facilita la adaptación del teléfono inteligente a la frente del usuario (por ejemplo, Google Cardboard y Samsung Gear VR).
El número de aplicaciones de software de AR ha aumentado significativamente con la llegada de los HMD disponibles comercialmente. La AR, por ejemplo, se utiliza en arquitectura para mostrar proyectos de construcción, en un comercio, para mostrar un producto a los clientes y en juegos. Como ejemplo, la aplicación de juegos móviles Pokemon Go, que fue lanzada por Nintendo en julio de 2016, se ha convertido rápidamente en un éxito mundial con cientos de millones de descargas. Pokemon Go es un juego de AR basado en la ubicación que despliega objetos virtuales en forma de monstruos de bolsillo en ubicaciones físicas, y los jugadores tienen que desplazarse a las ubicaciones físicas para capturar los monstruos.
Tras el éxito de Pokemon Go, se espera que la cantidad de juegos y aplicaciones de AR basados en la ubicación aumente considerablemente. Una característica común de los juegos y aplicaciones de AR basados en la ubicación es que los jugadores, o usuarios, deben visitar ubicaciones físicas específicas, es decir, del mundo real, para interactuar con objetos virtuales que han sido colocados allí. Puesto que las aplicaciones de software de AR se comunican, en general, con los servidores de aplicaciones que alojan la aplicación de software de AR a través de Redes de Acceso de Radio (RAN - Radio Access Networks, en inglés), imponen altas demandas a la RAN, al generar una carga de red considerable. En particular, este es el caso si un número sustancial de usuarios de RA se acercan unos a otros. Los juegos y aplicaciones de AR basados en la ubicación también pueden adolecer de una mala conectividad si el usuario se desplaza a una región de mala cobertura, causada, por ejemplo, por sombreado, interferencia o similares. Ambos problemas tienen un impacto negativo en la experiencia del usuario de la aplicación de software de AR.
El documento US 2012 / 122570 A1 da a conocer un juego de múltiples jugadores que realiza realidad aumentada mostrando un elemento virtual en el dispositivo de visualización, superponiendo o reemplazando una renderización de un objeto espacial real que se encuentra en la ubicación geográfica detectada por el dispositivo del usuario. Compendio
Un objeto de la invención es proporcionar una alternativa mejorada a las técnicas citadas anteriormente y a la técnica anterior.
De manera más específica, un objeto de la invención es proporcionar soluciones mejoradas para seleccionar ubicaciones físicas para la colocación de objetos virtuales mediante aplicaciones de software de AR.
Estos y otros objetos de la invención se consiguen mediante diferentes aspectos de la invención, de acuerdo con lo definido por las reivindicaciones independientes. Las realizaciones de la invención están caracterizadas por las reivindicaciones dependientes.
De acuerdo con un primer aspecto de la invención, se da a conocer un dispositivo informático para soportar una aplicación de software de AR. El dispositivo informático comprende medios de procesamiento operativos, para cada una de, al menos, dos ubicaciones físicas candidatas para colocar un objeto virtual actual, donde el objeto virtual actual parece estar colocado cuando está superpuesto sobre una secuencia de video que captura una escena física en el entorno de un usuario de la aplicación de software de AR, determinar una ubicación física esperada a la que se desplaza el usuario, o en la que permanece, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, y evaluar el valor de un atributo que está relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR y que depende del espacio en el entorno del usuario, en la ubicación física esperada. El medio de procesamiento es, además, operativo para seleccionar la ubicación física para colocar el objeto virtual actual de, al menos, dos ubicaciones físicas candidatas en base a un mayor rendimiento de la conexión inalámbrica para la ubicación física seleccionada.
De acuerdo con un segundo aspecto de la invención, está previsto un método para soportar una aplicación de software de AR. El método lo realiza un dispositivo informático y comprende, para cada una de, al menos, dos ubicaciones físicas candidatas para colocar un objeto virtual actual, donde el objeto virtual actual parece estar colocado cuando está superpuesto sobre una secuencia de video que captura una escena física en el entorno de un usuario de la aplicación de software de AR, determinar una ubicación física esperada a la que se desplaza el usuario, o donde permanece, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, y evaluar un valor de atributo que está relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR, y que depende del espacio en el entorno del usuario, en la ubicación física esperada. El método comprende, además, seleccionar la ubicación física para colocar el objeto virtual actual de las, al menos, dos ubicaciones físicas candidatas en base a un mayor rendimiento de la conexión inalámbrica para la ubicación física seleccionada.
De acuerdo con un tercer aspecto de la invención, está previsto un programa informático. El programa informático comprende instrucciones ejecutables por ordenador para hacer que un dispositivo realice el método de acuerdo con una realización del segundo aspecto de la invención, cuando las instrucciones ejecutables por ordenador son ejecutadas en una unidad de procesamiento comprendida en el dispositivo.
De acuerdo con un cuarto aspecto de la invención, está previsto un producto de programa informático. El producto de programa informático comprende un medio de almacenamiento legible por ordenador que tiene el programa informático de acuerdo con el tercer aspecto de la invención incorporado en el mismo.
En el presente contexto, el dispositivo informático para soportar una aplicación de software de AR puede estar incorporado, por ejemplo, por un servidor de aplicaciones que aloja la aplicación de software de AR, un auricular de HMD o VR, un teléfono móvil, un teléfono inteligente, un terminal móvil, un ordenador personal, un ordenador portátil, una tableta o una consola de juegos. La aplicación de software de AR puede ser, por ejemplo, un juego de AR, tal como Pokernon Go, o una aplicación de AR para aumentar objetos físicos del mundo real cuya información se proporciona, como una guía turística de AR. En esta invención, los términos “físico” y “mundo real” se utilizan indistintamente, y se debe entender que se refieren a un objeto o una ubicación en el mundo real. El entorno del usuario, y la escena capturada que se aumenta mediante la superposición de objetos virtuales, puede ser cualquier ubicación interior o exterior del mundo real, por ejemplo, una habitación o un espacio público.
La invención hace uso de una comprensión de que una selección mejorada de ubicaciones físicas para la colocación o el despliegue de objetos virtuales mediante aplicaciones de software de AR se puede conseguir teniendo en cuenta un atributo que depende del espacio, que tiene un impacto en la experiencia del usuario de la aplicación de software de AR. El atributo que depende del espacio cambia como una función de la ubicación física en el mundo real, al menos en el entorno del usuario. El atributo que depende del espacio puede estar relacionado, por ejemplo, con el rendimiento de una conexión inalámbrica que utiliza la aplicación de software de AR, tal como la intensidad de la señal, una velocidad de datos, un ancho de banda, una tasa de error, una tasa de retransmisión y una latencia, de la conexión inalámbrica. Se apreciará que la experiencia del usuario de la aplicación de software de AR aprovecha, en general, de una alta intensidad de señal, alta velocidad de datos o ancho de banda, baja tasa de error, baja tasa de retransmisión y baja latencia. La conexión inalámbrica puede ser una conexión utilizada por la aplicación de software de AR para transmitir información perteneciente a la colocación de objetos virtuales a un dispositivo de usuario que renderiza la escena aumentada para ser mostrada al usuario en base a la información recibida. De manera alternativa, la conexión inalámbrica se puede utilizar para transmitir la escena aumentada renderizada, como una secuencia de video, a un dispositivo de usuario para mostrar al usuario la escena aumentada. La conexión inalámbrica puede ser realizada, por ejemplo, a través de una RAN celular, una red de área local inalámbrica (WLAN - Wireless Local Area Network, en inglés) / red Wi-Fi, Bluetooth o similares.
De manera alternativa, el atributo que depende del espacio puede estar relacionado con una recepción por parte del usuario de un sonido que es renderizado mediante la aplicación de software de AR. En particular, este puede ser un sonido que es renderizado mediante altavoces que están colocados en el entorno del usuario. Por ejemplo, la percepción del usuario puede estar relacionada con si se puede entregar audio estéreo o audio 3D en un lugar determinado con calidad suficiente, lo que a su vez tiene un impacto en la experiencia del usuario de la aplicación de software de AR.
La ubicación física para colocar un objeto virtual actual, es decir, un objeto virtual que la aplicación de software de AR está a punto de desplegar, se selecciona evaluando el atributo que depende del espacio en la ubicación física esperada que el usuario supone, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto. Esta es la ubicación futura probable del usuario, es decir, la ubicación del usuario después de que el objeto virtual superpuesto haya sido mostrado y visto por el usuario. En particular, los objetos virtuales pueden tener el efecto, cuando son mostrados a los usuarios, de mantener a un usuario en su ubicación física actual o de desencadenar un cambio de ubicación. Por ejemplo, un usuario puede desear interactuar con un objeto virtual, por ejemplo, para recoger un elemento de un personaje “amigable” en un juego de AR. En este caso, se espera que el usuario se desplace a una ubicación física cercana a la ubicación física en la que el objeto virtual actual parece estar ubicado en el mundo real. Por otro lado, un objeto virtual que representa un personaje “hostil” en un juego de AR, es decir, un personaje que representa una amenaza para el personaje del juego del usuario, es probable que mantenga al usuario en su ubicación física actual, o incluso que inicie un cambio en la ubicación física del usuario a fin de aumentar la distancia a la ubicación física en la que el objeto virtual parece estar colocado.
Tener en consideración el atributo que depende del espacio en la ubicación física esperada del usuario en la selección de ubicaciones físicas para colocar objetos virtuales es ventajoso porque los objetos virtuales pueden ser desplegados en ubicaciones físicas para proporcionar una experiencia de usuario mejorada o, al menos, satisfactoria, a los usuarios. Con este fin, la aplicación de software de AR puede evitar el despliegue de objetos virtuales, que se sabe que provocan un cambio de la ubicación física del usuario, hacia la ubicación del mundo real en la que el objeto virtual parece estar ubicado, en ubicaciones físicas que adolecen de malas condiciones de radio o conectividad inalámbrica, o en las que el sonido renderizado por la aplicación de software de AR no se puede percibir con suficiente calidad.
De acuerdo con una realización de la invención, la ubicación física para colocar el objeto virtual actual se selecciona considerando al menos una ubicación física candidata para colocar el objeto virtual actual. Estas ubicaciones candidatas se pueden obtener, por ejemplo, de la aplicación de software de AR. De manera alternativa, la aplicación de software de AR puede solicitar una ubicación física para colocar un objeto virtual basado en límites geográficos y/o en otra información, por ejemplo, una distancia del usuario y/o distancias de otros objetos virtuales u objetos del mundo real. De manera más específica, para cada una de la al menos una ubicación física candidata, se determina la ubicación física esperada que el usuario supone, y se evalúa un valor del atributo que depende del espacio en esa ubicación física esperada. La ubicación física esperada que supone el usuario es la ubicación a la que se desplazan los usuarios, o en la que el usuario permanece, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, de tal manera que parece estar ubicado en la ubicación física candidata. Después de que el atributo que depende del espacio haya sido evaluado para la al menos una ubicación física candidata, la ubicación física para colocar el objeto virtual actual se selecciona en base a la pluralidad de valores del atributo que depende del espacio evaluado en la al menos una ubicación física candidata.
De acuerdo con una realización de la invención, la ubicación física esperada que supone el usuario en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, está dentro de un rango predeterminado de la ubicación física candidata. En particular, la ubicación física esperada puede ser cercana o igual a la ubicación física candidata. Esto es ventajoso en caso de que se espere que el usuario se acerque a la ubicación física donde parece estar colocado el objeto virtual actual.
De acuerdo con una realización de la invención, la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto se puede determinar en base a un tipo del objeto virtual actual. Por ejemplo, la ubicación física esperada puede ser determinada en base a la información relativa a un comportamiento esperado de los usuarios de la aplicación de software de AR en respuesta a mostrar al usuario un objeto virtual del mismo tipo que el objeto virtual actual. Como ejemplo, en un juego de AR, los objetos virtuales se pueden clasificar en tipos tales como “amigable”, “neutral” y “hostil”, de acuerdo con la expectativa de que los usuarios probablemente se acerquen a un objeto virtual, permanezcan en su ubicación física, o se alejen de un objeto virtual, respectivamente. De manera alternativa, la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, puede ser determinada en base a un comportamiento aprendido del usuario en respuesta a objetos virtuales mostrados previamente del mismo tipo que el objeto virtual actual. Como ejemplo, se puede esperar que un usuario de una guía turística de AR se acerque a un objeto del mundo real, tal como una estatua o un edificio, cuando sea incrementado con información sobre el objeto (por ejemplo, información histórica u horarios de apertura), si se sabe que el usuario ha visitado dichos objetos previamente.
De acuerdo con una realización de la invención, uno o más valores del atributo que depende del espacio pueden ser recuperados de una base de datos, en base a una ubicación física en el entorno del usuario. Los valores recuperados pueden ser valores medidos, por ejemplo, valores medidos por el dispositivo informático cuando es utilizado por el usuario, o valores medidos por otros dispositivos informáticos similares (es decir, de origen público). De manera alternativa, los valores recuperados pueden ser valores simulados, por ejemplo, calculados en base a un modelo de cobertura de radio en el entorno del usuario.
Aunque las ventajas de la invención en algunos casos se han descrito con referencia a realizaciones del primer aspecto de la invención, el razonamiento correspondiente se aplica a las realizaciones de otros aspectos de la invención.
Otros objetivos, características y ventajas de la invención serán evidentes cuando se estudia la siguiente descripción detallada, los dibujos y las reivindicaciones adjuntas. Los expertos en la materia se dan cuenta de que se pueden combinar diferentes características de la invención para crear realizaciones distintas de las que se describen a continuación.
Breve descripción de los dibujos
Lo anterior, así como objetos, características y ventajas adicionales de la invención, se comprenderán mejor a través de la siguiente descripción detallada ilustrativa y no limitativa de las realizaciones de la invención, con referencia a los dibujos adjuntos, en los que:
la figura 1 ilustra un primer escenario para seleccionar una ubicación física para colocar un objeto virtual en nombre de una aplicación de software de AR, de acuerdo con las realizaciones de la invención;
la figura 2 ilustra un segundo escenario para seleccionar una ubicación física para colocar un objeto virtual en nombre de una aplicación de software de AR, de acuerdo con realizaciones de la invención;
la figura 3 ilustra la interacción entre diferentes funciones de los modos de realización de la invención en la selección de una ubicación física para colocar un objeto virtual en nombre de una aplicación de software de AR;
la figura 4 muestra un dispositivo informático para soportar una aplicación de software de AR, de acuerdo con una realización de la invención;
la figura 5 muestra un dispositivo informático para soportar una aplicación de software de AR, de acuerdo con otra realización de la invención;
la figura 6 muestra un dispositivo informático para soportar una aplicación de software de AR, de acuerdo con una realización adicional de la invención;
la figura 7 muestra una realización del medio de procesamiento comprendido en el dispositivo informático para soportar una aplicación de software de AR;
la figura 8 muestra otra realización del medio de procesamiento comprendido en el dispositivo informático para soportar una aplicación de software de AR;
la figura 9 muestra un método para soportar una aplicación de software de AR, de acuerdo con las realizaciones de la invención.
Todas las figuras son esquemáticas, no necesariamente están a escala y, en general, solo muestran partes que son necesarias para dilucidar la invención, en donde otras partes pueden estar omitidas o simplemente sugeridas.
Descripción detallada
La invención se describirá a continuación, de manera más completa, con referencia a los dibujos que se acompañan, en los que se muestran ciertas realizaciones de la invención. Esta invención, no obstante, puede ser realizada en muchas formas diferentes, y no debe estar considerada como limitada a las realizaciones expuestas en el presente documento. Por el contrario, estas realizaciones están proporcionadas a modo de ejemplo para que esta invención sea detallada y completa. y contendrá de manera completa el alcance de la invención para los expertos en la materia.
En la figura 1, se ilustra la selección de una ubicación física para la colocación de un objeto virtual en nombre de una aplicación de software de AR, mediante la utilización de una realización del dispositivo informático 120 para soportar una aplicación de software de AR a modo de ejemplo. La aplicación de software de AR puede ser, por ejemplo, una aplicación de juegos de AR, o cualquier otro tipo de aplicación de AR tal como una guia turística de AR. El dispositivo informático para soportar una aplicación de software de AR puede ser realizado, por ejemplo, por un servidor de aplicación que aloja la aplicación de software de AR, un servidor de aplicación para seleccionar ubicaciones físicas para la colocación de objetos virtuales a petición de la aplicación de software de AR, un HMD o un dispositivo para la cabeza, un teléfono móvil, un teléfono inteligente, un terminal móvil un ordenador personal, un ordenador portátil, una tableta o una consola de juegos.
A continuación, las realizaciones de la invención se describen con referencia a la figura 1, en la que una realización del dispositivo informático 120 para soportar una aplicación de software de AR se ilustra como un HMD o un dispositivo para la cabeza, mostrado con mayor detalle en la figura 4. El dispositivo informático 120 comprende una cámara 121 que tiene un campo de visión 122, al menos una pantalla 124, un medio de procesamiento 125 y un módulo de comunicaciones 126.
En el presente contexto, colocar un objeto virtual o mostrar un objeto virtual, se debe comprender de tal manera que una representación gráfica del objeto virtual, por ejemplo, un personaje en un juego de AR o información acerca de un objeto del mundo real proporcionado por una guía turística de AR, se superpone a una secuencia de video que captura una escena física del mundo real, de modo que el objeto virtual parece estar ubicado en una ubicación física correspondiente en la escena física. Esto se ilustra en la figura 1, que muestra una escena física de interior 100 con un objeto virtual 104 superpuesto colocado en una ubicación física 131. Además, también se muestra la escena 123 que es renderizada mediante la aplicación de software de AR y presentada al usuario 110 de la aplicación de software de AR utilizando la pantalla 121 que está integrada en el dispositivo informático 120.
En esta memoria, se supone que el usuario 110 se puede desplazar en su entorno, incluida la escena física 100. Dependiendo del tipo de objeto virtual 104 que se superpone a la escena física 100 y se presenta al usuario 110, el usuario 110 puede acercarse a la ubicación física 131 donde se coloca el objeto virtual 104, permanecer en su ubicación actual o alejarse del objeto virtual 104. Por ejemplo, si el objeto virtual 104 representa un personaje “amigable” en un juego de AR, se puede esperar que el usuario 110 se acerque a la ubicación física 131 donde está colocado el objeto virtual 104 para interactuar con el objeto virtual 104, por ejemplo, para recoger un objeto valioso, tal como un tesoro. Por el contrario, si el objeto virtual 104 representa un personaje “hostil”, es probable que el usuario 110 se aleje más de la ubicación física 131 en la que está colocado el objeto virtual 104, o mantenga su ubicación actual.
Con este fin, el medio de procesamiento 125 está operativo para seleccionar una ubicación física para colocar un objeto virtual actual, tal como el objeto virtual 104 colocado en la ubicación física 131 ilustrada en la figura 1. La ubicación física 131 seleccionada es la ubicación física en la que el objeto virtual 104 actual parece estar colocado cuando está superpuesto sobre una secuencia de video que captura la escena física 100. El medio de procesamiento 125 es operativo para seleccionar la ubicación física 131 en base a una ubicación física esperada que el usuario 110 supone en respuesta a mostrar al usuario 110 la escena física 100 y el objeto virtual 104 actual superpuesto, y a un atributo que depende del espacio en el entorno del usuario 110. El atributo que depende del espacio tiene un impacto en la experiencia del usuario de la aplicación de software de AR. En este caso, la ubicación física esperada que supone el usuario 110 es una ubicación futura probable estimada del usuario 110, después de que el objeto virtual 104 actual superpuesto haya sido mostrado al usuario 110. Esta ubicación física esperada del usuario 110 se tiene en cuenta en la selección de una ubicación física para colocar el objeto virtual 104 actual, a fin de proporcionar una experiencia de usuario mejorada, o al menos satisfactoria, al usuario de la aplicación de software de AR.
El atributo que depende del espacio es una propiedad física en la que se basa la aplicación de software de AR, y que tiene un impacto en la experiencia del usuario de la aplicación de software de AR. Por ejemplo, el atributo que depende del espacio puede estar relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR. Con referencia a la figura 1, la conexión inalámbrica puede ser establecida, por ejemplo, entre un punto de acceso (AP - Access Point, en inglés) 103 de una red de área local inalámbrica (WLAN) / red Wi-Fi y el módulo de comunicaciones 126 comprendido en el dispositivo informático 120. El atributo que depende del espacio puede ser cualquiera de una intensidad de señal, una velocidad de datos, un ancho de banda, una tasa de error, una velocidad de retransmisión y una latencia de la conexión inalámbrica. En particular, la experiencia del usuario de la aplicación de software de AR aprovecha, en general, una alta intensidad de señal, una alta velocidad de datos, un alto ancho de banda, una baja tasa de error, una baja velocidad de retransmisión y una baja latencia. Como alternativa, el atributo que depende del espacio puede estar relacionado con una percepción por parte del usuario 110 del sonido renderizado por la aplicación de software de AR, por ejemplo, por altavoces que están dispuestos cerca de la escena física 100 (no ilustrada en la figura 1). En este caso, la percepción del usuario 110 puede referirse a si el audio estéreo o el audio 3D pueden ser entregados en una determinada ubicación física con calidad, volumen o similares suficientes.
Además, con referencia a la figura 1, se muestra una ubicación física alternativa 132 para la colocación del objeto virtual 104 actual. Se apreciará que las realizaciones de la invención no están limitadas a considerar dos ubicaciones físicas candidatas para colocar un objeto virtual actual. Por el contrario, el ejemplo presentado en el presente documento se ha mantenido simple por sencillez. De manera similar a la ubicación física 131, la ubicación física alternativa 132 está cerca del armario 101, y las ubicaciones físicas 131 y 132 pueden haber sido seleccionadas, por ejemplo, en base a un requisito de un juego de AR para encontrar una ubicación física para colocar el objeto virtual 104 actual, ilustrado en el presente documento como un personaje del juego de AR, de modo que el personaje se pueda esconder, por ejemplo, en la esquina de una habitación o cerca de un mueble, tal como el armario 101. Sin embargo, en contraste con la ubicación física 131, la ubicación física alternativa 132 está más cerca del horno microondas 102 que puede causar interferencia en la red inalámbrica creada por el AP 103. Por consiguiente, se espera que el rendimiento de la conexión inalámbrica utilizada por la aplicación de software de AR, a través del módulo de comunicaciones 126, sea inferior en la ubicación física alternativa 132 en comparación con la ubicación física 131. El rendimiento inferior se refleja y se puede deducir de un atributo que depende del espacio, tal como una intensidad de la señal, una velocidad de datos, un ancho de banda, una tasa de error y una velocidad de retransmisión, o una latencia, de la conexión inalámbrica. Con este fin, la ubicación física 131 para colocar el objeto virtual 104 actual se selecciona de entre las dos ubicaciones físicas 131 y 132 candidatas en base a un mayor rendimiento de la conexión inalámbrica en la ubicación física 131.
En la figura 2, las realizaciones de la invención se ilustran en un escenario diferente. En este caso, se ilustra una escena física de exterior 200, que es capturada por la cámara 121 comprendida en el dispositivo informático 120, ilustrada de nuevo como un auricular h Md o VR, utilizado por el usuario 110. De manera similar a la figura 1, el medio de procesamiento 125 está operativo para seleccionar una ubicación física 231 para colocar un objeto virtual 204 actual en base a una ubicación física esperada que el usuario 110 supone en respuesta a mostrar al usuario 110 la escena aumentada 223 renderizada, que comprende la escena física 200 y el objeto virtual 104 actual superpuesto, y a un atributo que depende del espacio. La ubicación física 231 es la ubicación física en la que el objeto virtual 104 actual aparece para ser colocado cuando está superpuesto sobre la secuencia de video que captura la escena física 200. De manera similar a la figura 1, el atributo que depende del espacio está relacionado, en este ejemplo, con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR, y que tiene un impacto en la experiencia del usuario de la aplicación de software de AR. A diferencia de la figura 1, la conexión inalámbrica se establece en la figura 2 entre una estación base de radio (RBS - Radio Base Station, en inglés) 203 de una red de comunicaciones celulares y el módulo de comunicaciones 126 comprendido en el dispositivo informático 120. La red de comunicaciones celulares puede ser, por ejemplo, cualquiera de una red del Sistema Global para Comunicaciones Móviles (GSM - Global System for Mobile communications, en inglés), una red del Sistema Universal de Telecomunicaciones Móviles (UMTS - Universal Mobile Telecommunications System, en inglés), una red de Evolución a Largo Plazo (LTE - Long Term Evolution, en inglés) o una red 5G.
En el escenario ilustrado en la figura 2, se selecciona la ubicación física 231 para colocar el objeto virtual 104, en lugar de una ubicación física 232 alternativa, en base a un mayor rendimiento de la conexión inalámbrica en la ubicación física 231. Esto se debe al hecho de que la ubicación física 232 alternativa está detrás de un edificio 202 que impacta negativamente en la conexión inalámbrica entre la RBS 202 y el módulo de comunicaciones 126. Se apreciará que las realizaciones de la invención no están limitadas a considerar dos ubicaciones físicas 231 y 232 candidatas para colocar el objeto virtual 204 actual.
A continuación, se describe con mayor detalle la selección de una ubicación física para colocar el objeto virtual 104 / 204 actual, de acuerdo con las realizaciones de la invención. Para este fin, el medio de procesamiento 125 puede estar operativo para seleccionar la ubicación física para colocar el objeto virtual 104 / 204 actual de un conjunto de ubicaciones físicas candidatas, comprendiendo el conjunto, al menos, una ubicación física candidata, tal como las ubicaciones físicas 131 y 132 ilustradas en la figura 1, o las ubicaciones físicas 231 y 232 ilustradas en la figura 2. Las ubicaciones físicas candidatas pueden ser proporcionadas, por ejemplo, por la aplicación de software de AR. Por ejemplo, la aplicación de software de AR puede proporcionar una lista de ubicaciones físicas candidatas junto con una solicitud para seleccionar una ubicación física para colocar el objeto virtual 104 / 204 actual. De manera alternativa, la aplicación de software de AR puede solicitar una ubicación física para colocar el objeto virtual 104 / 204 actual del dispositivo informático 120 en base a los límites geográficos o a otra información proporcionada por la aplicación de software de AR. Como ejemplo, la aplicación de software de AR puede proporcionar una distancia o distancias desde el usuario 110, objetos del mundo real y / u otros objetos virtuales, o una región geográfica dentro de la cual se puede seleccionar la ubicación física para colocar el objeto virtual 104 actual.
Para cada una de las ubicaciones físicas candidatas, se determina una ubicación física esperada que el usuario 110 supone en respuesta a mostrar al usuario 110 la escena física 100 / 200 y el objeto virtual 104 / 204 actual superpuesto, de modo que el objeto virtual 104 / 204 actual parece estar colocado en la ubicación física candidata. Posteriormente, se evalúa un valor del atributo que depende del espacio en la ubicación física esperada determinada del usuario 110. Ventajosamente, la experiencia del usuario de la aplicación de software de AR se tiene en cuenta cuando se ubica una ubicación física para colocar el objeto virtual 104 / 204 actual seleccionado. Esto se puede conseguir, por ejemplo, recuperando uno o más valores del atributo que depende del espacio en base a la ubicación física en el entorno del usuario 110, de una base de datos, tal como se describe más adelante. Los valores pueden ser recuperados, por ejemplo, para una ubicación física candidata cada la vez. De manera alternativa, se puede recuperar de la base de datos una lista o un conjunto de valores, o un mapa que representa el atributo que depende del espacio, que cubre el entorno del usuario 110. Los valores recuperados pueden ser seleccionados en base a una ubicación física del dispositivo 120, a objetos virtuales colocados previamente, a un campo de visión 122 de una cámara 121 utilizada por el usuario 110, o similares. Finalmente, la ubicación física para colocar el objeto virtual 104 / 204 actual se selecciona del conjunto de ubicaciones físicas candidatas en base a los valores del atributo que depende del espacio evaluados en al menos una ubicación física candidata.
Por ejemplo, una de las ubicaciones físicas candidatas para las cuales el atributo que depende del espacio evaluado en la ubicación física esperada correspondiente cumple un criterio predeterminado, puede ser seleccionada como la ubicación física para colocar el objeto virtual 104 / 204 actual. Como ejemplo, la ubicación física seleccionada puede ser la primera ubicación física candidata para la cual el atributo que depende del espacio evaluado en la ubicación física candidata cumple el criterio predeterminado. Preferiblemente, el criterio predeterminado se refiere a, o refleja, una experiencia del usuario de la aplicación de software de AR que está influenciada por el atributo que depende del espacio. El criterio predeterminado puede ser, por ejemplo, un criterio de umbral, tal como exceder una cierta velocidad de datos o ancho de banda, o no exceder una cierta latencia o tasa de error, respectivamente.
Como alternativa, la ubicación física para colocar el objeto virtual 104 / 204 actual puede ser seleccionada como la ubicación física candidata para la cual el atributo que depende del espacio, evaluado, supone un valor máximo (por ejemplo, velocidad de datos o ancho de banda) o mínimo (por ejemplo, tasa de error o latencia).
Como alternativa adicional, la ubicación física para colocar el objeto virtual 104 / 204 actual puede ser seleccionada interpolando la pluralidad de valores del atributo que depende del espacio, evaluado, en una pluralidad de ubicaciones físicas candidatas, y seleccionando una ubicación física en la que el valor interpolado del atributo que depende del espacio supone un valor extremo, por ejemplo, un máximo en la velocidad de datos o el ancho de banda, o un mínimo en la latencia o la tasa de error, respectivamente.
Las ubicaciones físicas candidatas para las cuales se evalúa el atributo que depende del espacio pueden ser determinadas, opcionalmente, de manera adaptativa. Por ejemplo, la siguiente ubicación física candidata puede ser seleccionada en base a una tendencia que se identifica en valores del atributo que depende del espacio, evaluado, para ubicaciones físicas candidatas anteriores. Como ejemplo, la siguiente ubicación física candidata puede ser seleccionada en base a una dirección en el entorno del usuario 110 en la que se espera que el atributo que depende del espacio, de acuerdo con la tendencia identificada, aumente, si el atributo que depende del espacio está relacionado con una velocidad de datos o un ancho de banda de la conexión inalámbrica, o disminuya, si el atributo que depende del espacio está relacionado con una tasa de error o una latencia de la conexión inalámbrica, respectivamente. Asimismo, se apreciará que el número de ubicaciones físicas candidatas que se evalúan puede depender de una tasa de cambio del atributo que depende del espacio en base a la ubicación física en el entorno del usuario 110. Es decir, si el atributo que depende del espacio es relativamente constante en el entorno del usuario 110, es suficiente evaluar menos ubicaciones físicas candidatas en comparación con un escenario en el que el atributo que depende del espacio cambia rápidamente con la ubicación física.
El medio de procesamiento 125 puede estar operativo para determinar la ubicación física esperada que el usuario 110 supone en respuesta a mostrar al usuario 110 la escena física 100 / 200 y el objeto virtual 104 / 204 actual superpuesto seleccionando la ubicación física esperada para estar dentro de un rango predeterminado de la ubicación física candidata actual, es decir, la ubicación física candidata que está bajo evaluación. En particular, con el fin de evaluar el atributo que depende del espacio, la ubicación física esperada del usuario 110 puede ser seleccionada para estar cerca de o ser igual a la ubicación física candidata. En particular, este es el caso si el objeto virtual 104 / 204 actual es de un tipo que puede provocar un cambio de ubicación física del usuario 110 hacia el objeto virtual 104 / 204 actual cuando está superpuesto sobre la escena física 100 / 200.
Opcionalmente, la ubicación física esperada que el usuario 110 supone en respuesta a mostrar al usuario 110 la escena física 100 / 200 y el objeto virtual 104 / 204 actual superpuesto se determina en base a un tipo de objeto virtual 104 / 204 actual. Por ejemplo, en un juego de AR, los posibles tipos de objetos virtuales para los personajes del juego de AR pueden ser “amigables”, “hostiles”, “amigos”, “enemigos” o similares. Preferiblemente, los objetos virtuales se clasifican en diferentes tipos que reflejan el comportamiento de un usuario para alejarse de un objeto virtual, acercarse al objeto virtual o mantener su ubicación física actual. Por ejemplo, la ubicación física esperada que el usuario 110 supone en respuesta a mostrar al usuario 110 la escena física 100 / 200 y el objeto virtual 104 / 204 actual superpuesto puede ser determinada en base a la información relativa al comportamiento esperado de un grupo de usuarios de la aplicación de software de AR en respuesta a mostrar a los usuarios un objeto virtual del mismo tipo que el objeto virtual 104 actual. Esta información puede ser proporcionada, por ejemplo, por la aplicación de software de AR. De manera alternativa, la ubicación física esperada que el usuario 110 supone en respuesta a mostrar al usuario 110 la escena física 100 / 200 y el objeto virtual 104 / 204 actual superpuesto se determina en base a un comportamiento aprendido del usuario 110 en respuesta a objetos virtuales mostrados previamente del mismo tipo que el objeto virtual 104 actual. Es decir, una realización del dispositivo informático 120 puede aprender cómo reacciona el usuario 110 a un objeto virtual superpuesto de cierto tipo, es decir, si el usuario 110 aumenta, disminuye o mantiene su distancia al objeto virtual.
Tal como se ha descrito anteriormente en el presente documento, en la evaluación de los valores del atributo que depende del espacio en una ubicación física esperada que el usuario 110 supone en respuesta a mostrar el objeto virtual 104 / 204 actual colocado en una de las ubicaciones físicas candidatas, uno o más valores del atributo que depende del espacio pueden ser recuperados de una base de datos, ya sea por ubicación, o recuperando una lista o un conjunto de valores, o un mapa que representa el atributo que depende del espacio en una determinada región geográfica. En particular, esta puede ser una región dentro del entorno del usuario 110. Estos valores pueden ser valores medidos por el dispositivo informático 120 o por otros dispositivos informáticos similares, es decir, de origen público. De manera alternativa, estos valores pueden ser valores simulados que se obtienen utilizando un modelo para cobertura de radio en el entorno del usuario 110.
Opcionalmente, el medio de procesamiento 125 pueden ser operativo, además, para almacenar valores medidos del atributo que depende del espacio en base a la ubicación física en la base de datos. Con este fin, estos valores son medidos por el dispositivo informático 120 cuando lo utiliza el usuario 110. Las mediciones pueden ser realizadas de manera continua, a intervalos regulares, o cuando el valor medido ha cambiado en un grado predeterminado. Los valores medidos se almacenan junto con la ubicación física donde se midieron, por ejemplo, la ubicación física del dispositivo informático 120 durante una medición. Los valores pueden ser almacenados para uso propio o para fines de origen público, es decir, para la utilización por parte de otros usuarios de aplicaciones de software de a R.
A continuación, y con referencia a la figura 3, las realizaciones de la invención se describen en términos de diferentes funciones y de su interacción mutua.
La función del dispositivo de usuario 301 es realizada habitualmente por un dispositivo que es accionado por un usuario de la aplicación de software de AR, tal como un dispositivo para la cabeza 120 de HMD o de VR utilizado por el usuario 110, una tableta, un teléfono móvil, un terminal móvil, un teléfono inteligente, o una consola de juegos. El dispositivo de usuario 301 comprende, habitualmente, una cámara 121 para capturar 311 una escena física 100 / 200 en el entorno del usuario 110, y una pantalla 124 para mostrar al usuario 110 la vista renderizada 123 / 223, es decir, la secuencia de video que captura la escena física 100 / 200 y el objeto virtual 104 / 204 actual, superpuesto.
La función de la aplicación de AR 302 está representada, habitualmente, por un dispositivo informático o un nodo de red que aloja, es decir, ejecuta la aplicación de software de AR. En particular, esto puede abarcar la evaluación y decisión acerca del despliegue de objetos virtuales, tal como los personajes 104 / 204 en un juego de AR o la información proporcionada por una guía turística de AR, en base a los datos relacionados con la escena física 100 / 200. Los datos pertenecientes a la escena física 100 / 200 son recibidos 312 desde el dispositivo de usuario 301, ya sea como datos de video, por ejemplo, la secuencia de video que captura la escena física 100 / 200, o como datos que describen los objetos físicos de la ubicación física y tipo de mundo real respectivos, en la escena física 100 / 200. Los datos que describen objetos del mundo real pueden ser determinados por el dispositivo de usuario 301 en base al procesamiento de imagen / video de la secuencia de video que captura la escena física 100 / 200, utilizando técnicas de reconocimiento de objetos.
Cuando la aplicación de AR 302 toma la decisión de desplegar 313 un objeto virtual 104 / 204, se envía una solicitud 314 de una ubicación física para colocar el objeto virtual 104 / 2043 al selector de ubicación 303. La función del selector de ubicación 303 se implementa mediante realizaciones de la invención, en particular, el dispositivo informático, para soportar una aplicación de software de AR, y es compatible con la aplicación de AR 302 que aloja la aplicación de software de AR, seleccionando la ubicación física 131 / 231 para colocar el objeto virtual 104 / 204 en base a una ubicación física esperada que el usuario 110 supone en respuesta a mostrar 123 / 223 al usuario 110 la escena física 100 / 200 y el objeto virtual 104 / 204 actual superpuesto, y el atributo que depende del espacio que tiene un impacto en la experiencia del usuario de la aplicación de software de AR alojada por la aplicación de AR 302.
Cuando se selecciona una ubicación física para colocar un objeto virtual 104 / 204, el selector de ubicación 303 envía una solicitud 315 para valores del atributo que depende del espacio en la ubicación física esperada del usuario 110 a la base de datos de atributos 304, que responde enviando 316 los valores solicitados al selector de ubicación 303. La función de la base de datos de atributos 304 es implementada habitualmente mediante un dispositivo informático o un nodo de red que guarda los valores del atributo que depende del espacio en función de la ubicación. Los valores de almacenamiento de la base de datos del atributo que depende del espacio pueden ser guardados por el dispositivo informático 120, por ejemplo, en una memoria o almacén de datos comprendido en el dispositivo informático 120, o por un dispositivo separado. Por ejemplo, la base de datos puede ser mantenida por un servidor de aplicaciones que aloja la aplicación de software de AR, u otro nodo de red asociado con ella. Como ejemplo adicional, la base de datos puede ser mantenida por un nodo de la RAN o un nodo del Sistema de Soporte de Operaciones (OSS - Operations Support System, en inglés). Por ejemplo, un nodo de la RAN puede guardar información resuelta en el espacio acerca del rendimiento de la RAN, tal como la velocidad de datos, la tasa de error, la intensidad de la señal y similares. Esta información puede ser recopilada desde terminales móviles utilizando la RAN, o ser simulada.
En base a los valores recibidos 316 para el atributo que depende del espacio, el selector de ubicación 303 selecciona la ubicación física 131 / 231 para colocar el objeto virtual 104 / 204, tal como se describe en el presente documento. La ubicación física seleccionada es enviada 318 a la aplicación de AR 302, que despliega 319 el objeto virtual 104 / 204 colocando el objeto virtual 104 / 204 en la ubicación física seleccionada. Los datos que describen el objeto virtual mostrado son proporcionados 320 al dispositivo de usuario 301 que, posteriormente renderiza la vista 123 / 223 mostrada al usuario 110 superponiendo 321 el objeto virtual 104 / 204 en la ubicación física seleccionada en la escena física 100 / 200. De manera alternativa, la vista 123 / 223 mostrada al usuario 110 puede ser renderizada por la aplicación de AR 302 en lugar del dispositivo de usuario 301. En este caso, los datos 320 que describen el objeto virtual desplegado son datos de imagen / video de la escena aumentada renderizada que, posteriormente son mostrados por el dispositivo de usuario 301.
Se apreciará que las realizaciones de la invención pueden implementar las diferentes funciones descritas anteriormente, ya sea por separado o en combinación. Por ejemplo, el HMD 120 puede, además de implementar la función del dispositivo de usuario 301, implementar aún más una o varias de las funciones de la aplicación de AR 302, el selector de ubicación 303 y la base de datos de atributos 304. De manera alternativa, si e1HMD 120 solo implementa la función del dispositivo de usuario 301, el HMD 120 puede interactuar, a través de una red de comunicaciones y, en particular, una conexión inalámbrica, con un servidor de aplicaciones que implementa la función de la aplicación de AR 302 y, opcionalmente, implementa las funciones del selector de ubicación 303 y la base de datos de atributos 304. Un servidor de aplicaciones que únicamente implementa la función de la aplicación de AR 302 puede, a su vez, interactuar con un servidor de ubicación que implementa la función del selector de ubicaciones 303 y, opcionalmente, la función de la base de datos de atributos 304. Un servidor de ubicación que solo implementa la función del selector de ubicación 303 puede, a su vez, interactuar con un nodo de red que implementa la función de la base de datos de atributos 304.
Aunque las realizaciones de la invención se han descrito principalmente con referencia al dispositivo informático 120, que se ilustra como un HMD o un dispositivo para la cabeza de VR en las figuras 1, 2 y 4, el dispositivo informático para soportar una aplicación de software de AR puede estar incorporado de manera alternativa por otros tipos de dispositivos. Por ejemplo, el dispositivo informático puede estar incorporado por una tableta, un teléfono móvil, un terminal móvil, una consola de juegos o un teléfono inteligente 500, tal como se ilustra en la figura 5. De manera similar al HMD 120, el teléfono inteligente 500 comprende una cámara 121, una pantalla 124, un medio de procesamiento 125 y un módulo de comunicaciones 126. El teléfono inteligente 500 puede ser sujetado por el usuario 110 o estar adaptado a la frente del usuario 110 utilizando un adaptador 510, similar a Google Cardboard o Samsung Gear VR.
Como alternativa adicional, con referencia a la figura 6, el dispositivo informático puede estar realizado como un servidor de aplicaciones 600 para alojar la aplicación de software de AR, o como un servidor de ubicaciones 600 para soportar una aplicación de software de AR de acuerdo con realizaciones de la invención, implementando la función de la aplicación de AR 302 o la función del selector de ubicación 303, respectivamente. Además, las realizaciones del servidor de aplicación / ubicación 600 pueden implementar adicionalmente la función o funciones del dispositivo de usuario 301 y/o la función de la base de datos de atributos 304. De manera similar a1HMD 120 y al teléfono inteligente 500, el servidor de aplicaciones / ubicaciones 600 comprende un medio de procesamiento 125 y un módulo de comunicaciones 126. Tal como se ilustra en la figura 6, el servidor de aplicaciones / ubicaciones 600 no comprende una cámara para capturar una escena física en el entorno del usuario 110, ni una pantalla para presentar al usuario 110 la escena capturada y los objetos virtuales superpuestos. Por el contrario, esto se puede conseguir mediante una cámara externa y una pantalla externa, respectivamente. Por ejemplo, el servidor de aplicaciones 600 que aloja la aplicación de software de AR puede estar en comunicación, preferiblemente a través de una conexión inalámbrica, con un dispositivo utilizado por el usuario 110 que implementa la función del dispositivo de usuario 301, y que comprende una cámara para capturar una escena física en el entorno del usuario 110, así como una pantalla para presentar al usuario 110 la escena capturada y los objetos virtuales superpuestos. El dispositivo utilizado por el usuario puede, por ejemplo, ser un HMD o un VR similar a lo que se muestra en la figura 4. Como un ejemplo adicional, el servidor de ubicaciones 600 puede estar en comunicación, preferiblemente a través de una conexión inalámbrica, con el dispositivo utilizado por el usuario que, además de implementar el papel del dispositivo de usuario 301 y que comprende una cámara para capturar una escena física en el entorno del usuario 110 y una pantalla para presentar al usuario 110 la escena capturada y los objetos virtuales superpuestos, también implementa la función de la aplicación de AR 302 mediante el alojamiento de la aplicación de software de AR.
Con este fin, además de seleccionar una ubicación física para colocar un objeto virtual actual, es decir, implementar la función del selector de ubicación 303, una realización del dispositivo informático para soportar una aplicación de software de AR puede ser operativa para alojar, es decir, ejecutar, la aplicación de software de AR, es decir, para implementar la función de la aplicación de AR 302. De manera alternativa, la aplicación de software de AR puede ser ejecutada por un dispositivo separado, tal como un servidor de aplicaciones 600 que implementa la función de la aplicación de AR 302, que está en comunicación con el dispositivo informático para soportar una aplicación de software de AR que implementa la función del selector de ubicación 303.
Una realización del dispositivo informático para soportar una aplicación de software de AR puede implementar, además, la función del dispositivo de usuario 301 superponiendo un objeto virtual en una secuencia de video que captura una escena física en el entorno de un usuario de la aplicación de software de AR, de modo que el objeto virtual superpuesto parece estar ubicado en la ubicación física seleccionada. Preferiblemente, la secuencia de video es capturada por una cámara utilizada por el usuario, de modo que un campo de visión de la cámara se correlaciona con una ubicación física y orientación del usuario, es decir, se desplaza con el usuario. La cámara puede estar incluida, opcionalmente, en el dispositivo informático, por ejemplo, en un teléfono inteligente, un HMD o dispositivo para la cabeza de VR. De manera alternativa, se puede conectar una cámara externa al dispositivo informático utilizando una conexión por cable o inalámbrica, en particular, una cámara utilizada por el usuario, como una cámara tipo GoPro.
Además, una realización del dispositivo informático para soportar una aplicación de software de AR, puede ser operativa, adicionalmente, para mostrar al usuario la secuencia de video que captura la escena física y el objeto virtual superpuesto, preferiblemente utilizando una pantalla que utiliza el usuario. La pantalla puede estar integrada, por ejemplo, en el dispositivo informático, por ejemplo, en un teléfono inteligente, un HMD o un dispositivo para la cabeza de VR. De manera alternativa, la pantalla puede estar adaptada a la frente del usuario para colocar imágenes del mundo físico y de los objetos virtuales sobre el campo de visión del usuario.
A continuación, se describen realizaciones del medio de procesamiento 125, comprendido en el dispositivo informático para soportar una aplicación de software de AR, tales como los dispositivos informáticos 120, 500 y 600, con referencia a las figuras 7 y 8.
En la figura 7, se muestra una primera realización 700 del medio de procesamiento 125. El medio de procesamiento 700 comprende una unidad de procesamiento 702, tal como un procesador de propósito general, y un medio de almacenamiento 703 legible por ordenador, tal como una Memoria de Acceso Aleatorio (RAM - Read Only Memory, en inglés), una memoria rápida o similar. Además, el medio de procesamiento 700 comprende una o más interfaces 701 (“ I/O” en la figura 7) para controlar y/o recibir información de otros componentes comprendidos en el dispositivo informático 120 / 500 / 600, tales como una cámara 121, una pantalla 124 y un módulo de comunicaciones 126. La memoria 703 contiene instrucciones 704 ejecutables por ordenador, es decir, un programa informático, para hacer que el dispositivo informático 120 / 500 / 600 funcione de acuerdo con las realizaciones de la invención tal como se describe en el presente documento, cuando las instrucciones 704 ejecutables por ordenador son ejecutadas en la unidad de procesamiento 702. En particular, el dispositivo informático 120 / 500 / 600 puede estar operativo para seleccionar una ubicación física para colocar un objeto virtual actual en base a una ubicación física esperada que supone un usuario de la aplicación de software de Ar en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, y un atributo que depende del espacio del entorno del usuario y que tiene un impacto en la experiencia del usuario de la aplicación de software de a R. Por ejemplo, la ubicación física para colocar el objeto virtual actual puede ser seleccionada determinando, para al menos una ubicación física candidata para colocar el objeto virtual actual, la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual, y evaluando un valor del atributo que depende del espacio en la ubicación física esperada. La ubicación física para colocar el objeto virtual actual se selecciona por lo tanto en base a la pluralidad de valores del atributo que depende del espacio evaluado en la al menos una ubicación física candidata. La ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto puede estar, por ejemplo, dentro de un rango predeterminado, o ser igual a la ubicación física candidata.
Opcionalmente, la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, puede ser determinada en base a un tipo del objeto virtual actual. Por ejemplo, la ubicación física esperada puede ser determinada en base a la información relativa al comportamiento esperado de los usuarios de la aplicación de software de AR en respuesta a la visualización de un objeto virtual del mismo tipo que el objeto virtual actual a los usuarios. De manera alternativa, la ubicación física esperada puede ser determinada en base a un comportamiento aprendido del usuario en respuesta a objetos virtuales del mismo tipo que el objeto virtual actual visualizado previamente.
El atributo que depende del espacio puede estar relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR. Por ejemplo, el atributo que depende del espacio puede ser cualquiera de una potencia de señal, una velocidad de datos, un ancho de banda, una tasa de error, una velocidad de retransmisión y una latencia de la conexión inalámbrica. De manera alternativa, el atributo que depende del espacio puede estar relacionado con una percepción del sonido que es renderizado por la aplicación de software de a R, por parte del usuario.
En la figura 8 se ilustra una realización alternativa 800 del medio de procesamiento 125. Similar al medio de procesamiento 700, el medio de procesamiento 800 comprende una o más interfaces 801 (“ I/O” en la figura 8) para controlar y/o recibir información de otros componentes comprendidos en el dispositivo informático 120 / 500 / 600, tal como una cámara 121, una pantalla 124 y un módulo de comunicaciones 126. El medio de procesamiento 800 comprende, además, un módulo de selección de ubicación 803 que está configurado para hacer que el dispositivo informático 120 / 500 / 600 funcione de acuerdo con las realizaciones de la invención tal como se describe en el presente documento. En particular, el módulo de selección de ubicación 803 está configurado para seleccionar una ubicación física para colocar un objeto virtual actual en base a una ubicación física esperada que supone un usuario de la aplicación de software de Ar en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, y un atributo que depende del espacio en el entorno del usuario y que tiene un impacto en la experiencia del usuario de la aplicación de software de AR. Por ejemplo, la ubicación física para colocar el objeto virtual actual puede ser seleccionada determinando, para al menos una ubicación física candidata para colocar el objeto virtual actual, la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, y evaluando un valor del atributo que depende del espacio en la ubicación física esperada. La ubicación física para colocar el objeto virtual actual se selecciona, por lo tanto, en base a la pluralidad de valores del atributo que depende del espacio evaluado en al menos una ubicación física candidata. La ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto puede estar, por ejemplo, dentro de un rango predeterminado o ser igual a la ubicación física candidata.
El medio de procesamiento 800 puede comprender, opcionalmente, un módulo de AR 802 que está configurado para alojar, es decir, ejecutar, la aplicación de software de Ar .
Opcionalmente, la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto se puede determinar en base a un tipo del objeto virtual actual. Por ejemplo, la ubicación física esperada se puede determinar en base a la información relativa al comportamiento esperado de los usuarios de la aplicación de software de AR en respuesta a mostrar a los usuarios un objeto virtual del mismo tipo que el objeto virtual actual. Esta información puede estar proporcionada, por ejemplo, por el módulo de AR 802 o ser recuperada de un servidor de aplicaciones que aloja la aplicación de software de a R. De manera alternativa, la ubicación física esperada se puede determinar, mediante un módulo de aprendizaje 805 opcional comprendido en el medio de procesamiento 800, en base a un comportamiento aprendido del usuario en respuesta a objetos virtuales visualizados previamente del mismo tipo que el objeto virtual actual.
El atributo dependiente puede estar relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR. Por ejemplo, el atributo que depende del espacio puede ser cualquiera de una potencia de señal, una velocidad de datos, un ancho de banda, una tasa de error, una velocidad de retransmisión y una latencia de la conexión inalámbrica. De manera alternativa, el atributo que depende del espacio puede estar relacionado con una percepción del sonido por parte del usuario que es renderizada por la aplicación de software de AR. El medio de procesamiento 800 puede comprender, opcionalmente, un módulo de base de datos 804 que está configurado para mantener una base de datos a partir de la cual se pueden recuperar uno o más valores del atributo que depende del espacio en base a una ubicación física en el entorno del usuario. Además, opcionalmente, los valores del atributo que depende del espacio medidos por el dispositivo informático 120 / 500 / 600 pueden ser almacenados mediante el módulo de base de datos 804 en la base de datos en base a la ubicación física.
La interfaz o interfaces 701 y 801, y los módulos 802 a 805, así como cualquier módulo adicional comprendido en el medio de procesamiento 800, pueden ser implementados mediante cualquier tipo de circuito electrónico, por ejemplo, cualquiera o una combinación de circuitos electrónicos analógicos, circuitos electrónicos digitales y medio de procesamiento que ejecutan un programa informático adecuado.
El módulo de comunicaciones 126 comprendido en el dispositivo informático 120 / 500 / 600 puede ser, por ejemplo, un módulo de Bluetooth, un módulo de WLAN / Wi-Fi, o un módulo de comunicaciones celulares que soporte cualquiera, o una combinación de GMS, UMTS, LTE y un estándar 5G. De manera alternativa, el módulo de comunicaciones 126 puede estar configurado para efectuar comunicaciones por medio de luz infrarroja (IR), luz codificada visible (VCL - Visible Coded Light, en inglés), ZigBee, etc.
En lo que sigue, se describen las realizaciones 900 del método para soportar una aplicación de software de AR con referencia a la figura 9. El método 900 puede ser realizado por un dispositivo informático, tal como un servidor de juegos que aloja la aplicación de software de AR, un servidor de ubicación para soportar la aplicación de software de AR, un dispositivo para la cabeza de VR o un HMD, un teléfono móvil, un teléfono inteligente, un terminal móvil, un ordenador personal, un ordenador portátil, una tableta y una consola de juegos. El método 900 comprende seleccionar 906 una ubicación física para colocar un objeto virtual actual en base a una ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, y un atributo que depende del espacio del entorno del usuario y que tiene un impacto en una experiencia de utilización de la aplicación de software de AR. La ubicación física seleccionada es la ubicación física en la que el objeto virtual actual parece estar colocado cuando está superpuesto sobre una secuencia de video que captura una escena física en el entorno de un usuario de la aplicación de software de AR.
La ubicación física para colocar el objeto virtual actual puede ser seleccionada 906 determinando 903, para al menos una ubicación física candidata para colocar el objeto virtual actual (seleccionando o creando 902 una nueva ubicación física candidata en respuesta a la determinación 905 de que se deben evaluar más ubicaciones físicas candidatas), la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, de tal manera que parece estar ubicado en la ubicación física candidata, y evaluando 904 un valor del atributo que depende del espacio en la ubicación física esperada. La ubicación física para colocar el objeto virtual actual se selecciona 906 en base a la pluralidad de valores del atributo que depende del espacio evaluado 904 en la al menos una ubicación física candidata. El conjunto de ubicaciones físicas candidatas puede ser recibido, por ejemplo, desde la aplicación de software de AR. De manera alternativa, se pueden crear 902 nuevas ubicaciones físicas candidatas en base a la información proporcionada por la aplicación de software de AR, tal como se ha descrito anteriormente en el presente documento.
La ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto se puede determinar 903, por ejemplo, que está dentro de un rango predeterminado o es igual a la ubicación física candidata. Opcionalmente, la ubicación física esperada que el usuario supone en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto se puede determinar 903 en base a un tipo del objeto virtual actual. Por ejemplo, la ubicación física esperada se puede determinar 903 en base a la información relativa al comportamiento esperado de los usuarios de la aplicación de software de AR en respuesta a mostrar a los usuarios un objeto virtual del mismo tipo que el objeto virtual actual. De manera alternativa, la ubicación física esperada puede ser determinada 903 en base a un comportamiento aprendido del usuario en respuesta a objetos virtuales mostrados previamente del mismo tipo que el objeto virtual actual.
El método 900 puede comprender, además, recuperar, de una base de datos, uno o más valores del atributo que depende del espacio en base a una ubicación física en el entorno del usuario. Estos valores pueden ser recuperados, por ejemplo, cuando se evalúa 904 el atributo que depende del espacio en la determinada ubicación física esperada 903 del usuario. De manera alternativa, se puede recuperar 901 una lista o un conjunto de valores, o un mapa que representa el atributo que depende del espacio en una determinada región geográfica.
El método 900 puede comprender 907, además, superponer el objeto virtual actual en la secuencia de video que captura la escena física, de tal manera que el objeto virtual actual superpuesto parece estar colocado en la ubicación física seleccionada.
El método 900 puede comprender, además, mostrar 908 al usuario la secuencia de video que captura la escena física y el objeto virtual actual superpuesto.
Se apreciará que el método 900 puede comprender etapas adicionales, o modificadas, de acuerdo con lo que se describe en la presente invención. Una realización del método 900 puede ser implementada como software, tal como el programa informático 704, para ser ejecutado por una unidad de procesamiento comprendida en el dispositivo informático para soportar una aplicación de software de AR, por lo que el dispositivo informático es operativo para funcionar de acuerdo con las realizaciones de invención descritas en el presente documento.
El experto en la materia se da cuenta de que la invención no está limitada en modo alguno a las realizaciones descritas anteriormente. Por el contrario, son posibles muchas modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas.

Claims (18)

REIVINDICACIONES
1. Un dispositivo informático (120; 500; 600) para soportar una aplicación de software de Realidad Aumentada, AR, comprendiendo el dispositivo informático un medio de procesamiento (125) operativo para:
para cada una de al menos dos ubicaciones físicas candidatas (131, 132; 231, 232) para colocar un objeto virtual actual (104; 204), donde el objeto virtual actual parece estar colocado cuando está superpuesto sobre una secuencia de video que captura una escena física (100; 200) en el entorno de un usuario (110) de la aplicación de software de AR:
determinar una ubicación física esperada a la que se desplaza el usuario, o en la que permanece el usuario, en respuesta a mostrar (123; 223) al usuario la escena física y el objeto virtual actual superpuesto, y
evaluar un valor de un atributo que está relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR, y que depende del espacio del entorno del usuario, en la ubicación física esperada, y seleccionar la ubicación física para colocar el objeto virtual actual de al menos dos ubicaciones físicas candidatas en base a un mayor rendimiento de la conexión inalámbrica para la ubicación física seleccionada.
2. El dispositivo informático de acuerdo con la reivindicación 1, en el que la ubicación física esperada a la que se desplaza el usuario, o donde permanece el usuario, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, está dentro de un rango predeterminado de la ubicación física candidata.
3. El dispositivo informático de acuerdo con la reivindicación 1, en el que la ubicación física esperada a la que se desplaza el usuario, o donde permanece el usuario, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, se determina en base a un tipo del objeto virtual actual.
4. El dispositivo informático de acuerdo con la reivindicación 3, en el que la ubicación física esperada a la que se desplaza el usuario, o donde permanece el usuario, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, se determina en base a la información relativa al comportamiento esperado de los usuarios de la aplicación de software de AR en respuesta a mostrar a los usuarios un objeto virtual del mismo tipo que el objeto virtual actual.
5. El dispositivo informático de acuerdo con la reivindicación 3, en el que la ubicación física esperada a la que se desplaza el usuario, o donde permanece el usuario, en respuesta a mostrar al usuario la escena física y el objeto virtual actual superpuesto, se determina en base a un comportamiento aprendido del usuario en respuesta a objetos virtuales mostrados previamente del mismo tipo que el objeto virtual actual.
6. El dispositivo informático de acuerdo con cualquiera de las reivindicaciones 1 a 5, estando el medio de procesamiento (125) operativo para recuperar, de una base de datos (703; 804), uno o más valores del atributo que depende del espacio en base a una ubicación física en el entorno del usuario.
7. El dispositivo informático de acuerdo con cualquiera de las reivindicaciones 1 a 6, siendo el medio de procesamiento (125) operativo, además, para almacenar, en una base de datos (703; 804), valores medidos del atributo que depende del espacio en base a la ubicación física.
8. El dispositivo informático de acuerdo con la reivindicación 6 o 7, en el que la base de datos es mantenida por cualquiera de: el dispositivo informático, una red de acceso de radio, RAN, un nodo y un nodo de sistemas de soporte de operaciones, OSS.
9. El dispositivo informático de acuerdo con una cualquiera de las reivindicaciones 1 a 8, en el que el atributo que depende del espacio es cualquiera de: una intensidad de señal, una velocidad de datos, un ancho de banda, una tasa de error, una tasa de retransmisión y una latencia, de la conexión inalámbrica.
10. El dispositivo informático de acuerdo con cualquiera de las reivindicaciones 1 a 9, en el que el mayor rendimiento de la conexión inalámbrica utilizada por la aplicación de software de AR está caracterizado por uno o más de: alta intensidad de señal, alta velocidad de datos, alto ancho de banda, baja tasa de error, baja tasa de retransmisión y baja latencia de la conexión inalámbrica.
11. El dispositivo informático de acuerdo con cualquiera de las reivindicaciones 1 a 10, siendo el medio de procesamiento (125) operativo para superponer el objeto virtual actual en la secuencia de video que captura la escena física, de modo que el objeto virtual actual superpuesto parece estar colocado en la ubicación física seleccionada.
12. Dispositivo informático de acuerdo con la reivindicación 11, siendo el medio de procesamiento (125) operativo, además, para mostrar al usuario la secuencia de video (123; 223) que captura la escena física y el objeto virtual actual superpuesto.
13. El dispositivo informático de acuerdo con una cualquiera de las reivindicaciones 1 a 12, en el que la secuencia de video es capturada por una cámara (121) utilizada por el usuario, de modo que un campo de visión (122) de la cámara se correlaciona con una ubicación física y orientación del usuario.
14. El dispositivo informático de acuerdo con cualquiera de las reivindicaciones 1 a 13, en el que el usuario utiliza la pantalla (124).
15. El dispositivo informático de acuerdo con cualquiera de las reivindicaciones 1 a 14, que es cualquiera de: un servidor de juegos (600) que aloja la aplicación de software de AR, un dispositivo para la cabeza (120) de realidad virtual, una pantalla montada en la cabeza (120), un teléfono móvil (500), un teléfono inteligente (500), un terminal móvil (500), un ordenador personal, un ordenador portátil, una tableta y una consola de juegos.
16. Un método (900) para soportar una aplicación de software de realidad aumentada, AR, estando realizado el método por un dispositivo informático, y que comprende:
para cada una (902, 905) de al menos dos ubicaciones físicas candidatas (131, 132; 231, 232) para colocar un objeto virtual actual (104; 204), donde el objeto virtual actual parece estar colocado cuando está superpuesto sobre una secuencia de video que captura una escena física (100; 200) en el entorno de un usuario (110) de la aplicación de software de AR:
determinar (903) una ubicación física esperada a la que se desplaza el usuario, o donde permanece el usuario, en respuesta a mostrar (123; 223) al usuario la escena física y el objeto virtual actual superpuesto, y
evaluar (904) un valor de un atributo que está relacionado con el rendimiento de una conexión inalámbrica utilizada por la aplicación de software de AR, y que depende del espacio del entorno del usuario, en la ubicación física esperada, y
seleccionar (906) la ubicación física para colocar el objeto virtual actual de las al menos dos ubicaciones físicas candidatas en base a un mayor rendimiento de la conexión inalámbrica para la ubicación física seleccionada.
17. Un programa informático (704) que comprende instrucciones ejecutables por ordenador para hacer que un dispositivo realice el método de acuerdo con la reivindicación 16, cuando las instrucciones ejecutables por ordenador son ejecutadas en una unidad de procesamiento (702) comprendida en el dispositivo.
18. Un producto de programa informático que comprende un medio de almacenamiento legible por ordenador (703), teniendo el medio de almacenamiento legible por ordenador el programa informático (704) de acuerdo con la reivindicación 17 incorporado en el mismo.
ES16798114T 2016-11-11 2016-11-11 Soportar una aplicación de software para realidad aumentada Active ES2807001T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/077453 WO2018086704A1 (en) 2016-11-11 2016-11-11 Supporting an augmented-reality software application

Publications (1)

Publication Number Publication Date
ES2807001T3 true ES2807001T3 (es) 2021-02-19

Family

ID=57348645

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16798114T Active ES2807001T3 (es) 2016-11-11 2016-11-11 Soportar una aplicación de software para realidad aumentada

Country Status (17)

Country Link
US (1) US20210287440A1 (es)
EP (2) EP3500908B1 (es)
JP (1) JP6859436B2 (es)
KR (1) KR102262812B1 (es)
CN (1) CN109937393B (es)
AU (1) AU2016429066B2 (es)
BR (1) BR112019009494A2 (es)
CO (1) CO2019003467A2 (es)
ES (1) ES2807001T3 (es)
HU (1) HUE049833T2 (es)
IL (1) IL265494B (es)
MX (1) MX2019005382A (es)
MY (1) MY195155A (es)
PL (1) PL3500908T3 (es)
RU (1) RU2723920C1 (es)
WO (1) WO2018086704A1 (es)
ZA (1) ZA201902002B (es)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536295B (zh) * 2018-03-30 2021-08-10 腾讯科技（深圳）有限公司 虚拟场景中的对象控制方法、装置及计算机设备
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN112822636A (zh) * 2019-11-15 2021-05-18 南宁富桂精密工业有限公司 提供增强现实导游的方法及其装置
US20230237751A1 (en) 2020-06-17 2023-07-27 Nippon Telegraph And Telephone Corporation Information processing apparatus, information processing method, and program
US11682136B2 (en) 2021-01-07 2023-06-20 Htc Corporation Display method, display system and non-transitory computer readable storage medium
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007007057D1 (de) * 2007-04-26 2010-07-22 Research In Motion Ltd Vorhersage der Benutzerverfügbarkeit aus angesammelten Signalstärkedaten
JP4926916B2 (ja) * 2007-11-07 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
AU2009295574A1 (en) * 2008-09-24 2010-04-01 Iopener Media Gmbh System and method for simulating events in a real environment
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
WO2011133078A1 (en) * 2010-04-22 2011-10-27 Telefonaktiebolaget Lm Ericsson (Publ) Measures indicative of wireless data transfer rates for a user equipment
JP2012043194A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5966425B2 (ja) * 2012-02-22 2016-08-10 日本電気株式会社 無線通信システム、移動局、ａｒ位置情報交換システム、ａｒ位置情報交換方法、及びプログラム
US9380621B2 (en) * 2012-04-12 2016-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Pairing a mobile terminal with a wireless device
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US20140129342A1 (en) * 2012-11-06 2014-05-08 Apple Inc. Dynamically adjusting invitational content placement opportunities in interactive environments
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN203761426U (zh) * 2013-10-12 2014-08-06 五邑大学 一种基于增强现实技术的食品安全信息公开系统
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法
US11137601B2 (en) * 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
US9495801B2 (en) * 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US9645648B2 (en) * 2014-09-18 2017-05-09 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US10169922B2 (en) * 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
CN105892651B (zh) * 2016-03-28 2019-03-29 联想(北京)有限公司 一种虚拟对象的显示方法和电子设备
WO2018005671A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp. Systems and methods for transferring object authority in a shared virtual environment
US11320899B2 (en) * 2018-07-23 2022-05-03 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction

Also Published As

Publication number Publication date
HUE049833T2 (hu) 2020-10-28
PL3500908T3 (pl) 2020-11-02
ZA201902002B (en) 2020-10-28
CN109937393A (zh) 2019-06-25
AU2016429066A1 (en) 2019-05-23
MX2019005382A (es) 2019-08-12
IL265494B (en) 2020-09-30
EP3500908B1 (en) 2020-04-22
CN109937393B (zh) 2022-04-19
WO2018086704A1 (en) 2018-05-17
KR102262812B1 (ko) 2021-06-09
US20210287440A1 (en) 2021-09-16
EP3667464B1 (en) 2024-02-14
EP3500908A1 (en) 2019-06-26
IL265494A (en) 2019-05-30
BR112019009494A2 (pt) 2019-07-30
RU2723920C1 (ru) 2020-06-18
KR20190070971A (ko) 2019-06-21
EP3667464C0 (en) 2024-02-14
JP2020514848A (ja) 2020-05-21
CO2019003467A2 (es) 2019-06-19
MY195155A (en) 2023-01-11
AU2016429066B2 (en) 2020-05-28
JP6859436B2 (ja) 2021-04-14
EP3667464A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
ES2807001T3 (es) Soportar una aplicación de software para realidad aumentada
US11120616B2 (en) Method for implementing virtual scene conversion and related apparatus
ES2750682T3 (es) Entorno virtual para compartir información
US10984595B2 (en) Method and apparatus for providing guidance in a virtual environment
ES2957257T3 (es) Realidad aumentada registrada en tiempo real basada en la red para dispositivos móviles
JP2021511602A (ja) マークポイント位置表示方法、電子機器及びコンピュータ読取可能な記憶媒体
ES2890428T3 (es) Dispositivo de visualización montado en la cabeza y su método
JP2024045184A (ja) 仮想アイテムをマークするように仮想対象を制御する方法及びその装置並びに媒体
JP7191210B2 (ja) 仮想環境の観察方法、デバイス及び記憶媒体
KR20160034037A (ko) 화면 캡쳐를 위한 방법 및 그 전자 장치
US11054963B2 (en) Method for displaying navigator associated with content and electronic device for implementing the same
JP2022525172A (ja) 仮想オブジェクトの制御方法、装置、コンピュータ機器及びプログラム
CN109821237B (zh) 视角转动的方法、装置、设备及存储介质
CN112330823B (zh) 虚拟道具的显示方法、装置、设备及可读存储介质
KR20210142705A (ko) 시야각 회전 방법, 디바이스, 장치, 및 저장 매체
CN111589141A (zh) 虚拟环境画面的显示方法、装置、设备及介质
CN111013136B (zh) 虚拟场景中的移动控制方法、装置、设备及存储介质
KR20140127934A (ko) 증강 현실 및 뇌파를 이용한 사격 게임 방법 및 이를 이용하는 모바일 기기와 시스템
JP2010102588A (ja) 過去に撮像したリアル画像にバーチャルオブジェクトを重ねて表示する装置及び方法
KR20140014903A (ko) 모바일 기기가 구비된 장난감 총
CN109194949A (zh) 一种图像的展示方法以及移动终端
JP2019174548A (ja) 制御装置、電子機器、制御方法、及び制御プログラム
CN117771661A (zh) 一种场景对象的遮挡裁剪方法、装置、终端及存储介质