ES2715023T3 - Construcción de entornos de realidad aumentada con iluminación precalculada - Google Patents

Abstract

En un dispositivo de pantalla, un procedimiento (600) para mostrar una imagen de realidad aumentada que comprende efectos de iluminación, comprendiendo el procedimiento (600) : recibir (602) datos de imagen, capturando los datos de imagen una imagen de un entorno local del dispositivo de pantalla; identificar (606) una característica física del entorno local por medio de los datos de imagen; identificar las características de iluminación físicas locales del entorno; construir (622) una imagen de realidad aumentada de una estructura virtual para mostrar la estructura virtual sobre la característica física en alineación espacial con la característica física; y emitir (640) la imagen de realidad aumentada al dispositivo de pantalla; en el que, para crear la imagen de realidad aumentada, la estructura virtual se muestra superpuesta sobre la característica física desde el punto de vista de un usuario; en el que la imagen de realidad aumentada comprende una pluralidad de segmentos de estructura virtual modulares que están dispuestos en posiciones adyacentes unos con los otros para formar la estructura virtual, comprendiendo cada segmento de estructura virtual modular información precalculada con respecto a un efecto de iluminación precalculado utilizando una iluminación virtual, en el que los efectos de iluminación se almacenan con el segmento de estructura virtual modular asociado como mapas de luz, mapas de cubo o funciones de transferencia de radiancia, estando incluidos los efectos de iluminación en la estructura virtual construida por medio de los segmentos de estructura virtual modulares; y en el que instancias de los segmentos de estructura virtual modulares se procesan para formar una apariencia de la estructura virtual, en el que se modula un aspecto de los segmentos de estructura virtual modulares que comprenden la información con respecto a un efecto de iluminación precalculado, en base a las características de iluminación físicas locales identificadas para que la iluminación virtual coincida con las características de iluminación física local del entorno.

Description

DESCRIPCIÓN

Construcción de entornos de realidad aumentada con iluminación precalculada

Antecedentes

La adición de iluminación y sombras realistas a los entornos virtuales, tales como un entorno virtual de videojuegos, puede ser computacionalmente costosa. Como consecuencia, los tiempos de renderizado de los efectos de ilumina­ ción pueden ser inaceptablemente largos para su uso durante el juego del videojuego. Por ejemplo, la creación de mapas de textura que codifican iluminación realista (por ejemplo, iluminación global) y sombras ("mapas de luz") en un entorno virtual puede tomar horas, o incluso días, para calcular. Por lo tanto, tales efectos de iluminación gene­ ralmente se calculan previamente para un entorno virtual durante el desarrollo del entorno virtual, en lugar de calcu­ larse en tiempo real durante el juego.

La iluminación dinámica y el sombreado se pueden calcular más rápidamente. Sin embargo, la calidad visual de la iluminación dinámica puede ser mucho menor que la de los efectos de iluminación precalculados. Además, la ilumi­ nación dinámica puede utilizar recursos significativos en tiempo de ejecución. El documento de Albert Sanchez Riera t al titulado "Simulación de iluminación en escenas de realidad aumentada: Experiencia docente en diseño de interio­ res", Sistemas y Tecnologías de la Información (CISTI), 7a Conferencia Ibérica de 2012, IEEE, 20 de junio de 2012 (2012 - 06 - 20), páginas 1 - 6, XP032226846, ⁱS^b N: 978 - 1 - 4673 - 2843 - 2 revela la visualización de un entorno local y objetos virtuales, que comprende la modificación de la visualización de los objetos virtuales para adaptarse al entorno local.

Sumario

Se describen varias realizaciones que se relacionan con la construcción eficiente de un entorno de realidad aumen­ tada con efectos de iluminación global. Por ejemplo, una realización divulgada proporciona un procedimiento para mostrar una imagen de realidad aumentada por medio de un dispositivo de pantalla. El procedimiento incluye recibir datos de imágenes que capturan una imagen de un entorno local del dispositivo de pantalla e identificar una caracte­ rística física del entorno local por medio de los datos de la imagen. El procedimiento incluye además la construcción de una imagen de realidad aumentada de una estructura virtual para mostrar sobre la característica física en alinea­ ción espacial con la característica física desde un punto de vista de un usuario, comprendiendo la imagen de reali­ dad aumentada una pluralidad de segmentos de estructura virtual modulares dispuestos en posiciones adyacentes para formar la característica de estructura virtual, comprendiendo cada segmento de estructura virtual modular un efecto de iluminación precalculado y emitir la imagen de realidad aumentada en el dispositivo de pantalla.

Este Sumario se proporciona para introducir una selección de conceptos en una forma simplificada que se describen adicionalmente más abajo en la Descripción Detallada. Este Sumario no pretende identificar características clave o características esenciales de la materia reivindicada, ni pretende ser utilizado para limitar el alcance de la materia reivindicada. Además, el objeto reivindicado no se limita a implementaciones que resuelven cualquiera o todas las desventajas señaladas en cualquier parte de esta divulgación. La invención se establece en el conjunto de reivindi­ caciones que se acompañan.

Breve descripción de los dibujos

La figura 1 muestra una realización ejemplar de un dispositivo de pantalla transparente en un entorno de uso ejemplar.

La figura 2 muestra una realización de una imagen de realidad aumentada en el entorno de uso ejemplar de la figura 1.

La figura 3 muestra una realización ejemplar de un conjunto de segmentos de estructura virtual modulares. La figura 4 muestra una representación esquemática de un efecto de iluminación precalculado que se apli­ ca a una parte de un segmento de estructura virtual modular.

La figura 5A ilustra una adición de un efecto de luz puntual dinámico a la imagen de realidad aumentada de la figura 2, y la figura 5B ilustra un ejemplo del efecto del efecto de luz puntual dinámico en una parte de un segmento de estructura virtual modular que tiene un efecto de iluminación precalculado.

La figura 6 muestra un diagrama de flujo que muestra una realización de un procedimiento para construir un entorno virtual ajustado a un entorno físico detectado.

La figura 7 muestra un diagrama de bloques de una realización ejemplar de un dispositivo de pantalla transparente.

La figura 8 muestra un diagrama de bloques de una realización ejemplar de un sistema de computación.

Descripción detallada

Como se ha mencionado más arriba, los efectos de iluminación realistas para un entorno virtual generalmente se precalculan una vez que el entorno virtual se ha construido y a continuación se almacenan, por ejemplo, como ma­ pas de luz para el entorno virtual. Dichos entornos virtuales se construyen comúnmente con geometrías fijas que no se adaptan a los alrededores de un usuario.

Como contraste, un sistema de visualización de realidad aumentada puede configurarse para adaptar una imagen virtual a los alrededores de un usuario. Por ejemplo, un videojuego de realidad aumentada puede adaptar las estruc­ turas virtuales del juego a las estructuras físicas correspondientes de un entorno físico del usuario. Por lo tanto, las geometrías de los objetos de imagen de realidad aumentada pueden cambiar en función del entorno físico del usua­ rio.

Como la adaptación del entorno de realidad aumentada al entorno físico se produce durante el uso en tiempo real, si se aplicasen efectos de iluminación de alta calidad al entorno después de crear el entorno, los cálculos de ilumina­ ción también se producirían en este momento. Sin embargo, si tales efectos de iluminación se calculasen para un entorno de realidad aumentada después de ajustar las imágenes de realidad aumentada al entorno físico, es posible que un usuario tuviese que esperar horas o días para reproducir una experiencia de realidad aumentada, depen­ diendo del sistema de computación en particular que se utilice para calcular los efectos de iluminación, debido al gasto computacional de aplicar efectos de iluminación realistas. Esto puede dar como resultado una experiencia de usuario inaceptablemente lenta. Además, la apariencia del entorno físico puede cambiar durante un retraso tan lar­ go. Esto puede resultar en un desajuste entre el mundo real y el mundo virtual, lo que puede impactar significativa­ mente sobre una experiencia de realidad aumentada.

Como una solución potencial, se puede utilizar iluminación dinámica en lugar de los efectos de iluminación precalcu­ lados para un entorno de realidad aumentada. Sin embargo, como se ha mencionado más arriba, la iluminación dinámica puede ser de menor calidad que la iluminación precalculada y, por lo tanto, puede no proporcionar la mejor experiencia de usuario. Además, la iluminación dinámica puede ser computacionalmente costosa en tiempo de eje­ cución, lo que puede disminuir los presupuestos de cálculo para otros aspectos de la experiencia, tales como otros efectos visuales y juegos.

Por lo tanto, en la presente memoria descriptiva se describen realizaciones que se relacionan con la construcción eficiente de un entorno de realidad aumentada, con efectos de iluminación precalculados de alta calidad, que se ajustan a la geometría de un entorno físico local. Brevemente, las realizaciones descritas utilizan segmentos de estructura virtual modulares que pueden estar dispuestos adyacentes unos a los otros para formar una estructura virtual para una imagen de realidad aumentada, en el que los segmentos de estructura virtual modulares compren­ den efectos de iluminación precalculados de alta calidad. Puesto que los efectos de iluminación son calculados pre­ viamente para cada segmento de estructura virtual modular, los efectos de iluminación se incluirán en una estructura virtual construida por medio de los segmentos de estructura virtual modulares. Además, en algunas realizaciones, las características de iluminación locales pueden detectarse, y usarse para modular una apariencia de los segmen­ tos de estructura virtual modulares. Ejemplos de tales características de iluminación local pueden incluir, pero sin limitación, las características de color y las posiciones de las fuentes de luz en el entorno físico local.

La figura 1 muestra una realización ejemplar de un entorno de uso 100 para un sistema de visualización de realidad aumentada, en forma de una sala de estar. Se muestra un usuario 102 que está viendo la sala de estar por medio de un dispositivo de pantalla transparente 104. La figura 1 también muestra un campo de visión 103 del usuario, que representa una porción del entorno visible por medio del dispositivo de pantalla transparente 104, y por lo tanto la parte del entorno que puede aumentarse con imágenes mostradas por medio del dispositivo de pantalla transparente 104. En algunas realizaciones, el campo de visión 103 del usuario puede ser sustancialmente coextensivo con el campo de visión real del usuario, mientras que en otras realizaciones el campo de visión 103 del usuario puede ocupar una porción menor del campo de visión real del usuario.

Como se describirá con mayor detalle más adelante, el dispositivo de pantalla transparente 104 puede comprender uno o más sensores de imagen orientados hacia afuera (por ejemplo, cámaras bidimensionales y / o cámaras de profundidad) configurados para adquirir datos de imagen (por ejemplo, imágenes en color / escala de grises, profun­ didad de imágenes / datos de la nube de puntos / datos de malla, etc.) que representan el entorno de uso 100 a medida que el usuario navega por el entorno. Estos datos de imagen se pueden usar para obtener información sobre el diseño del entorno y las características estructurales del mismo, tales como el techo 106 y las paredes 108, así como otras características.

El dispositivo de pantalla transparente 104 está configurado además para superponer objetos virtuales visualizados sobre objetos físicos visibles que son visibles a través del dispositivo para crear una imagen de realidad aumentada. Por ejemplo, en referencia a la figura 2, se muestra un ejemplo de imagen de realidad aumentada en la que las es­ tructuras entramadas 200 de la habitación virtual, tales como las entramados de la pared virtual 202, los colectores 204, etc., se muestran como una superposición sobre la pared del usuario. También se pueden mostrar imágenes de infraestructura, tal como tuberías 206, conductos / cables, etc., así como cualquier otra estructura virtual adecuada. También se pueden mostrar estructuras similares (no mostradas) para el techo. Además, las imágenes se pueden mostrar correspondiéndose a muebles u otros objetos no estructurales en una habitación, y ocupando un espacio vacío dentro de una habitación. Se apreciará que la imagen de realidad aumentada que se muestra en la figura 2 no está limitada al campo de visión del usuario que se muestra en la figura 1 con el fin ilustrar el entorno de realidad aumentada de manera más completa.

Las estructuras entramadas de paredes virtuales de la figura 2 se ajustan geométricamente a las estructuras físicas subyacentes (por ejemplo, las paredes 108). Puesto que el entorno físico local de cada usuario probablemente diferi­ rá, las estructuras virtuales generales para el entorno físico local de cada jugador son construidas al adquirir datos de imagen (por ejemplo, datos de imagen de profundidad estéreo, datos de imagen de luz estructurada, datos de imagen de tiempo de vuelo u otros datos de imagen en profundidad) del entorno físico local, en lugar de estar predi­ señadas. De esta manera, si los efectos de iluminación global se aplicaran a las estructuras virtuales después de construir las estructuras virtuales, se puede obligar a un jugador a esperar un tiempo indeseable mucho antes de poder jugar a la actividad, y se le puede restringir el cambio de entornos (por ejemplo, entrar en habitaciones diferen­ tes) durante un juego, ya que la construcción y la aplicación de iluminación al nuevo entorno puede llevar un período de tiempo inadecuado.

Por lo tanto, como se ha mencionado más arriba, las estructuras virtuales 200 se ensamblan a partir de conjuntos de segmentos de estructura virtual modulares con efectos de iluminación precalculados, en los que las instancias de los segmentos de estructura virtual modulares pueden estar dispuestas adyacentes unas a las otras y procesadas (por ejemplo, rotadas, escaladas, etc. ) para formar la apariencia de una estructura virtual unitaria. La figura 3 muestra una realización ejemplar de un conjunto 300 de segmentos de estructura virtual modulares que comprende un seg­ mento de entramado de pared 302, un segmento de entramado de pared con un tubo unido 304, un segmento de entramado de pared con una tubería horizontal 306, un par de segmentos de marco de puerta 308, 310, y un par de segmentos de marco de ventana 312, 314. Con referencia a la figura 2, se hace notar que las estructuras virtuales 200 pueden construirse completamente a partir de instancias de segmentos de pared virtual seleccionados del con­ junto 300 con escalado, rotado, recortado, adaptado y / o procesado apropiadamente de otro modo en base a la colocación de cada instancia particular.

Aunque se representa un conjunto relativamente simple de segmentos de estructura virtual modulares en la figura 3, se entenderá que un conjunto de segmentos de estructura virtual modulares puede tener cualquier número adecua­ do y selección de segmentos de cualquier complejidad deseada. Además, se entenderá que los conjuntos de seg­ mentos de estructura virtual modulares con iluminación precalculada se pueden usar para construir cualquier otra estructura adecuada que se ajuste a cualquier otra característica física deseada distinta a una estructura virtual que se ajuste a una pared, incluyendo, pero sin limitación, estructuras virtuales que se ajustan a techos, así como a ca­ racterísticas no estructurales tales como muebles, colgantes de pared, plantas, objetos exteriores, encimeras, ba­ rras, etc. Por ejemplo, los segmentos de estructuras virtuales modulares preiluminados pueden incluir sofás, escrito­ rios, televisores, espejos y otros objetos virtuales preiluminados que se encuentran comúnmente en entornos físicos, pero que pueden tener diferentes formas y / o apariencias en diferentes entornos físicos. Se entenderá que tales segmentos estructurales virtuales para tales objetos en algunos casos pueden comprender un solo "segmento", de manera que un solo elemento de estructura virtual sea redimensionado, rotado y procesado de otra manera para adaptarse a una estructura física deseada sin que necesariamente se combine con segmentos adyacentes. Además, se entenderá que un espacio vacío dentro de un entorno físico puede considerarse una característica física del en­ torno, y que los segmentos de la estructura virtual modular pueden organizarse para construir un objeto virtual en una porción no ocupada del espacio dentro de una habitación u otro ambiente de uso.

Algunos segmentos de estructura virtual modulares pueden comprender restricciones de conectividad que restringen un conjunto de otros segmentos que pueden unirse al segmento. Por ejemplo, en la figura 3, cada segmento de ventana y segmento de puerta puede unirse en un lado (por ejemplo, el lado de ventana / puerta) a otro segmento de ventana o puerta, y no a un segmento de entramado de pared 302 en ese lado, o los segmentos se acoplarían incorrectamente. Además, los segmentos de tubería unida 304 y tubería horizontal 306 pueden estar restringidos a unirse a segmentos con secciones de tubería complementarias. Se entenderá que estas restricciones de conectividad se describen a modo ejemplar, y que se puede usar cualquier otra restricción de conectividad adecuada.

Cualquier efecto de iluminación precalculado adecuado puede ser aplicado a los segmentos de estructura virtual modulares. Por ejemplo, en algunas realizaciones, un conjunto de segmentos de estructura virtual modulares puede estar diseñado para ser utilizado en cualquier entorno de iluminación local, sin hacer referencia a posiciones de luces físicas en el entorno. En tales realizaciones, se puede utilizar un efecto de luz direccional. Un ejemplo de esto se muestra en la figura 4 como una incidencia de luz direccional sobre una porción 400 de un segmento de entra­ mado de pared virtual. La iluminación virtual aplicada puede tener cualquier dirección adecuada. Por ejemplo, para piezas dispuestas horizontalmente, la luz puede ser perpendicular al eje horizontal, mientras que para piezas dis­ puestas verticalmente, la luz puede ser perpendicular al eje vertical. Además, para las piezas modulares que se disponen tanto horizontal como verticalmente, la luz puede ser perpendicular a ambos ejes. Esto puede ayudar a asegurar que las sombras y la iluminación precalculadas para los segmentos tengan características de iluminación comunes para cada segmento y, por lo tanto, pueden ayudar a prevenir la aparición de paralaje y / u otras disconti­ nuidades en los puntos en los que los segmentos adyacentes se encuentran. En la realización de la figura 4, se muestra que la luz direccional se aplica con un ángulo de aproximadamente cuarenta y cinco grados con respecto a un plano vertical, pero se entenderá que esto se presenta con el propósito ejemplar, y que cualquier otro ángulo adecuado puede ser usado.

En otras realizaciones, un conjunto de segmentos de estructura virtual modulares puede ser configurado para su uso con características de iluminación específicas, por ejemplo, una fuente de luz puntual superior única, una lámpara adyacente a una pared, etc. En tales realizaciones, se puede usar cualquier tipo de iluminación virtual adecuada para precalcular los efectos de iluminación. En cualquier caso, después de precalcular los efectos de iluminación, el mapa de luz calculado se puede guardar con un segmento de estructura virtual modular asociado a un alto nivel de información, de modo que las imágenes de estructuras virtuales ensambladas con el segmento tengan efectos de iluminación realistas.

Cualquier tipo adecuado de información de iluminación puede ser almacenado para un segmento de estructura vir­ tual modular. Por ejemplo, los efectos de iluminación precalculados se pueden almacenar como mapas de luz, ma­ pas cúbicos, armónicos esféricos (por ejemplo, funciones de transferencia de radiancia precalculadas) y / o en cual­ quier otra forma adecuada. El uso de funciones de transferencia de radiancia precalculadas puede permitir que se generen luces realistas y sombras en objetos virtuales, por ejemplo, en función de las posiciones de luces físicas detectadas en un entorno de uso mediante la aplicación de luces de puntos virtuales en posiciones de luces físicas en un entorno físico, como se muestra por medio de la fuente de luz puntual virtual 500 en la figura 5A. La figura 5B muestra un ejemplo de cómo se puede modular la apariencia de la porción de los entramados de la pared que se muestra en la figura 4 en función de la fuente de luz virtual de la figura 5A. Además, la iluminación de procedimiento o dinámica también se puede aplicar en tiempo real (por ejemplo, la luz que surge de los objetos virtuales dinámicos que se muestran en la imagen de realidad aumentada).

Las características de iluminación física local también se pueden usar para modular la apariencia de segmentos de estructura virtual modulares de otras maneras. Por ejemplo, los efectos de iluminación precalculados para los seg­ mentos de estructura virtual modulares pueden ser calculados en base a la aplicación de luz blanca. A continuación, cuando se construye una imagen virtual para el entorno físico particular, las características de color de la iluminación física en el entorno físico pueden analizarse a partir de los datos de imagen adquiridos por el dispositivo de pantalla transparente, y las características de color determinadas (por ejemplo, tono, saturación, albedo). ) se puede aplicar a los efectos de iluminación virtual para que la iluminación virtual se ajuste mejor a la iluminación física local. De esta manera, las instancias mostradas de segmentos de paredes / techos virtuales pre - iluminados, muebles virtuales pre - iluminados y cualquier otro objeto virtual pre - iluminado adecuado pueden coincidir con una apariencia del entorno físico más cercano.

La figura 6 muestra una realización de un procedimiento 600 para construir un entorno de realidad aumentada me­ diante la aplicación de instancias de segmentos de estructura virtual modulares a una estructura física detectada. El procedimiento 600 comprende, en 602, recibir datos de imagen que capturan una imagen de un entorno local de un dispositivo de pantalla transparente. Los datos de imagen pueden comprender cualquier dato adecuado, que incluye pero no se limita a imágenes de profundidad 604 y / o imágenes bidimensionales, y pueden recibirse desde senso­ res de imagen en el dispositivo de pantalla transparente, o externos al dispositivo de pantalla transparente. Los da­ tos de imagen de profundidad pueden ser recibidos desde cualquier sistema de formación de imágenes de profundi­ dad adecuado, incluidos, pero sin limitación, sistemas de formación de imágenes estéreo, sistemas de formación de imágenes de tiempo de vuelo y sistemas de formación de imágenes de luz estructurados.

El procedimiento que sigue 600 comprende, en 606, la identificación de una característica física del entorno local a partir de los datos de la imagen. La característica física puede ser identificada de cualquier manera adecuada. Por ejemplo, en algunas realizaciones, una representación de malla del entorno físico se determina a partir de datos de imágenes de profundidad, y se realiza un análisis de malla, en 608, para identificar, en 610, las principales superfi­ cies en el entorno físico. Los ejemplos incluyen, pero sin limitación, paredes 612 y techos 614, así como característi­ cas de las paredes y techos, tales como puertas, ventanas, tragaluces, columnas, otros salientes / recortes en la habitación, etc. Además, los espacios abiertos en la geometría puede ser identificados, por ejemplo, para permitir que una estructura virtual deseada se ajuste al espacio abierto identificado.

El procedimiento 600 también puede incluir, en 616, la identificación de una o más características de iluminación local del entorno físico. Los ejemplos de características de iluminación local pueden incluir, pero sin limitación, las características de color 618 y la posición de las fuentes de luz locales 620.

El procedimiento 600 comprende además, en 622, construir una imagen de realidad aumentada que comprende una característica de estructura virtual para mostrar sobre una característica física detectada en alineación espacial con la característica física. Como se ha mencionado más arriba y se indica en 624, la estructura virtual puede construirse organizando una pluralidad de segmentos de estructura virtual modulares que comprenden cada uno un efecto de iluminación precalculado. Los segmentos de la estructura virtual pueden disponerse de cualquier manera adecuada, incluyendo, pero sin limitación, la rotación, escalado, transformado, recortado, etc.de las piezas para que se ajusten a la geometría física de interés. Del mismo modo, los segmentos de estructura virtual modulares pueden compren­ der cualquier información adecuada con respecto al efecto de iluminación precalculado. Los ejemplos incluyen, pero sin limitación, mapas de luz 626 y / o funciones de transferencia de radiancia 628. Además, como se ha descrito más arriba, las restricciones de conectividad que restringen un conjunto de otros segmentos de estructura virtual modula­ res que pueden unirse a un segmento de estructura virtual modular seleccionado pueden ser unidos a un segmento de estructura virtual modular, seleccionado se puede aplicar, en 630, al seleccionar y disponer los segmentos de la estructura virtual modular para garantizar que las características complementarias se unan adecuadamente en los segmentos adyacentes.

Además, como se ha mencionado más arriba, las características de iluminación locales pueden utilizarse para cons­ truir la imagen de realidad aumentada. Por ejemplo, como se indica en 632, en algunas realizaciones una apariencia de los segmentos de estructura virtual modulares puede modularse en función de las características de iluminación locales. La apariencia puede ser modulada de cualquier manera adecuada. Por ejemplo, se puede impartir un color del entorno de iluminación local al efecto de iluminación precalculado, como se indica en 634. Del mismo modo, se puede aplicar una fuente de luz virtual, tal como una fuente de luz puntual virtual, en una posición de una fuente de luz física en el entorno, como se indica en 636.

En otras realizaciones, en lugar de modular la apariencia de los segmentos de estructura virtual modulares, puede haber disponible una pluralidad de diferentes conjuntos de segmentos de estructura modular virtual que tienen dife­ rentes características de iluminación. Por ejemplo, un conjunto de segmentos de estructura virtual modulares puede comprender efectos de luz precalculados correspondientes a una fuente de luz puntual dispuesta por encima, mien­ tras que otro puede comprender efectos de luz precalculados correspondientes a la luz direccional que entra desde una ventana lateral. En este caso, como se indica en 638, las características de iluminación locales pueden utilizarse para seleccionar un conjunto de segmentos de estructura virtual modulares que tengan características de ilumina­ ción correspondientes, de modo que la estructura virtual resultante pueda tener características de iluminación simila­ res a la luz física en el entorno.

Al construir la imagen de realidad aumentada, el procedimiento 600 comprende enviar la imagen de realidad aumen­ tada a un dispositivo de pantalla transparente, como se indica en 640. Los datos del sensor del dispositivo de panta­ lla transparente (por ejemplo, sensores de imagen orientados hacia adentro y hacia afuera) se pueden usar para detectar las posiciones de los ojos del usuario y las direcciones de la mirada, y también para detectar objetos físicos en el campo de visión del usuario, y para mostrar la estructura virtual sobre una característica física correspondiente en alineación espacial con la característica física para dar al usuario una vista de realidad aumentada del entorno físico.

Como se ha mencionado más arriba, los procedimientos que se han descrito más arriba pueden realizarse por me­ dio de cualquier dispositivo de pantalla adecuado. Los ejemplos incluyen, pero no están limitados a, dispositivos de visualización transparente, tales como el dispositivo de pantalla transparente montado en la cabeza 104 de la figura 1, y otros dispositivos de visualización que tienen uno o más sensores de imagen, tales como teléfonos inteligentes y ordenadores portátiles. La figura 7 muestra un diagrama de bloques de una configuración ejemplar del dispositivo de pantalla transparente 104.

El dispositivo de pantalla transparente 104 puede comprender una o más lentes 702 que forman una parte de un subsistema de visualización transparente 704. El dispositivo de pantalla transparente 104 puede comprender ade­ más uno o más sensores de imagen orientados hacia afuera 706 configurados para adquirir imágenes. de una esce­ na de fondo que está siendo vista por un usuario, y puede incluir uno o más micrófonos 708 configurados para de­ tectar sonidos, tales como comandos de voz de un usuario. Los sensores de imagen orientados hacia afuera 706 pueden incluir uno o más sensores de profundidad (incluyendo, pero sin limitación, los dispositivos de imagen esté­ reo en profundidad) y / o uno o más sensores de imagen bidimensionales.

El dispositivo de pantalla transparente 104 comprende además un subsistema de detección de la mirada 710 confi­ gurado para detectar una dirección de la mirada de cada ojo de un usuario, como se ha descrito más arriba. El sub­ sistema de detección de la mirada 710 puede configurarse para determinar las direcciones de la mirada de cada uno de los ojos de un usuario de cualquier manera adecuada. Por ejemplo, en la realización representada, el subsistema de detección de la mirada 710 comprende una o más fuentes de destellos 712, tales como fuentes de luz infrarroja, configuradas para provocar que un destello de luz se refleje desde la córnea de cada ojo de un usuario, y uno o más sensores de imagen 714 configurados para capturar una imagen de uno o más ojos del usuario. Las imágenes de los destellos y de las pupilas, según lo determinado a partir de los datos de imagen recopilados por medio de los sensores de imagen 714, se pueden usar para determinar un eje óptico de cada ojo. Se entenderá que el subsiste­ ma de detección de mirada 710 puede tener cualquier número y disposición adecuados de fuentes de luz y de sen­ sores de imagen.

El dispositivo de pantalla transparente 104 puede comprender además sensores adicionales. Por ejemplo, el disposi­ tivo de pantalla transparente 104 puede comprender un subsistema de posicionamiento global (GPS) 716 para per­ mitir determinar una posición del dispositivo de pantalla transparente 104.

El dispositivo de pantalla transparente 104 puede incluir además uno o más sensores de movimiento 718 para de­ tectar movimientos de la cabeza de un usuario cuando el usuario está usando el dispositivo de pantalla transparente 104. Se pueden usar datos de movimiento, por ejemplo, para estabilizar la imagen para ayudar a corregir el desen­ foque en las imágenes del (de los) sensor (es) de imagen orientado hacia el exterior 706. Del mismo modo, los sen­ sores de movimiento 718, así como el (los) micrófono (s) 708 y el subsistema de detección de la mirada 710, tam­ bién pueden emplearse como dispositivos de entrada de usuario, de manera que el usuario pueda interactuar con el subsistema de visualización transparente 704 por medio de gestos del ojo, cuello y / o cabeza, así como por medio de comandos verbales. Se entenderá que los sensores ilustrados en la figura 7 se muestran a modo ejemplar y no pretenden ser limitativos de ninguna manera, ya que se puede utilizar cualquier otro sensor adecuado y / o combina­ ción de sensores.

El dispositivo de pantalla transparente 104 comprende además un dispositivo informático 720 que tiene un subsis­ tema lógico 722 y un subsistema de almacenamiento 724 en comunicación con los sensores, con el subsistema de detección de mirada 710 y con el subsistema de visualización transparente 704. El subsistema de almacenamiento 724 comprende instrucciones almacenadas en el mismo. ejecutables por el subsistema lógico 722, por ejemplo, para recibir datos de imagen de sensores de imagen orientados hacia afuera 706 que capturan una imagen de un entorno local del dispositivo de pantalla transparente, e identificar una característica física del entorno local por medio de los datos de imagen. Las instrucciones también pueden ser ejecutables para construir una imagen de realidad aumen­ tada de una estructura virtual mediante la organización de una pluralidad de segmentos de estructura virtual modula­ res en posiciones adyacentes, comprendiendo cada segmento de la estructura virtual modular un efecto de ilumina­ ción global precalculado y mostrando la imagen de realidad aumentada sobre la característica física en alineación espacial con la característica física desde el punto de vista de un usuario. Las instrucciones pueden ser ejecutables para detectar una característica de iluminación local, para modular la imagen de realidad aumentada en función de la característica de iluminación local, y para mostrar la imagen de realidad aumentada sobre la característica física en alineación espacial con la característica física por medio del subsistema de visualización transparente 704.

A continuación se describe información adicional sobre el hardware ejemplar para el subsistema lógico 722, el sub­ sistema de almacenamiento 724 y otros componentes que se han mencionado más arriba con referencia a la figura 8.

Se apreciará que el dispositivo de pantalla transparente representado 104 se proporciona a modo ejemplar, y por lo tanto no pretende ser limitativo. Por lo tanto, se debe entender que un dispositivo de pantalla puede incluir sensores, cámaras, micrófonos, dispositivos de entrada, dispositivos de salida, etc. adicionales y / o alternativos que los mos­ trados sin apartarse del alcance de esta divulgación. La configuración física de un dispositivo de pantalla y sus di­ versos sensores y subcomponentes puede tomar una variedad de formas diferentes sin apartarse del alcance de esta divulgación.

Además, se entenderá que un sistema de computación configurado para mostrar imágenes de realidad aumentada por medio de un dispositivo de pantalla transparente puede adoptar cualquier forma adecuada distinta a un dispositi­ vo de pantalla montado en la cabeza, incluyendo, pero sin limitación, un ordenador central, un ordenador servidor, un ordenador de sobremesa, un ordenador portátil, una tableta, un ordenador de entretenimiento en el hogar, un dispositivo de cálculo en red, un dispositivo de juego, un dispositivo de ordenador móvil, un dispositivo de comunica­ ción móvil (por ejemplo, un teléfono inteligente), otro ordenador utilizable, etc. Además, se entenderá que los proce­ dimientos y procesos que se han descrito más arriba puede implementarse como un programa o servicio de aplica­ ciones informáticas, una interfaz de programación de aplicaciones (API), una biblioteca y / u otro producto de pro­ grama de computación.

La figura 8 muestra esquemáticamente una realización no limitativa de un sistema informático 800 que puede reali­ zar uno o más de los procedimientos y procesos que se han descrito más arriba. El sistema de computación 800 se muestra en forma simplificada, y como se ha mencionado más arriba puede representar cualquier dispositivo ade­ cuado y / o combinación de dispositivos, incluidos, pero sin limitación, los que se han descrito más arriba con refe­ rencia a las figuras 1 - 9.

El sistema de computación 800 incluye un subsistema lógico 802 y un subsistema de almacenamiento 804. El siste­ ma de computación 800 puede incluir opcionalmente un subsistema de visualización 806, el subsistema de dispositi­ vo de entrada 808, el subsistema de comunicación 810 y otros componentes no mostrados en la figura 8. El sistema de computación 800 opcionalmente también puede incluir o interactuar con uno o más dispositivos de entrada de usuario, tal como el sistema de seguimiento ocular que se ha descrito más arriba, así como un teclado, ratón, contro­ lador de juegos, cámara (profundidad y / o bidimensional), micrófono y / o pantalla táctil, por ejemplo. Tales dispositi­ vos de entrada de usuario pueden formar parte del subsistema de dispositivo de entrada 808 o pueden interconec­ tarse con el subsistema de dispositivo de entrada 808.

El subsistema lógico 802 incluye uno o más dispositivos físicos configurados para ejecutar instrucciones. Por ejem­ plo, el subsistema lógico puede configurarse para ejecutar instrucciones legibles por máquina que forman parte de una o más aplicaciones, servicios, programas, rutinas, bibliotecas, objetos, componentes, estructuras de datos u otras construcciones lógicas. Tales instrucciones se pueden implementar para realizar una tarea, implementar un tipo de datos, transformar el estado de uno o más componentes o llegar de otra manera a un resultado deseado. El subsistema lógico 802 puede incluir uno o más procesadores configurados para ejecutar instrucciones de softwa­ re. Adicional o alternativamente, el subsistema lógico 802 puede incluir una o más máquinas lógicas de hardware o firmware configuradas para ejecutar instrucciones de hardware o firmware. Los procesadores del subsistema lógico 802 pueden ser de un solo núcleo o de varios núcleos, y los programas ejecutados en el mismo pueden configurarse para procesamiento secuencial, paralelo o distribuido. El subsistema lógico 802 puede incluir opcionalmente compo­ nentes individuales que se distribuyen entre dos o más dispositivos, que pueden ubicarse de forma remota y / o configurarse para un procesamiento coordinado. Algunos aspectos del subsistema lógico pueden ser virtualizados y ejecutados por dispositivos de computación en red accesibles de forma remota configurados en una configuración de computación en la nube.

El subsistema de almacenamiento 804 incluye uno o más dispositivos de almacenamiento físicos, no transitorios, legibles por ordenador configurados para contener datos y / o instrucciones ejecutables por el subsistema lógico para implementar los procedimientos y procesos que se han descrito en la presente memoria descriptiva. Cuando tales procedimientos y procesos se implementan, el estado del subsistema de almacenamiento 804 puede transfor­ marse, por ejemplo, para contener datos diferentes.

El subsistema de almacenamiento 804 puede incluir medios extraíbles y / o dispositivos integrados. El subsistema de almacenamiento 804 puede incluir dispositivos de memoria óptica (por ejemplo, CD, DVD, HD - DVD, disco Blu -Ray, etc.), dispositivos de memoria de semiconductores (por ejemplo, RAM, EPROM, EEPROM, etc.) y / o dispositi­ vos de memoria magnética ( por ejemplo, unidad de disco duro, unidad de disquete, unidad de cinta, MRAM, etc.), entre otros. El subsistema de almacenamiento 804 puede incluir dispositivos volátiles, no volátiles, dinámicos, estáti­ cos, de lectura / escritura, de solo lectura, de acceso aleatorio, de acceso secuencial, de direccionamiento de posi­ ción, de direccionamiento de archivos y de direccionamiento de contenido. En algunas realizaciones, el subsistema lógico 802 y el subsistema de almacenamiento 804 pueden integrarse en uno o más dispositivos unitarios, tales como un circuito integrado específico de aplicación (ASIC), o un sistema en un chip.

Se apreciará que el subsistema de almacenamiento 804 incluye uno o más dispositivos físicos no transitorios. Sin embargo, en algunas realizaciones, los aspectos de las instrucciones descritas en la presente memoria descriptiva pueden propagarse de manera transitoria mediante una señal pura (por ejemplo, una señal electromagnética, una señal óptica, etc.) que no es retenida por un dispositivo físico durante una duración finita. Además, los datos y / u otras formas de información relativas a la presente divulgación pueden ser propagados por una señal pura.

El término "programa" se puede usar para describir un aspecto del sistema informático 800 implementado para reali­ zar una función particular. En algunos casos, se puede crear una instancia de un programa por medio del subsiste­ ma lógico 802 ejecutando instrucciones contenidas en el subsistema de almacenamiento 804. Se entenderá que se pueden crear instancias de diferentes programas desde la misma aplicación, servicio, bloque de código, objeto, biblioteca, rutina, API, función, etc. Del mismo modo, el mismo programa puede ser instanciado por diferentes apli­ caciones, servicios, bloques de código, objetos, rutinas, API, funciones, etc. El término "programa" puede abarcar archivos ejecutables individuales o en grupos, archivos de datos, bibliotecas, controladores, notas, registros de ba­ ses de datos, etc.

Se apreciará que un "servicio", como se usa en la presente memoria descriptiva, es un programa de aplicación eje­ cutable en múltiples sesiones de usuario. Un servicio puede estar disponible para uno o más componentes del sis­ tema, programas y / o para otros servicios. En algunas implementaciones, un servicio puede ejecutarse en uno o más dispositivos informáticos del servidor.

Cuando se incluye, el subsistema de visualización 806 se puede usar para presentar una representación visual de los datos almacenados por el subsistema de almacenamiento 804. Esta representación visual puede tomar la forma de una interfaz gráfica de usuario (GUI). A medida que los procedimientos y procesos descritos en la presente me­ moria descriptiva cambian los datos almacenados por el subsistema de almacenamiento y, por lo tanto, transforman el estado del subsistema de almacenamiento, el estado del subsistema de visualización 806 también puede trans­ formarse para representar visualmente los cambios en los datos subyacentes. El subsistema de visualización 806 puede incluir uno o más dispositivos de visualización que utilizan virtualmente cualquier tipo de tecnología. Dichos dispositivos de visualización pueden combinarse con el subsistema lógico 802 y / o el subsistema de almacenamien­ to 804 en un recinto compartido, o dichos dispositivos de visualización pueden ser dispositivos de visualización peri­ féricos.

Cuando se incluye, el subsistema de comunicación 810 puede configurarse para unir de manera comunicativa el sistema informático 800 con uno o más dispositivos informáticos. El subsistema de comunicación 810 puede incluir dispositivos de comunicación cableados y / o inalámbricos compatibles con uno o más protocolos de comunicación diferentes. Como ejemplos no limitativos, el subsistema de comunicación puede configurarse para la comunicación por medio de una red telefónica inalámbrica o una red de área amplia o local cableada o inalámbrica. En algunas realizaciones, el subsistema de comunicación puede permitir que el sistema informático 800 envíe y / o reciba mensajes hacia y / o desde otros dispositivos por medio de una red tal como el Internet.

Claims (10)

REIVINDICACIONES

1. En un dispositivo de pantalla, un procedimiento (600) para mostrar una imagen de realidad aumentada que comprende efectos de iluminación, comprendiendo el procedimiento (600) :

recibir (602) datos de imagen, capturando los datos de imagen una imagen de un entorno local del disposi­ tivo de pantalla;

identificar (606) una característica física del entorno local por medio de los datos de imagen; identificar las características de iluminación físicas locales del entorno;

construir (622) una imagen de realidad aumentada de una estructura virtual para mostrar la estructura vir­ tual sobre la característica física en alineación espacial con la característica física; y

emitir (640) la imagen de realidad aumentada al dispositivo de pantalla;

en el que, para crear la imagen de realidad aumentada, la estructura virtual se muestra superpuesta sobre la característica física desde el punto de vista de un usuario;

en el que la imagen de realidad aumentada comprende una pluralidad de segmentos de estructura virtual modulares que están dispuestos en posiciones adyacentes unos con los otros para formar la estructura vir­ tual, comprendiendo cada segmento de estructura virtual modular información precalculada con respecto a un efecto de iluminación precalculado utilizando una iluminación virtual, en el que los efectos de iluminación se almacenan con el segmento de estructura virtual modular asociado como mapas de luz, mapas de cubo o funciones de transferencia de radiancia, estando incluidos los efectos de iluminación en la estructura vir­ tual construida por medio de los segmentos de estructura virtual modulares; y

en el que instancias de los segmentos de estructura virtual modulares se procesan para formar una apa­ riencia de la estructura virtual, en el que se modula un aspecto de los segmentos de estructura virtual mo­ dulares que comprenden la información con respecto a un efecto de iluminación precalculado, en base a las características de iluminación físicas locales identificadas para que la iluminación virtual coincida con las características de iluminación física local del entorno.

2. El procedimiento de la reivindicación 1, en el que la identificación de una característica física del entorno local comprende la realización de un análisis de malla del entorno local.

3. El procedimiento de la reivindicación 1 o 2, en el que la característica física comprende una o más de una pared y un techo.

4. El procedimiento de una cualquiera de las reivindicaciones 1 a 3, en el que la característica física comprende un objeto no estructural dentro del entorno local.

5. El procedimiento de una cualquiera de las reivindicaciones 1 a 4, en el que la característica física comprende un espacio vacío dentro del entorno local.

6. El procedimiento de una cualquiera de las reivindicaciones 1 a 5, en el que el efecto de iluminación precalculado comprende un efecto de iluminación direccional precalculado en el que una iluminación virtual tiene una direc­ ción particular.

7. El procedimiento de una cualquiera de las reivindicaciones 1 a 6, en el que el efecto de iluminación precalculado comprende una función de transferencia de radiancia.

8. El procedimiento de cualquiera de las reivindicaciones 1 a 7, que comprende además identificar una caracterís­ tica de iluminación del entorno local por medio de los datos de imagen, y modular una apariencia de la plurali­ dad de segmentos de estructura virtual modulares en base a la característica de iluminación del entorno local.

9. El procedimiento de la reivindicación 8, en el que la característica de iluminación comprende una característica de color del entorno local, y en el que modular la apariencia de la pluralidad de segmentos de estructura virtual modulares comprende impartir la característica de color a los segmentos de estructura virtual modulares.

10. El procedimiento de la reivindicación 8 o 9, en el que la característica de iluminación comprende una posición de una luz física en el entorno local, y en el que modular la apariencia de la pluralidad de segmentos de estructura virtual modulares comprende calcular un efecto de luz que surge de una luz puntual virtual en la posición de la luz física.