ES2957832T3

ES2957832T3 - Colocación de objetos basada en la mirada dentro de un entorno de realidad virtual

Info

Publication number: ES2957832T3
Application number: ES15745719T
Authority: ES
Inventors: Aaron Mackay Burns; Benjamin Sugden; Laura Massey; Thomas Salter
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2014-07-25
Filing date: 2015-07-24
Publication date: 2024-01-26
Anticipated expiration: 2035-07-24
Also published as: CN106575153B; US10416760B2; KR102435628B1; JP2017530438A; WO2016014878A1; EP3172643A1; KR20170035958A; EP3172643B1; KR102389738B1; US20160026242A1; RU2017102195A; CO2017000546A2; US20190286231A1; AU2015292491A1; CA2954714A1; CN106575153A; SG11201700263UA; PH12016502424A1; KR20220051423A; BR112017000572A2

Abstract

Un dispositivo de visualización montado en la cabeza (HMD) que opera en un entorno físico del mundo real está configurado con un paquete de sensores que permite determinar una intersección de la mirada proyectada del usuario de un dispositivo con una ubicación en un entorno de realidad virtual para que los objetos virtuales puedan colocarse en el entorno con alta precisión. La reconstrucción de la superficie del entorno físico se puede aplicar utilizando datos del paquete de sensores para determinar la posición de visión del usuario en el mundo virtual. Un rayo de mirada que se origina desde la posición de vista se proyecta hacia afuera y un cursor o indicador similar se representa en la pantalla HMD en la intersección más cercana del rayo con el mundo virtual, como un objeto virtual, piso/suelo, etc. En respuesta a la entrada del usuario, Como un gesto, una interacción de voz o una manipulación de control, se coloca un objeto virtual en el punto de intersección entre el rayo de mirada proyectado y el entorno de realidad virtual. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Colocación de objetos basada en la mirada dentro de un entorno de realidad virtual

Antecedentes

Los dispositivos informáticos de realidad virtual, tales como sistemas de exhibición visual montados en la cabeza (HMD) y dispositivos móviles portátiles (como, por ejemplo, teléfonos inteligentes, tabletas, etc.), se configuran para mostrar un entorno de realidad virtual a un usuario en el campo de visión del usuario y/o en el campo de visión de la cámara del dispositivo. De manera similar, un dispositivo móvil puede exhibir visualmente tal información utilizando una ventana de visor de cámara.

Estos antecedentes se proporcionan para introducir un breve contexto para el sumario y para la descripción detallada que les siguen. Estos antecedentes no pretenden usarse como ayuda para determinar el alcance del objeto reivindicado ni considerarse como una limitación para las implantaciones del objeto reivindicado que resuelvan cualesquiera o todas las desventajas o problemas presentados anteriormente.

El documento US 20130050258 A1 se refiere a un dispositivo de exhibición visual montado en la cabeza (HMD) transparente que proporciona una imagen de realidad aumentada que está asociada con un objeto del mundo real, tal como un marco, una pared o un cartel publicitario que soporte una imagen. Inicialmente, el objeto es identificado por un usuario en base, por ejemplo, a que el usuario mira el objeto durante un período de tiempo, hace un gesto, tal como señalar el objeto, y/o proporciona una orden verbal. Cuando el usuario está en una ubicación del objeto y mira el objeto, el dispositivo HMD relaciona las características visuales con la grabación y exhibe visualmente las correspondientes imágenes de realidad aumentada registradas en el objeto. Se rastrean los ojos del usuario para predecir adónde van a mirar.

Sumario

El dispositivo HMD funciona en un entorno físico del mundo real y está configurado con un paquete de sensores que permite la determinación de la intersección de la mirada proyectada del usuario del dispositivo con una ubicación en un entorno de realidad virtual, de modo que los objetos virtuales se puedan colocar en el entorno con alta precisión. La reconstrucción de superficie del entorno físico se puede aplicar utilizando datos del paquete de sensores para determinar la posición de visión de usuario en el mundo virtual. Cuando un rayo de mirada que se origina desde la posición de visión se proyecta hacia afuera, se reproduce un cursor o un indicador similar en el dispositivo de exhibición visual HMD en la intersección más cercana del rayo con el mundo virtual, tal como un objeto virtual, un suelo/tierra, etc. En respuesta a una entrada de usuario, tal como un gesto, una interacción de voz o la manipulación de un control (por ejemplo, de un botón, o de otro objeto de interfaz de usuario), se coloca un objeto virtual en el punto de intersección entre el rayo de mirada proyectado y el entorno de realidad virtual.

La presente colocación de objetos virtuales basada en la mirada se puede utilizar en una variedad de aplicaciones y escenarios de uso y permite al usuario colocar fácilmente objetos virtuales en ubicaciones deseadas en el entorno virtual al cambiar la posición de visión y/o la mirada. Por ejemplo, el usuario de un dispositivo HMD puede colocar marcadores para indicar puntos de interés en el terreno del mundo virtual en una aplicación de topografía o de mapeo, o el usuario puede colocar objetos virtuales tales como avatares y objetos de juego en posiciones particulares en el mundo virtual como parte de la jugabilidad en un escenario de juego. Este sumario se proporciona para introducir, de una manera simplificada, la selección de conceptos que se describe con más detalle más adelante en la descripción detallada. Este sumario no pretende identificar características clave o características esenciales del objeto reivindicado, ni pretende ser utilizado como ayuda para determinar el alcance del objeto reivindicado. Además, el objeto reivindicado no se limita a implantaciones que solucionen algunas o todas las desventajas señaladas en alguna parte de esta divulgación. Puede apreciarse que el objeto descrito anteriormente se puede implantar como un aparato controlado por ordenador, por un proceso informático, por un sistema informático o como un artículo de fabricación tal como uno o más medios de almacenamiento legibles por ordenador. Estas y otras diversas características resultarán evidentes a partir de la lectura de la siguiente descripción detallada y de la revisión de los dibujos asociados.

Breve descripción de los dibujos

La figura 1 muestra un entorno de realidad virtual ilustrativo, una porción del cual se reproduce dentro del campo de visión del usuario de un dispositivo HMD;

La figura 2 muestra un entorno ilustrativo del mundo real en el que se ubica el usuario de un dispositivo HMD; La figura 3 muestra un rayo de mirada ilustrativo que se proyecta desde una posición de visión del dispositivo HMD y que se cruza con un punto en el mundo virtual;

La figura 4 muestra un objeto virtual colocado en el punto de intersección en respuesta a una entrada de usuario; La figura 5 muestra un cursor reproducido en el punto de intersección del rayo de mirada proyectado en un entorno de realidad virtual dentro del campo de visión del usuario del dispositivo HMD;

la figura 6 muestra un objeto virtual ilustrativo colocado en el punto de intersección del rayo de mirada proyectado con el entorno de realidad virtual;

La figura 7 muestra un cursor reproducido en el punto de intersección del rayo de mirada proyectado en un entorno de realidad virtual dentro del campo de visión del usuario del dispositivo HMD;

La figura 8 muestra un objeto virtual ilustrativo colocado en el punto de intersección del rayo de mirada proyectado con el entorno de realidad virtual;

La figura 9 muestra un rayo de mirada proyectado ilustrativo que está siendo rotado hacia abajo;

La figura 10 muestra un rayo de mirada proyectado ilustrativo que esté siendo rotado que está siendo rotado hacia arriba;

La figura 11 muestra un objeto virtual grande ilustrativo recortado por el campo de visión del usuario;

La figura 12 muestra un objeto virtual grande que se posiciona en el mundo virtual usando un rayo de mirada rotado, de modo que el objeto no quede atrapado contra el borde superior del campo de visión;

La figura 13 muestra un objeto virtual ilustrativo recortado por el campo de visión del usuario;

La figura 14 muestra un objeto virtual que se posiciona en el mundo virtual usando un rayo de mirada rotado de modo que el objeto no quede recortado contra el borde inferior del campo de visión y que el objeto esté ubicado más centralmente dentro del campo de visión;

La figura 15 ofrece datos de reconstrucción de superficie, asociados con un entorno del mundo real, capturados por un dispositivo HMD;

La figura 16 muestra una interfaz de usuario ilustrativa soportada por un dispositivo HMD y datos ilustrativos proporcionados por un paquete de sensores HMD;

La figura 17 muestra un diagrama de bloques de una canalización de reconstrucción de superficie ilustrativa; Las figuras 18, 19 y 20 son diagramas de flujo de métodos ilustrativos que se pueden realizar usando un dispositivo HMD;

La figura 21 es una vista pictórica de un ejemplo ilustrativo de un dispositivo HMD de realidad virtual;

La figura 22 muestra un diagrama de bloques funcional de un ejemplo ilustrativo de un dispositivo HMD de realidad virtual;

Las figuras 23 y 24 son vistas frontales pictóricas de un visor sellado ilustrativo que puede usarse como componente de un dispositivo HMD de realidad virtual;

La figura 25 muestra una vista del visor sellado cuando está parcialmente desmontado;

La figura 26 muestra una vista frontal en línea fantasma del visor sellado;

La figura 27 muestra una vista pictórica posterior del visor sellado; y

La figura 28 muestra un sistema informático ejemplar.

Los números de referencia similares indican elementos similares en los dibujos. Los elementos no están dibujados a escala a menos que se indique lo contrario.

Descripción detallada

Los usuarios normalmente pueden explorar, navegar y moverse dentro de un entorno de realidad virtual reproducido por un dispositivo HMD moviéndose (por ejemplo, a través de alguna forma de locomoción) dentro de un entorno físico del mundo real correspondiente. En un ejemplo ilustrativo, según se muestra en la figura 1, un usuario 102 puede emplear un dispositivo HMD 104 para experimentar un entorno 100 de realidad virtual que se reproduce visualmente en tres dimensiones (3D) y que puede incluir sensaciones de audio y/o táctiles/hápticas en algunas implantaciones. En este ejemplo particular no limitante, una aplicación que se ejecuta en el dispositivo HMD 104 soporta un entorno 100 de realidad virtual que incluye calles de ciudad con diversos edificios, tiendas, etc. A medida que el usuario cambia la posición u orientación de su cabeza y/o se mueve dentro del entorno físico 200 del mundo real mostrado en la figura 2, su visión del entorno 100 de realidad virtual puede cambiar. El campo de visión (representado por el área discontinua 110 en la figura 1) se puede dimensionar y dar forma, y se pueden controlar otras características del dispositivo para hacer que la experiencia del dispositivo HMD sea visualmente inmersiva para proporcionar al usuario una fuerte sensación de presencia en un mundo virtual. Si bien en el presente documento se muestra y describe un entorno de realidad virtual, la actual colocación de objetos basada en la mirada se puede también aplicar a entornos y escenarios de realidad mixta.

Durante el transcurso de una experiencia de usuario determinada con el dispositivo HMD 104, se pueden introducir diversos objetos virtuales nuevos en el entorno de realidad virtual. Se puede introducir cualquiera de entre una variedad de objetos, incluyendo aquellos que pueden ser parte integral de la experiencia, tal como un avatar, terreno, marcadores, banderas, edificios, etc., o aquellos que pueden usarse para mejorar o controlar una experiencia, tal como elementos interactivos, incluyendo menús, ventanas de artilugio de previsualización y/o activación de aplicación (o widgets), notificaciones, etc. que pueden usarse para facilitar una interfaz de usuario determinada o una experiencia de usuario soportada por el dispositivo HMD.

Como se muestra en la figura 3, la posición de visión y/o la dirección de mirada del usuario del dispositivo HMD se pueden utilizar para colocar objetos virtuales dentro del mundo virtual reproducido en el dispositivo de exhibición visual HMD. Un rayo 302 de mirada se proyecta desde la posición de visión del dispositivo HMD 104. La posición de visión se origina entre los ojos del usuario 102 y el rayo 302 que apunta en dirección hacia adelante como se muestra. El rayo se lanza al entorno 100 de realidad virtual y se determina su punto de intersección más cercano 304 con el entorno 100 de realidad virtual. Típicamente, se exhibe visualmente un cursor 305, u otro indicador adecuado, en el punto de intersección. Como se muestra en la figura 4, cuando el dispositivo HMD 104 recibe una entrada 402 del usuario, el dispositivo puede colocar un objeto virtual 405 en el punto de intersección. La entrada 402 de usuario puede variar según la implantación y puede incluir, por ejemplo, un gesto detectado, una orden de voz o una entrada de lenguaje, la manipulación de un control físico o virtual que sea soportada por el dispositivo HMD, y similares.

En algunas implantaciones, el rayo de mirada puede proyectarse de modo que el cursor pueda reproducirse en algún punto arbitrario dentro del campo 110 de visión. Por ejemplo, el cursor puede ubicarse en una posición fija en o cerca del centro del campo de visión en escenarios típicos. Debido a que el campo de visión y la posición de visión se determinan generalmente rastreando la posición y la orientación de la cabeza del usuario (como se describe con más detalle más adelante), el usuario puede posicionar el cursor sobre un objeto de interés dentro del mundo virtual usando tan sólo el movimiento de cabeza para ajustar el campo de visión.

En implantaciones alternativas, el dispositivo HMD puede configurarse para proyectar el rayo de mirada de una manera que permita que el cursor se reproduzca en diferentes puntos dentro de un campo de visión determinado de acuerdo con la posición de los ojos del usuario. La posición de los ojos puede detectarse, por ejemplo, utilizando sensores orientados hacia adentro que pueden incorporarse en el dispositivo HMD 104. Tal detección de la posición de los ojos se denomina rastreo de mirada y se describe con más detalle más adelante. De este modo, el usuario puede posicionar el cursor en estas implantaciones alternativas utilizando combinaciones de movimientos de cabeza y ojos. Por ejemplo, el usuario puede utilizar el movimiento de cabeza para localizar un objeto virtual de interés dentro del campo de visión, y utilizar luego el movimiento de los ojos para posicionar el cursor sobre el objeto.

El dispositivo HMD también se puede configurar en algunos casos para proporcionar una opción al usuario para seleccionar entre posicionamiento del cursor fijo y variable, por ejemplo desactivando y habilitando respectivamente el rastreo de ojos. Por ejemplo, un cursor fijo en relación con el campo de visión puede ser adecuado para algunos escenarios de uso en los que el movimiento de cabeza por sí solo proporciona una forma eficaz de posicionar el cursor. En otros escenarios de uso, la combinación de movimientos de cabeza y de ojos puede resultar más beneficiosa. En general, la utilización de un posicionamiento del cursor, ya sea fijo o variable, puede permitir colocar objetos virtuales en un mundo virtual con un alto grado de precisión.

La figura 5 muestra el cursor 305 reproducido en el punto de intersección de un rayo de mirada proyectado en un entorno 100 de realidad virtual dentro del campo 110 de visión del usuario del dispositivo HMD (el usuario no se muestra por razones de claridad en la exposición). Típicamente, el cursor se reproduce dinámicamente en 3D en el dispositivo de exhibición visual HMD utilizando un tamaño que es proporcional a la distancia del cursor al usuario en el mundo virtual (es decir, es más grande cuando está más cerca y más pequeño cuando está más lejos). La figura 6 muestra un objeto virtual ilustrativo 605 colocado en el punto de intersección del rayo de mirada proyectado con el entorno de realidad virtual en respuesta a una entrada de usuario tal como un gesto, una orden de voz o la presión a un botón. El objeto virtual 605 pretende ser ilustrativo y los objetos virtuales reproducidos pueden variar de lo que se muestra en tamaño, forma y ubicación en el campo de visión.

La figura 7 muestra otro ejemplo ilustrativo de un cursor 305 reproducido en el punto de intersección entre el rayo proyectado y un entorno 700 de realidad virtual que incluye un paisaje exterior con terreno rodante, ondulado y montañoso. La figura 8 muestra un objeto virtual ejemplar - una bandera 805 - que se coloca en el punto de intersección.

En implantaciones típicas, el campo 110 de visión para el dispositivo HMD 104 puede ser relativamente limitado. En consecuencia, existe la posibilidad de que los objetos virtuales que se introducen en el entorno 700 de realidad virtual no encajen en el campo de visión del usuario o queden recortados en un borde del campo de visión. Esto puede ocurrir cuando el usuario interactúa, por ejemplo, con objetos virtuales relativamente grandes que pueden causar incomodidad al usuario y/o reducir la calidad de la experiencia del usuario. En otras situaciones, un objeto virtual determinado puede extenderse desde el punto de intersección de manera que provoque un recorte contra un borde del campo de visión, y/o la experiencia del usuario puede ser más efectiva cuando el objeto virtual esté ubicado más centralmente dentro del campo de visión.

En consecuencia, en algunas implantaciones, el dispositivo HMD 104 puede configurarse para que el rayo de mirada rote desde la posición de visión de la proyección original. Generalmente, tal rotación se puede realizar en cualquier dirección (por ejemplo, izquierda, derecha, arriba, abajo o combinaciones de éstas) para adaptarse a un caso de uso determinado, y el ángulo de rotación puede variar. Como se muestra ilustrativamente en la figura 9, la rotación se puede realizar hacia abajo (el rayo de mirada original se indica con el número 905 de referencia y el rayo de mirada rotado se indica con el número 910 de referencia en la figura 9). Como se muestra ilustrativamente en la figura 10, la rotación se puede realizar hacia arriba (el rayo de mirada original se indica con el número 1005 de referencia y el rayo de mirada rotado se indica con el número 1010 de referencia en la figura 10).

La figura 11 muestra un objeto virtual ilustrativo 1105 que es relativamente grande y que está recortado contra la parte superior del campo 110 de visión cuando se posiciona en la intersección del rayo original 905 de mirada (véase la figura 9) con el entorno 700 de realidad virtual. En comparación, la figura 12 muestra el objeto virtual 1105 cuando se posiciona en la intersección del rayo de mirada rotado hacia abajo 910 con el entorno 700 de realidad virtual. En implantaciones típicas, el rayo proyectado se rota hacia abajo lo suficiente para ser lanzado a través de la porción inferior del campo 110 de vista. Como se muestra, hay mucho más espacio en el campo de visión, y el objeto virtual 1105 ya no está recortado contra el borde superior del campo 110 de visión.

La figura 13 muestra un objeto virtual ilustrativo 1305 dispuesto a modo de cartel que cuelga desde el punto de intersección del rayo 1005 de mirada original (véase la figura 10) con una nube del entorno 700 de realidad virtual. Como se muestra, el objeto 1305 está recortado en el borde inferior del campo 110 de visión y algunas porciones del contenido del cartel (representado por las formas geométricas) están fuera del campo de visión. El contenido tampoco se presenta con tanta eficacia cuando se ve en la parte inferior del campo de visión, y, en algunos casos, también puede causar incomodidad al usuario. En comparación, la figura 14 muestra el objeto virtual 1305 cuando se posiciona en la intersección del rayo 1010 de mirada rotado hacia arriba con el entorno 700 de realidad virtual. Según se muestra, el objeto virtual ya no está recortado contra el borde inferior del campo 110 de visión, y el contenido del cartel está ubicado más centralmente en el campo de visión, lo que puede aumentar la efectividad de la experiencia del usuario y aumentar la comodidad del usuario en algunas situaciones.

El dispositivo HMD 104 está configurado para obtener datos 1500 de reconstrucción de superficie, según se muestra en la figura 15, mediante el uso de un paquete 1505 de sensores integrado para detectar la posición del usuario dentro del entorno físico 200. El paquete de sensores, según se describe con más detalle más adelante, puede incluir un sensor de profundidad o un sistema de cámara con sensor de profundidad. En implantaciones alternativas, los datos de profundidad se pueden derivar usando técnicas de análisis de imágenes estereoscópicas adecuadas.

Como se muestra en la figura 16, el paquete 1505 de sensores puede soportar diversas funcionalidades, incluyendo la reconstrucción 1610 de superficie. La reconstrucción de superficie se puede utilizar, por ejemplo, para rastreo de cabeza para determinar la posición y la orientación 3D (tridimensional) 1615 de la cabeza de usuario dentro del entorno físico 200 del mundo real, incluyendo la postura de la cabeza, de modo que se pueda determinar una posición de visión en el mundo virtual. El paquete de sensores puede soportar también el rastreo 1620 de mirada para determinar una dirección de mirada 1625 del usuario que puede usarse junto con los datos de orientación y posición de cabeza. El dispositivo HMD 104 puede configurarse adicionalmente para exponer una interfaz 1630 de usuario (UI) que puede mostrar mensajes de sistema, impulsos y similares, así como exponer controles que el usuario puede manipular. Los controles pueden ser virtuales o físicos en algunos casos. La UI 1630 se puede también configurar para que funcione con gestos y voz detectados, utilizando, por ejemplo, órdenes de voz o lenguaje natural.

La figura 17 muestra una canalización 1700 de datos de reconstrucción de superficie ilustrativa para obtener datos de reconstrucción de superficie para el entorno 200 del mundo real. Se enfatiza que la técnica divulgada es ilustrativa y que se pueden utilizar otras técnicas y metodologías dependiendo de los requisitos de la implantación en particular. Los datos brutos 1702 del sensor de profundidad se introducen en una estimación de postura 3D (tridimensional) del sensor (bloque 1704). El rastreo de postura de sensor se puede conseguir, por ejemplo, utilizando la alineación ICP (punto más cercano iterativo) entre la superficie prevista y la medición actual de sensor. Cada medición de profundidad de sensor se puede integrar (bloque 1706) en una representación volumétrica usando, por ejemplo, superficies codificadas como un campo de distancia firmado (SDF). Utilizando un bucle, el SDF se lanza con rayos (bloque 1708) en el marco estimado para proporcionar la predicción de superficie densa con la que está alineado el mapa de profundidad. De este modo, cuando el usuario 102 contemple el mundo virtual, se podrán recopilar y analizar datos de reconstrucción de superficie asociados con el entorno 200 del mundo real para determinar la posición y orientación de cabeza del usuario.

Las figuras 18, 19 y 20 son diagramas de flujo de métodos ilustrativos. A menos que se indique específicamente, los métodos o pasos que se muestran en los diagramas de flujo y se describen en el texto que se acompaña no están restringidos a un orden o a una secuencia particular. Además, algunos de los métodos o pasos de aquéllos pueden producirse o realizarse simultáneamente, y no todos los métodos o pasos tienen que realizarse en una implantación determinada dependiendo de los requisitos de tal implantación, y algunos métodos o pasos pueden utilizarse opcionalmente.

El método 1800 mostrado en la figura 18 puede realizarse mediante un dispositivo HMD que soporte la reproducción de un entorno de realidad virtual. En el paso 1805, se obtienen datos de sensor que describen un entorno físico del mundo real adyacente a un usuario del dispositivo HMD. Los datos de sensor pueden incluir, por ejemplo, datos de profundidad, utilizando un sensor de profundidad que esté integrado en el dispositivo HMD, o pueden obtenerse de un sensor o fuente externo/a. También se pueden utilizar análisis de formación de imágenes de profundidad a partir de estéreo para crear datos de profundidad. En el paso 1810, los datos de sensor se usan para reconstruir la geometría del entorno físico, usando, por ejemplo, reconstrucción de superficie.

En el paso 1815, la geometría reconstruida del entorno físico se utiliza para realizar el rastreo de la cabeza del usuario para determinar el campo de visión y la posición de visión actuales del entorno de realidad virtual. En el paso 1820, se proyecta un rayo de mirada hacia afuera desde la posición de visión a lo largo de una dirección de mirada del usuario. La detección de mirada se puede también implantar, por ejemplo, usando sensores orientados hacia adentro que están incorporados en el paquete 1505 de sensores (véase la figura 15).

En el paso 1825, se identifica una intersección entre el rayo de mirada proyectado y el entorno de realidad virtual. En el paso 1830, el dispositivo HMD expone una interfaz de usuario y se recibe la entrada de usuario. La interfaz de usuario puede configurarse de acuerdo con las necesidades de una implantación dada, y puede incluir controles físicos o virtuales que puedan ser manipulados por el usuario y puedan soportar voz y/o gestos en algunos casos. En el paso 1835, el rayo proyectado puede rotarse hacia abajo en algunos casos para impedir el recorte de algunos objetos virtuales (por ejemplo, objetos virtuales grandes) a lo largo del borde superior del campo de visión, por ejemplo, cuando el objeto virtual es tan grande que no encaja dentro del campo de visión. En algunos casos, el rayo proyectado rotado es lanzado a través de la porción inferior del campo de visión. En el paso 1840, en respuesta a la entrada de usuario, se puede colocar un objeto virtual en el punto de intersección.

El método 1900 mostrado en la figura 19 puede realizarse mediante un dispositivo HMD que tiene uno o más procesadores, un dispositivo de exhibición visual para reproducir un entorno de realidad virtual usando un campo de visión variable, un paquete de sensores y uno o más dispositivos de memoria que almacenan instrucciones legibles por ordenador, tal como código de sistema lógico informático (software), que se pueden utilizar para implantar el método. En el paso 1905, se generan los datos de reconstrucción de superficie utilizando el paquete de sensores que se incorpora en el dispositivo HMD que puede incluir un sensor de profundidad o un sistema de cámara. En el paso 1910, los datos de reconstrucción de superficie se utilizan para rastrear dinámicamente la posición de visión del usuario en el entorno de realidad virtual. Se pueden utilizar diversas técnicas adecuadas de reconstrucción de superficie, incluyendo la que se muestra en la canalización de la figura 17, en la que se integran múltiples superficies superpuestas.

En el paso 1915, el paquete de sensores se usa para rastrear dinámicamente la dirección de mirada del usuario, por ejemplo usando sensores orientados hacia adentro. En el paso 1920, se localiza una intersección entre un rayo que se proyecta desde la posición de visión a lo largo de la dirección de mirada del usuario y un punto en el entorno de realidad virtual dentro del campo de visión. En el paso 1925, se hace funcionar el dispositivo HMD para reproducir un cursor en la intersección localizada. La reproducción se realiza generalmente de manera dinámica, de modo que, a medida que el usuario se mueve y el campo de visión y la dirección de mirada cambian, la posición del cursor en el entorno de realidad virtual se actualiza. En algunos casos en los que el objeto virtual colocado sería recortado en el campo de visión, el rayo proyectado se puede rotar hacia abajo, en el paso 1930, de modo que el objeto no quede recortado por el borde superior del campo de visión actual cuando el objeto se coloque en la intersección formada por el rayo rotado y el entorno de realidad virtual. En el paso 1935, se hace funcionar al dispositivo HMD para que coloque un objeto virtual en la intersección localizada. En implantaciones típicas, la colocación se realiza en respuesta a la entrada de usuario en una IU expuesta por el dispositivo HMD.

El método 2000 de la figura 20 se puede realizar mediante instrucciones almacenadas en un dispositivo HMD que funciona en un entorno del mundo real y que tiene un dispositivo de exhibición visual que reproduce un entorno de realidad virtual. En el paso 2005, se genera dinámicamente un modelo de reconstrucción de superficie del entorno del mundo real utilizando datos de un paquete de sensores a bordo del dispositivo HMD. El modelo puede actualizarse, por ejemplo, marco por marco o con otra base adecuada, a medida que el usuario se mueve dentro del entorno del mundo real. En el paso 2010, los datos del paquete de sensores se utilizan para generar un rayo de mirada que se proyecta desde la posición de visión del usuario a lo largo de una dirección de mirada del usuario.

El modelo actual de reconstrucción de superficie se utiliza para determinar el campo actual de visión del usuario del entorno de realidad virtual en el paso 2015. En el paso 2020, se reproduce un cursor en un punto de intersección entre el rayo de mirada proyectado y el entorno de realidad virtual. En el paso 2025, se recibe una entrada de usuario, por ejemplo en una UI expuesta por el dispositivo HMD. En el paso 2030, el rayo de mirada proyectado se puede rotar hacia abajo si el objeto virtual colocado se extiende fuera del campo de visión. En algunas implantaciones, el grado de rotación es suficiente para permitir que el objeto virtual se coloque de una manera que permita que el espacio en el campo de visión sobre el objeto no esté obstruido. En el paso 2035, se coloca un objeto virtual en el punto de intersección en respuesta a la entrada recibida del usuario.

Volviendo ahora a diversos detalles de implantación ilustrativos, un dispositivo de exhibición visual de realidad virtual o de realidad mixta, de acuerdo con la presente disposición, puede tomar cualquier forma adecuada, incluyendo, pero sin estar limitado a, dispositivos cercanos al ojo tales como el dispositivo HMD 104 y/u otros dispositivos móviles/portátiles. La figura 21 muestra un ejemplo ilustrativo particular de un sistema 2100 de exhibición visual de realidad mixta transparente, y la figura 22 muestra un diagrama funcional de bloques del sistema 2100. Sin embargo, se enfatiza que, si bien se puede usar un dispositivo de exhibición visual transparente en algunas implantaciones, en otras implantaciones se puede usar un dispositivo de exhibición visual opaco (es decir, no transparente) que utilice un sensor de paso basado en cámara u orientado hacia afuera, por ejemplo.

El sistema 2100 de exhibición visual comprende una o más lentes 2102 que forman parte de un subsistema 2104 de exhibición visual transparente, de tal modo que las imágenes pueden exhibirse visualmente usando lentes 2102 (por ejemplo, usando proyección sobre lentes 2102, uno o más sistemas de guía de ondas incorporados en lentes 2102, y/o de cualquier otra manera adecuada). El sistema 2100 de exhibición visual comprende adicionalmente uno o más sensores 2106 de imagen orientados hacia afuera configurados para captar imágenes de una escena de fondo y/o de un entorno físico que está viendo un usuario, y puede/n incluir uno o más micrófonos 2108 configurados para detectar sonidos, tales como órdenes de voz, de un usuario. Los sensores 2106 de imagen orientados hacia afuera pueden incluir uno o más sensores de profundidad, y/o uno o más sensores de imágenes bidimensionales. En disposiciones alternativas, según se señaló anteriormente, un sistema de exhibición visual de realidad virtual o de realidad mixta, en lugar de incorporar un subsistema de exhibición visual transparente, puede exhibir visualmente imágenes de realidad mixta a través de un modo de visor para un sensor de imagen orientado hacia afuera.

El sistema 2100 de exhibición visual puede incluir adicionalmente un subsistema 2110 de detección de mirada configurado para detectar una dirección de mirada de cada ojo de un usuario o una dirección o ubicación de enfoque, según se describió anteriormente. El subsistema 2110 de detección de mirada puede configurarse para determinar las direcciones de mirada de cada uno de los ojos de un usuario de cualquier manera adecuada. Por ejemplo, en el ejemplo ilustrativo mostrado, el subsistema 2110 de detección de mirada incluye una o más fuentes 2112 de destello, tales como fuentes de luz infrarroja, que están configuradas para hacer que se refleje un destello de luz desde cada globo ocular del usuario, y uno o más sensores 2114 de imagen, tales como sensores orientados hacia adentro, que están configurados para capturar una imagen de cada globo ocular del usuario. Se pueden usar cambios en los destellos de los globos oculares del usuario y/o en la ubicación de la pupila del usuario, según se determinen a partir de los datos de imagen recopilados usando el/los sensor/es 2114 de imagen, para determinar una dirección de mirada.

Además, se puede usar una ubicación en la que las líneas de mirada proyectadas desde los ojos del usuario se crucen con el dispositivo de exhibición visual externa para determinar el objeto al que está mirando el usuario (por ejemplo, un objeto virtual exhibido visualmente y/o un objeto de fondo real). El subsistema 2110 de detección de mirada puede tener cualquier número y disposición adecuados de fuentes de luz y de sensores de imagen. En algunas implantaciones, se puede omitir el subsistema 2110 de detección de mirada.

El sistema 2100 de exhibición visual puede incluir también sensores adicionales. Por ejemplo, el sistema 2100 de exhibición visual puede comprender un subsistema 2116 del sistema de posicionamiento global (GPS) para permitir que se determine una ubicación del sistema 2100 de exhibición visual. Esto puede ayudar a identificar objetos del mundo real, tales como edificios, etc., que pueden estar ubicados en el entorno físico contiguo del usuario.

El sistema 2100 de exhibición visual puede incluir adicionalmente uno o más sensores 2118 de movimiento (por ejemplo, sensores inerciales, giroscópicos de múltiples ejes o de aceleración) para detectar el movimiento y la posición/orientación/postura de la cabeza del usuario cuando el usuario lleva puesto el sistema como parte de un dispositivo HMD de realidad aumentada. Se pueden usar datos de movimiento, potencialmente junto con datos de destellos de rastreo de ojos y datos de imágenes orientadas hacia afuera, para detección de mirada, así como para estabilización de imagen, para ayudar a corregir el desenfoque en las imágenes desde el/los sensor/es 2106 de imagen orientado/s hacia afuera. El uso de datos de movimiento puede permitir que se rastreen los cambios en la ubicación de la mirada incluso si los datos de imagen de el/los sensor/es 2106 de imagen orientado/s hacia afuera no se pudieran resolver.

Además, los sensores 2118 de movimiento, así como el/los micrófono/s 2108 y el subsistema 2110 de detección de mirada, también pueden emplearse como dispositivos de entrada de usuario, de tal manera que el usuario puede interactuar con el sistema 2100 de exhibición visual mediante gestos del ojo, del cuello y/o de la cabeza, así como mediante órdenes verbales, en algunos casos. Puede entenderse que los sensores ilustrados en las figuras 21 y 22 y descritos en el texto que se acompaña se incluyen con fines de ejemplo y que de ninguna manera pretenden ser limitantes, ya que se puede utilizar cualquier otro sensor y/o cualquier combinación de sensores adecuado/s para satisfacer las necesidades de la implantación particular de un dispositivo HMD de realidad aumentada. Por ejemplo, se pueden utilizar sensores biométricos (por ejemplo, para detectar frecuencia cardíaca y respiratoria, presión arterial, actividad cerebral, temperatura corporal, etc.) o sensores ambientales (por ejemplo, para detectar temperatura, humedad, elevación, niveles de luz UV (ultravioleta), etc.) en algunas implantaciones.

El sistema 2100 de exhibición visual puede incluir adicionalmente un controlador 2120 que tenga un subsistema lógico 2122 y un subsistema 2124 de almacenamiento de datos en comunicación con los sensores, un subsistema 2110 de detección de mirada, un subsistema 2104 de exhibición visual y/u otros componentes a través de un subsistema 2126 de comunicaciones. El subsistema 2126 de comunicaciones puede también facilitar que al sistema de exhibición visual se le haga funcionar junto con recursos ubicados remotamente, tales como procesamiento, almacenamiento, energía, datos y servicios. Es decir, que, en algunas implantaciones, un dispositivo HMD puede funcionar como parte de un sistema que puede distribuir recursos y capacidades entre diferentes componentes y subsistemas.

El subsistema 2124 de almacenamiento puede incluir instrucciones almacenadas en el mismo que son ejecutables por el subsistema lógico 2122, por ejemplo, para recibir e interpretar entradas de los sensores, para identificar la ubicación y los movimientos de un usuario, para identificar objetos reales usando reconstrucción de superficie y otras técnicas y para atenuar/desvanecer el dispositivo de exhibición visual en base a la distancia a los objetos, para permitir que el usuario pueda ver los objetos, entre otras tareas.

El sistema 2100 de exhibición visual está configurado con uno o más transductores 2128 de audio (como, por ejemplo, altavoces, auriculares, etc.) para que el audio pueda utilizarse como parte de una experiencia de realidad aumentada. Un subsistema 2130 de administración de energía puede incluir una o más baterías 2132 y/o módulos de circuito de protección (PCM) y una interfaz 2134 de cargador asociada y/o una interfaz de energía remota para suministrar energía a los componentes presentes en el sistema 2100 de exhibición visual.

Se puede apreciar que los dispositivos 104 y 2100 de exhibición visual aquí ofrecidos se describen con fines de ejemplo, y que, de este modo, no pretenden ser limitativos. Debe entenderse adicionalmente que el dispositivo de exhibición visual puede incluir sensores, cámaras, micrófonos, dispositivos de entrada, dispositivos de salida, etc. adicionales y/o alternativos a los mostrados sin apartarse del alcance de la presente disposición. Además, la configuración física de un dispositivo de exhibición visual y sus diversos sensores y subcomponentes puede adoptar una variedad de formas diferentes sin apartarse del alcance de la presente disposición.

Las figuras 23-27 muestran una implantación alternativa ilustrativa para un sistema de exhibición visual de realidad virtual o mixta 2300 que puede usarse como componente de un dispositivo HMD. En este ejemplo, el sistema 2300 utiliza un visor sellado transparente 2302 que está configurado para proteger el conjunto óptico interno utilizado para el subsistema de exhibición visual transparente. El visor 2302 está típicamente interconectado con otros componentes del dispositivo HMD (no mostrado) tales como sistemas de montaje/retención de cabeza y otros subsistemas que incluyen sensores, gestión de energía, controladores, etc., según se describe ilustrativamente junto con las figuras 21 y 22. También se pueden incorporar, en el visor 2302, elementos de interfaz (no mostrados) que incluyen broches, realces, tornillos y otras sujeciones, etc.

El visor incluye escudos delanteros y traseros transparentes 2304 y 2306 respectivamente que pueden moldearse usando materiales transparentes para facilitar la visión sin obstáculos de los dispositivos de exhibición visual ópticos y del entorno del mundo real circundante. Se pueden aplicar tratamientos a los escudos delantero y trasero, tal como tintes, espejos, antirreflectantes, antivaho y otros revestimientos, y también se pueden utilizar diversos colores y acabados. Los escudos delantero y trasero están fijados a un chasis 2405, según se ofrecen en la vista parcialmente despiezada de la figura 24, en la que se muestra una cubierta 2410 de escudo desmontada del visor 2302.

El visor sellado 2302 puede proteger físicamente componentes internos sensibles, incluyendo un subconjunto 2502 de dispositivo de exhibición visual óptica (que se muestra en la vista desmontada de la figura 25) cuando el dispositivo HMD se lleva puesto y se usa en funcionamiento y durante el manejo normal para limpieza y similares. El visor 2302 también puede proteger el subconjunto 2502 de exhibición visual óptica frente a elementos ambientales y daños si el dispositivo HMD se cae o se golpea, impacta, etc. El subconjunto 2502 de exhibición visual óptica está montado dentro del visor sellado de tal manera que los escudos no entren en contacto con el subconjunto cuando se desvíe por una caída o un impacto.

Como se muestra en las figuras 25 y 27, el escudo trasero 2306 está configurado de una manera ergonómicamente correcta para interactuar con la nariz del usuario y las almohadillas nasales 2704 (véase la figura 27) y se pueden incluir otras características de comodidad (por ejemplo, moldeadas por dentro y/o añadidas sobre él, como componentes discretos). El visor sellado 2302 puede también incorporar algún nivel de curvatura de dioptrías ópticas (es decir, prescripción ocular) dentro de los escudos moldeados en algunos casos. La figura 28 muestra esquemáticamente una realización no limitante de un sistema informático 2800 que se puede utilizar al implantar una o más de las configuraciones, disposiciones, métodos o procesos descritos anteriormente. El dispositivo HMD 104 puede ser un ejemplo no limitante de sistema informático 2800. El sistema informático 2800 se muestra de manera simplificada. Puede entenderse que se puede utilizar virtualmente cualquier arquitectura informática sin apartarse del alcance de la presente disposición. En diferentes realizaciones, el sistema informático 2800 puede tomar la forma de un dispositivo de exhibición visual, de un dispositivo informático portátil, de un ordenador central, de un ordenador servidor, de un ordenador de escritorio, de un ordenador portátil, de una tableta, de un ordenador de entretenimiento en el hogar, de un dispositivo informático de red, de un dispositivo de juegos, de un dispositivo informático móvil, de un dispositivo de comunicación móvil (por ejemplo, un teléfono inteligente), etc.

El sistema informático 2800 incluye un subsistema lógico 2802 y un subsistema 2804 de almacenamiento. El sistema informático 2800 puede incluir opcionalmente un subsistema 2806 de exhibición visual, un subsistema 2808 de entrada, un subsistema 2810 de comunicación, y/u otros componentes no mostrados en la figura 28. El subsistema lógico 2802 incluye uno o más dispositivos físicos configurados para ejecutar instrucciones. Por ejemplo, el subsistema lógico 2802 puede configurarse para ejecutar instrucciones que son parte de uno o más servicios, aplicaciones, programas, rutinas, bibliotecas, objetos, componentes, estructuras de datos, u otras construcciones lógicas. Tales instrucciones pueden implantarse para realizar una tarea, implantar un tipo de datos, transformar el estado de uno o más componentes, o llegar de otro modo a un resultado deseado.

El subsistema lógico 2802 puede incluir uno o más procesadores configurados para ejecutar instrucciones de software. Adicional o alternativamente, el subsistema lógico 2802 puede incluir una o más máquinas lógicas de sistema físico informático (hardware) o de soporte lógico inalterable (firmware) configuradas para ejecutar instrucciones de hardware o firmware. Los procesadores del subsistema lógico 2802 pueden ser de un solo núcleo o de múltiples núcleos, y los programas ejecutados en ellos pueden configurarse para procesamiento secuencial, paralelo o distribuido. El subsistema lógico 2802 puede incluir opcionalmente componentes individuales que se distribuyan entre dos o más dispositivos, que pueden ubicarse y/o configurarse de manera remota para procesamiento coordinado. Ciertos aspectos del subsistema lógico 2802 pueden virtualizarse y ejecutarse mediante dispositivos informáticos en red, accesibles remotamente, configurados en una configuración informática en la nube.

El subsistema 2804 de almacenamiento incluye uno o más dispositivos físicos configurados para contener datos y/o instrucciones ejecutables por el subsistema lógico 2802 para implantar los métodos y procesos descritos en el presente documento. Cuando se implantan tales métodos y procesos, el estado del subsistema de almacenamiento 2804 puede transformarse —por ejemplo, para contener datos diferentes.

El subsistema 2804 de almacenamiento puede incluir medios extraíbles y/o dispositivos integrados. El subsistema 2804 de almacenamiento puede incluir dispositivos de memoria óptica (como, por ejemplo, CD (disco compacto), DVD (disco versátil digital), HD-DVD (DVD de alta definición), disco Blu-ray, etc.), dispositivos semiconductores de memoria (por ejemplo, RAM (memoria de acceso aleatorio), ROM (memoria de sólo lectura), EPROM (ROM programable y borrable), EEPROM (ROM borrable eléctricamente), etc.) y/o dispositivos de memoria magnética (por ejemplo, unidad de disco duro, unidad de disquete, unidad de cinta, MRAM (RAM magnetorresistiva), etc.), entre otros. El subsistema 2804 de almacenamiento puede incluir dispositivos volátiles, no volátiles, dinámicos, estáticos, de lectura/escritura, de sólo lectura, de acceso aleatorio, de acceso secuencial, direccionables por ubicación, direccionables por archivos y/o direccionables por contenido.

Puede apreciarse que el subsistema 2804 de almacenamiento incluye uno o más dispositivos físicos y excluye las señales de propagación de por sí. Sin embargo, en algunas implantaciones, ciertos aspectos de las instrucciones descritas en el presente documento pueden propagarse mediante una señal pura (por ejemplo, una señal electromagnética, una señal óptica, etc.) utilizando un medio de comunicaciones, en lugar de almacenarse en un dispositivo de almacenamiento. Además, los datos y/u otras formas de información pertenecientes a la presente disposición pueden propagarse mediante una señal pura.

En algunas realizaciones, ciertos aspectos del subsistema lógico 2802 y del subsistema 2804 de almacenamiento pueden integrarse juntos en uno o más componentes lógicos de hardware a través de los cuales se puede aceptar la funcionalidad descrita en el presente documento. Tales componentes de lógica de hardware pueden incluir matrices de puertas programables en campo (FPGA), circuitos integrados específicos de programas y aplicaciones (PASIC/ASIC), productos estándar específicos de programas y aplicaciones (PSSP/ASSP), sistemas de sistema en un microprocesador (SOC) y dispositivos lógicos programables complejos (CPLD), por ejemplo.

Cuando se incluye, el subsistema 2806 de exhibición visual puede usarse para presentar una representación visual de los datos mantenidos por el subsistema 2804 de almacenamiento. Esta representación visual puede tomar la forma de una interfaz gráfica de usuario (GUI). A medida que los métodos y procesos descritos actualmente cambian los datos retenidos por el subsistema de almacenamiento y transforman, de este modo, el estado del subsistema de almacenamiento, el estado del subsistema 2806 de exhibición visual también puede transformarse, para representar visualmente cambios en los datos subyacentes. El subsistema 2806 de exhibición visual puede incluir uno o más dispositivos de exhibición visual que utilicen virtualmente cualquier tipo de tecnología. Tales dispositivos de exhibición visual pueden combinarse con el subsistema lógico 2802 y/o con el subsistema 2804 de almacenamiento en un recinto compartido en algunos casos, o tales dispositivos de exhibición visual pueden ser dispositivos de exhibición visual periféricos en otros.

Cuando se incluye, el subsistema de entrada 2808 puede incluir o interactuar con uno o más dispositivos de entrada de usuario tales como un teclado, ratón, pantalla táctil o controlador de juego. En algunas realizaciones, el subsistema de entrada puede incluir o interactuar con componentes seleccionados de entrada natural del usuario (NUI). Tales componentes pueden estar integrados o periféricos, y la transducción y/o procesamiento de acciones de entrada pueden manejarse dentro o fuera del sistema. Los componentes de<n>U<i>ejemplares pueden incluir un micrófono para voz y/o reconocimiento de voz; una cámara infrarroja, a color, estereoscópica y/o de profundidad para visión artificial y/o reconocimiento de gestos; un rastreador de cabeza, rastreador de ojos, acelerómetro y/o giroscopio para detección de movimiento y/o reconocimiento de intención; así como componentes de detección de campos eléctricos para evaluar la actividad cerebral.

Cuando se incluye, el subsistema 2810 de comunicación puede configurarse para acoplar comunicativamente el sistema informático 2800 con uno o más dispositivos informáticos diferentes. El subsistema 2810 de comunicación puede incluir dispositivos de comunicación cableados y/o inalámbricos compatibles con uno o más protocolos de comunicación diferentes. Como ejemplos no limitantes, el subsistema de comunicación puede configurarse para comunicación mediante una red telefónica inalámbrica, o una red de área local o amplia inalámbrica o cableada. En algunas realizaciones, el subsistema de comunicación puede permitir que el sistema informático 2800 envíe y/o reciba mensajes hacia y/o desde otros dispositivos usando una red tal como Internet.

Se presentan ahora diversas realizaciones ejemplares de la presente colocación de objetos basada en la mirada dentro de un entorno de realidad virtual a modo de ilustración y no como una lista exhaustiva de todas las realizaciones. Un ejemplo incluye un método realizado por un dispositivo de exhibición visual montado en la cabeza (HMD) que soporta la reproducción de un entorno de realidad virtual, que comprende: obtener datos de sensores que describen un entorno físico del mundo real contiguo a un usuario del dispositivo HMD; utilizar los datos de sensor, reconstruir una geometría del entorno físico; rastrear la cabeza y la mirada del usuario en el entorno físico usando la geometría reconstruida para determinar un campo de visión y una posición de visión; proyectar un rayo de mirada hacia afuera desde la posición de visión; identificar una intersección entre el rayo de mirada proyectado y el entorno de realidad virtual; y colocar un objeto virtual en la intersección dentro del campo actual en respuesta a la entrada de usuario.

En otro ejemplo, los datos de sensor incluyen datos de profundidad e incluyen adicionalmente generar los datos de sensor usando un sensor de profundidad y aplicar técnicas de reconstrucción de superficie para reconstruir la geometría del entorno físico. En otro ejemplo, el método incluye adicionalmente generar datos de profundidad usando análisis de formación de imágenes de profundidad a partir de estéreo. En otro ejemplo, el método incluye adicionalmente identificar una intersección entre el rayo de mirada proyectado y el entorno de realidad virtual más cercano al dispositivo HMD. En otro ejemplo, el método incluye adicionalmente exponer una interfaz de usuario (UI) para recibir la entrada de usuario, proporcionando, la UI, controles de usuario, o soportando reconocimiento de gestos o reconocimiento de voz. En otro ejemplo, el método incluye adicionalmente rotar el rayo de mirada proyectado de modo que el objeto virtual colocado no quede recortado a lo largo de un borde del campo de visión. En otro ejemplo, el método incluye adicionalmente realizar la rotación de manera que el rayo de mirada se proyecte a través de una porción inferior del campo de visión. En otro ejemplo, el método incluye adicionalmente realizar la rotación cuando el objeto colocado no se pueda reproducir para que encaje por completo dentro del campo de visión. En otro ejemplo, el objeto virtual colocado es un elemento interactivo que soporta una interfaz de usuario o una experiencia de usuario en la que el elemento interactivo es un menú, un widget o una notificación. En otro ejemplo, el método utiliza adicionalmente uno o más sensores orientados hacia adentro ubicados en el dispositivo HMD para determinar la dirección de mirada y proyectar el rayo de mirada desde la posición de visión a lo largo de una dirección de mirada del usuario.

Un ejemplo adicional incluye un dispositivo de exhibición visual montado en la cabeza (HMD) que un usuario puede hacer funcionar en un entorno físico, que comprende: uno o más procesadores; un dispositivo de exhibición visual para reproducir un entorno de realidad virtual al usuario, siendo variable el campo de visión del entorno de realidad virtual reproducido dependiendo al menos en parte de la postura de la cabeza del usuario en el entorno físico; un paquete de sensores; y uno o más dispositivos de memoria que almacenan instrucciones legibles por ordenador que, cuando son ejecutadas por el uno o más procesadores, realizan un método que comprende los pasos de: generar datos de reconstrucción de superficie para al menos una porción del entorno físico usando el paquete de sensores, rastrear dinámicamente una posición de visión del usuario para el entorno de realidad virtual usando los datos de reconstrucción de superficie, localizando una intersección entre un rayo proyectado desde la posición de visión a lo largo de la dirección de mirada del usuario y un punto del entorno de realidad virtual dentro de un campo de visión actual, y hacer funcionar el dispositivo HMD para reproducir un cursor en el punto de intersección.

En otro ejemplo, el dispositivo de exhibición visual montado en la cabeza (HMD) incluye adicionalmente el uso del paquete de sensores para rastrear dinámicamente la dirección de mirada. En otro ejemplo, el dispositivo de exhibición visual montado en la cabeza (HMD) incluye adicionalmente una interfaz de usuario y hace funcionar el dispositivo HMD para colocar un objeto virtual en el punto de intersección en respuesta a una entrada de usuario en la UI. En otro ejemplo, el dispositivo de exhibición visual montado en la cabeza (HMD) incluye adicionalmente reposicionar dinámicamente el cursor a medida que cambia el campo de visión o la dirección de mirada. En otro ejemplo, el dispositivo de exhibición visual montado en la cabeza (HMD) incluye adicionalmente modelar el entorno físico utilizando una canalización de datos de reconstrucción de superficie que implanta un método volumétrico que crea múltiples superficies superpuestas que se integran. En otro ejemplo, el dispositivo de exhibición visual montado en la cabeza (HMD) incluye adicionalmente rotar el rayo proyectado hacia abajo de modo que el objeto virtual colocado, cuando se reproduce en el dispositivo de exhibición visual, no quede recortado por el borde superior del campo de visión actual.

Un ejemplo adicional incluye una o más memorias legibles por ordenador que almacenan instrucciones ejecutables por ordenador para reproducir un entorno de realidad virtual dentro de un campo de visión variable de un dispositivo de exhibición visual montado en la cabeza (HMD) ubicado en un entorno del mundo real, comprendiendo el método los pasos de: usar datos de un paquete de sensores incorporado en el dispositivo HMD para a) generar dinámicamente un modelo de reconstrucción de superficie del entorno del mundo real, y b) generar un rayo de mirada que se proyecte desde una posición de visión de un usuario del dispositivo HMD; determinar un campo de visión del entorno de realidad virtual usando el modelo; recibir una entrada de usuario al dispositivo HMD; y colocar un objeto virtual dentro del campo de visión en un punto de intersección entre el rayo de mirada y el entorno de realidad virtual en respuesta a la entrada de usuario recibida.

En otro ejemplo, la una o más memorias legibles por ordenador incluyen adicionalmente rastrear la dirección de mirada del usuario, proyectar el rayo de mirada desde la posición de visión a lo largo de la dirección de mirada y reproducir un cursor dentro del campo de visión en un punto de intersección del rayo de mirada y el entorno de realidad virtual. En otro ejemplo, la una o más memorias legibles por ordenador incluyen adicionalmente determinar cuándo el objeto virtual colocado se extiende fuera del campo de visión, y rotar el rayo de mirada en respuesta a la determinación. En otro ejemplo, la una o más memorias legibles por ordenador incluyen adicionalmente rotar el rayo de mirada en un ángulo que resulte suficiente para proporcionar una porción del campo de visión que no esté obstruida por el objeto virtual colocado.

Aunque el objeto se ha descrito en un lenguaje específico de características estructurales y/o actos metodológicos, debe entenderse que el objeto definido en las reivindicaciones adjuntas no se limita necesariamente a las características o actos específicos descritos anteriormente. Más bien, las características y actos específicos descritos anteriormente se divulgan como formas de ejemplo de implantación de las reivindicaciones.

Claims

REIVINDICACIONES

1. Un método (1800) realizado por un dispositivo (104) de exhibición visual montado en la cabeza, HMD, que soporta la reproducción de un entorno de realidad virtual, que comprende:

obtener (1805) datos de sensor que describen un entorno físico del mundo real contiguo a un usuario del dispositivo HMD (104);

utilizar los datos de sensor, reconstruyendo (1810) una geometría del entorno físico del mundo real; rastrear (1815) la cabeza y la mirada del usuario en el entorno físico del mundo real utilizando la geometría reconstruida para determinar un campo de visión y una posición de visión dentro del entorno de realidad virtual; proyectar (1820) un rayo (302) de mirada hacia afuera desde la posición de visión a lo largo de la dirección de mirada del usuario;

identificar (1825) una intersección entre el rayo (302) de mirada proyectado y el entorno de realidad virtual; colocar (1840) un objeto virtual (405) en la intersección dentro del entorno de realidad virtual en respuesta a la entrada de usuario, en el que el entorno de realidad virtual es completamente virtual; y

determinar cuándo el objeto virtual colocado se extiende fuera del campo de visión;

en respuesta a determinar que el objeto virtual colocado se extiende fuera del campo de visión, rotar (1835) el rayo (302) de mirada proyectado desde la posición de visión desde el rayo de mirada proyectado original en una dirección de al menos una de entre: izquierda, derecha, arriba, abajo o combinaciones de las mismos en diversos ángulos de rotación, y reposicionar el objeto virtual en la intersección del rayo de mirada proyectado rotado con el entorno de realidad virtual para impedir el recorte del objeto virtual a lo largo de un borde del campo de visión cuando se reproduce en el dispositivo de exhibición visual.

2. El método (1800) de la reivindicación 1, en el que los datos de sensor incluyen datos de profundidad, y que incluye adicionalmente generar los datos de sensor usando un sensor de profundidad, y aplicar técnicas de reconstrucción de superficie para reconstruir la geometría del entorno físico.

3. El método (1800) de la reivindicación 1, que incluye adicionalmente generar datos de profundidad usando análisis de formación de imágenes de profundidad a partir de estéreo.

4. El método (1800) de la reivindicación 1, que incluye adicionalmente exponer (1830) una interfaz de usuario, UI, para recibir la entrada de usuario, proporcionando la UI controles de usuario o soportando reconocimiento de gestos o reconocimiento de voz.

5. El método (1800) de la reivindicación 1, que identifica adicionalmente una intersección entre el rayo de mirada proyectado y el entorno de realidad virtual que está más cercano al dispositivo HMD.

6. El método (1800) de cualquier reivindicación anterior, que incluye adicionalmente realizar la rotación de modo que el rayo (302) de mirada se proyecte a través de la porción inferior del campo de visión.

7. El método (1800) de cualquiera de las reivindicaciones 1 a 5, que incluye adicionalmente realizar la rotación cuando el objeto virtual colocado no se puede reproducir para que encaje por completo dentro del campo de visión.

8. El método (1800) de la reivindicación 1, en el que el objeto virtual colocado (405) es un elemento interactivo que soporta una interfaz de usuario o una experiencia de usuario en la que el elemento interactivo es uno de un menú, un widget o una notificación.

9. El método (1800) de la reivindicación 1, que incluye adicionalmente el uso de uno o más sensores orientados hacia adentro ubicados en el dispositivo HMD (104) para determinar la dirección de mirada y proyectar el rayo de mirada (302) desde la posición de visión a lo largo de una dirección de la mirada del usuario.

10. Un dispositivo (104) de exhibición visual montado en la cabeza, HMD, que un usuario puede hacer funcionar en un entorno físico, que comprende:

uno o más procesadores;

un dispositivo de exhibición visual para reproducir un entorno de realidad virtual al usuario, siendo variable un campo de visión del entorno de realidad virtual reproducido dependiendo al menos en parte de la postura de la cabeza del usuario en el entorno físico;

un paquete de sensores (1505); y

uno o más dispositivos de memoria que almacenan instrucciones legibles por ordenador, las cuales, cuando son ejecutadas por el uno o más procesadores, realizan un método que comprende los pasos de:

generar (1905) datos de reconstrucción de superficie para al menos una porción del entorno físico usando el paquete (1505) de sensores,

rastrear dinámicamente (1910) una posición de visión del usuario para el entorno de realidad virtual utilizando los datos de reconstrucción de superficie,

localizar (1920) una intersección entre un rayo (302) proyectado desde la posición de visión a lo largo de la dirección de mirada del usuario hacia el entorno de realidad virtual reproducido en el dispositivo de exhibición visual del dispositivo HMD (104) y un punto del entorno de realidad virtual dentro del campo actual de visión, y hacer funcionar (1925) el dispositivo HMD (104) para colocar un objeto virtual en el punto localizado, y determinar cuándo el objeto virtual colocado se extiende fuera del campo de visión;

en respuesta a determinar que el objeto virtual colocado se extiende fuera del campo de visión, rotar (1835) el rayo (302) de mirada proyectado, desde la posición de visión, desde el rayo de mirada original proyectado en una dirección de al menos una de entre: izquierda, derecha, arriba, abajo o combinaciones de las mismas, en diversos ángulos de rotación, y reposicionar el objeto virtual en la intersección del rayo de mirada proyectado rotado con el entorno de realidad virtual, para impedir el recorte del objeto virtual a lo largo de un borde del campo de visión cuando se reproduce en el dispositivo de exhibición visual.

11. El dispositivo HMD (104) de la reivindicación 10, que incluye adicionalmente usar el paquete de sensores para rastrear dinámicamente (1915) la dirección de mirada.

12. El dispositivo HMD (104) de la reivindicación 10, que incluye adicionalmente una interfaz de usuario y hacer funcionar el dispositivo HMD (104) para colocar (1935) un objeto virtual (405) en el punto de intersección en respuesta a una entrada de usuario a la UI.

13. El dispositivo HMD (104) de la reivindicación 10, que incluye adicionalmente reposicionar dinámicamente el cursor a medida que cambia el campo de visión o la dirección de mirada.

14. El dispositivo HMD (104) de la reivindicación 10, que incluye adicionalmente rotar (1930) el rayo proyectado hacia abajo de modo que el objeto virtual colocado (405), cuando se reproduce en el dispositivo de exhibición visual, no es recortado por un borde superior del campo de visión actual.

15. El dispositivo HMD (104) de la reivindicación 10, que incluye adicionalmente realizar la rotación cuando el objeto virtual colocado no se puede reproducir para que encaje por completo dentro del campo de visión.