ES2890428T3

ES2890428T3 - Dispositivo de visualización montado en la cabeza y su método

Info

Publication number: ES2890428T3
Application number: ES17828888T
Authority: ES
Inventors: José Araujo; Soma Tayamon
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2022-01-19
Anticipated expiration: 2037-12-19
Also published as: EP3729378B1; KR102465654B1; EP3901915A2; IL275047A; RU2749643C1; MA54342A; MX2020006407A; WO2019120488A1; CA3084686C; US20240185463A1; US11380018B2; BR112020012291A2; US20220301226A1; IL275047B1; JP7012163B2; EP3729378A1; IL275047B2; US20200388054A1; CA3084686A1; KR20200094767A

Abstract

Un dispositivo de visualización montado en la cabeza (100), configurado para ser utilizado por un usuario (121), comprendiendo el dispositivo de visualización: una pantalla (101), al menos parcialmente transparente, una cámara frontal (102), operativa para capturar una primera imagen de una escena del mundo real, una cámara (103) orientada hacia los ojos, operativa para capturar una segunda imagen de un reflejo de la escena del mundo real por parte de una córnea (123) del usuario, y medios de procesamiento (104), operativos para: seleccionar un objeto de calibración de entre uno o más objetos del mundo real, o partes de los mismos, (130- 135) que son visibles tanto en la primera imagen como en la segunda imagen, y obtener una transformación de calibración para calcular una posición de visualización basada en una posición del mundo real, utilizando la primera imagen y la segunda imagen y utilizando el objeto del mundo real seleccionado que es visible tanto en la primera imagen como en la segunda imagen, de tal manera que un objeto virtual que se muestra en la pantalla en la posición de visualización está alineado con un objeto del mundo real correspondiente situado en la posición del mundo real, tal como lo ve el usuario.

Description

DESCRIPCIÓN

Dispositivo de visualización montado en la cabeza y su método

Campo técnico

La invención se refiere a un dispositivo de visualización montado en la cabeza, a un método realizado por un dispositivo de visualización montado en la cabeza, a un programa informático correspondiente y a un medio de almacenamiento legible por ordenador correspondiente.

Antecedentes

Se prevé que la realidad mixta (MR - Mixed Reality, en inglés) se convierta en una tecnología integral en la sociedad en red y revolucione potencialmente el mercado de la electrónica de consumo. La realidad mixta abarca la realidad aumentada (AR - Augmented Reality, en inglés) y la virtualidad aumentada (AV - Augmented Virtuality, en inglés).

A menudo, la AR se realiza a través de dispositivos portátiles, tales como teléfonos inteligentes y tabletas, o mediante pantallas montadas en la cabeza (HMD - Head-Mounted Displays, en inglés) (también conocidas como dispositivos de visualización montados en la cabeza) tales como las HoloLens, comercializadas por la firma Microsoft. La AR, a través de una HMD implica superponer información, tal como texto, imágenes o videos, sobre la vista del usuario del mundo real a través de una pantalla transparente.

Los dispositivos de visualización con pantallas transparentes, tales como las HMD, requieren una calibración, para proporcionar una experiencia de usuario inmersiva. El objetivo de la calibración es poder mostrar objetos virtuales, tal como texto, imágenes y videos, en la pantalla transparente de la HMD, de tal manera que los objetos virtuales mostrados están correctamente alineados con los objetos del mundo real vistos por el usuario a través de la pantalla transparente. En la práctica, se debe conocer la pose del ojo del usuario, además de la pose de la pantalla y la pose respectiva de cualquier cámara incluida en la HMD, tal como una cámara frontal, para capturar imágenes del mundo real y/o rastrear los objetos del mundo real, y una cámara orientada hacia los ojos, para rastrear los ojos del usuario.

Una descripción general de los métodos de calibración conocidos para HMD ha sido brindada por J. Grubert, Y. Itoh, K. Moser y J. E. Swan II (“Survey of Calibration Methods for Optical See-Through Head-Mounted Displays”, arXiv: 1709.04299v1, 13 de septiembre de 2017). Estos métodos de calibración se realizan habitualmente de manera manual cuando se utiliza la HMD, mientras que algunos de los métodos de calibración se pueden automatizar. Algunos métodos de calibración conocidos tienen en común que se basan en equipos de calibración no prácticos y/o en equipos de calibración costosos.

Por ejemplo, en el documento WO 2016/191043 A1 se describe un procedimiento de calibración manual para establecer una matriz de visión que se calibra con las características específicas del ojo del usuario.

También se conocen métodos de calibración basados en la toma imágenes de la córnea, que se basan en una cámara orientada hacia los ojos para obtener imágenes de un reflejo de la escena del mundo real por parte de la córnea del usuario, tal como se describe en el documento “Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging“, por A. Plopski, C. Nitschke, K. Kiyokawa, D. Schmalstieg y H. Takemura, International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments, The Eurographics Association, 2015).

El documento WO 2017/058495 A1 da a conocer ejemplos para calibrar el ojo de un usuario para una pantalla estereoscópica. Un ejemplo proporciona, en un dispositivo de visualización montado en la cabeza que incluye una pantalla transparente, un método para calibrar una pantalla estereoscópica para los ojos de un usuario, incluyendo el método para un primer ojo, recibir una indicación de alineación de un objeto controlado por el usuario con un primer objeto de referencia ocular visible a través del dispositivo de visualización montado en la cabeza desde una perspectiva del primer ojo, determinar un primer rayo que atraviesa el objeto controlado por el usuario y el primer objeto de referencia visual desde la perspectiva del primer ojo, y determinar una posición del primer ojo basándose en el primer rayo. El método incluye, además, repetir dichas etapas para un segundo ojo, determinar una posición del segundo ojo basándose en un segundo rayo y calibrar la pantalla estereoscópica basándose en la posición del primer ojo y la posición del segundo ojo.

El documento US 2017/0295360 A1 da a conocer un dispositivo de visualización montado en la cabeza que incluye una sección de derivación, que deriva una distancia del objeto de un objeto real incluido en una escena exterior para ser fotografiado y una pose relativa del objeto real con respecto a una sección de toma de imágenes, una sección de selección de parámetros que selecciona un grupo de parámetros de entre una pluralidad de grupos de parámetros para mostrar una imagen de AR asociada con el objeto real en una sección de visualización de imágenes, según la distancia del objeto, y una sección de configuración de imagen de visualización, que establece una imagen de visualización en la que una pose de la imagen de AR y una pose del objeto real se asocian entre sí, sobre la base de la distancia del objeto, la pose relativa del objeto real y el grupo de parámetros seleccionado, y muestra la imagen de visualización en la sección de visualización de imágenes.

Resumen

Un objetivo de la invención es proporcionar una alternativa mejorada a las técnicas anteriores y al estado de la técnica.

Más específicamente, un objetivo de la invención es proporcionar soluciones mejoradas para calibrar un dispositivo de visualización transparente montado en la cabeza. En particular, un objetivo de la invención es proporcionar soluciones para seleccionar automáticamente un objeto de calibración para su uso en un procedimiento de calibración.

Estos y otros objetivos de la invención se consiguen mediante diferentes aspectos de la invención, tal como están definidas en las reivindicaciones independientes. Las realizaciones de la invención se caracterizan por las reivindicaciones dependientes.

Según un primer aspecto de la invención, se proporciona un dispositivo de visualización montado en la cabeza tal como se define en la reivindicación 1. El dispositivo de visualización está configurado para que lo lleve un usuario, y comprende una pantalla al menos parcialmente transparente, una cámara frontal y medios de procesamiento. La cámara frontal está operativa para capturar una primera imagen de una escena del mundo real. Habitualmente, cuando el usuario lo utiliza, la escena capturada del mundo real es la escena frente al usuario. Los medios de procesamiento son operativos para seleccionar un objeto de calibración de uno o más objetos del mundo real, o partes de los mismos, que son visibles en la primera imagen. Los medios de procesamiento también son operativos para obtener una transformación de calibración para calcular una posición de visualización basándose en una posición del mundo real, de tal manera que un objeto virtual que es visualizado en la pantalla en la posición de visualización está alineado con un objeto del mundo real correspondiente situado en la posición del mundo real, tal como la ve el usuario. La transformación de calibración puede estar representada, por ejemplo, por una matriz o por otra forma de representación matemática que sea adecuada para describir una transformación entre dos sistemas de coordenadas.

Según un segundo aspecto de la invención, se proporciona un método realizado por un dispositivo de visualización montado en la cabeza, tal como se define en la reivindicación 17. El dispositivo de visualización está configurado para ser utilizado por un usuario. El método comprende seleccionar un objeto de calibración de entre uno o más objetos del mundo real, o partes de los mismos, que son visibles en una primera imagen de una escena del mundo real. La primera imagen es capturada por una cámara frontal incluida en el dispositivo de visualización. El método comprende, además, obtener una transformación de calibración para calcular una posición de visualización basándose en una posición del mundo real, de tal manera que un objeto virtual que se visualiza en la posición de visualización en una pantalla al menos parcialmente transparente está alineado con un objeto correspondiente del mundo real situado en la posición del mundo real, tal como lo ve el usuario. La pantalla al menos parcialmente transparente está incluida en el dispositivo de pantalla.

Según un tercer aspecto de la invención, se proporciona un programa informático. El programa informático comprende instrucciones ejecutables por un ordenador para hacer que un dispositivo de visualización montado en la cabeza realice el método según una realización del segundo aspecto de la invención, cuando las instrucciones ejecutables por un ordenador son ejecutadas en una unidad de procesamiento incluida en el dispositivo de visualización.

Según un cuarto aspecto de la invención, se proporciona un medio de almacenamiento legible por ordenador. El medio de almacenamiento legible por ordenador tiene almacenado el programa informático según el tercer aspecto de la invención.

La invención utiliza la comprensión de que un procedimiento de calibración mejorado para pantallas transparentes o dispositivos de visualización montados en la cabeza (HMD) se logra mediante la selección automática de un objeto de calibración de entre uno o más objetos del mundo real para su uso en un procedimiento de calibración, por ejemplo, cualquiera de los procedimientos de calibración que se conocen en la técnica. De este modo, el usuario de una HMD se ve aliviado de tener o llevar un objeto de calibración dedicado. Las realizaciones de la invención seleccionan un objeto de calibración adecuado de entre uno o más objetos del mundo real, es decir, objetos físicos en los alrededores del usuario que son visibles en la primera imagen capturada por la cámara frontal. Estos son objetos del mundo real que se encuentran en el campo de visión de la cámara frontal, tal como muebles, electrodomésticos, edificios, puertas, ventanas, vehículos, letreros de calles, tabletas, teléfonos inteligentes, ordenadores portátiles, tableros de ajedrez, etc.

Según la invención, el dispositivo de visualización comprende, además, una cámara orientada hacia los ojos que es operativa para capturar una segunda imagen de un reflejo de la escena del mundo real por parte de una córnea del usuario. Los medios de procesamiento son operativos para seleccionar el objeto de calibración de uno o más objetos del mundo real, o partes de los mismos, que son visibles tanto en la primera imagen como en la segunda imagen, y para obtener la transformación de calibración utilizando la primera imagen y la segunda imagen. Esta realización de la invención se refiere a métodos de calibración que se basan en la toma de imágenes de la córnea. El objeto de calibración se selecciona de entre uno o más objetos del mundo real, o partes de los mismos, que son visibles en una región de la primera imagen que corresponde a un campo de visión de la cámara orientada hacia los ojos. Habitualmente, el campo de visión de la cámara orientada hacia los ojos es más pequeño que el de la cámara frontal. Puesto que el objeto de calibración debe ser visible tanto en la primera imagen como en la segunda imagen, para obtener la transformación de calibración como parte de un procedimiento de calibración que se basa en la toma de imágenes de la córnea, el objeto de calibración se selecciona ventajosamente de entre los objetos del mundo real que son visibles en una parte de la primera imagen que corresponde al campo de visión de la cámara orientada hacia los ojos. En la práctica, estos son objetos que también son visibles en la segunda imagen capturada por la cámara orientada hacia los ojos. Ventajosamente, puesto que la primera imagen (capturada por la cámara frontal) es habitualmente superior a la segunda imagen (capturada por la cámara orientada hacia los ojos), debido a las imperfecciones de la córnea, la identificación de objetos del mundo real mediante el procesamiento de imágenes de la primera imagen es más fácil, más fiable y consume menos recursos, en comparación con la segunda imagen.

Según una realización de la invención, el objeto de calibración puede ser seleccionado basándose en una distorsión del objeto de calibración en la segunda imagen en comparación con la primera imagen. Este es el caso si se emplea un método de calibración que se basa en la toma imágenes de la córnea. Preferentemente, se selecciona el objeto con la menor distorsión. Esto es ventajoso, ya que la transformación de calibración se obtiene comparando el mismo objeto capturado por la primera y la segunda imagen.

Según una realización de la invención, el objeto de calibración se selecciona basándose en una apariencia visual del objeto de calibración. Por ejemplo, se seleccionan preferentemente objetos del mundo real que son claramente visibles y/o tienen un alto contraste y que, por lo tanto, son fáciles de detectar mediante procesamiento de imágenes o reconocimiento de objetos.

Según una realización de la invención, un objeto de calibración seleccionado previamente de entre uno o más objetos del mundo real es seleccionado como el objeto de calibración. Esto se puede lograr manteniendo una base de datos de los objetos de calibración utilizados.

Según una realización de la invención, el dispositivo de visualización comprende uno o más sensores de movimiento, que funcionan para rastrear un movimiento del dispositivo de visualización. El medio de procesamiento es operativo para estimar un período de tiempo durante el cual uno o más objetos del mundo real permanecen visibles en la primera imagen, y seleccionar el objeto de calibración basándose en la duración estimada de tiempo durante el cual el objeto de calibración permanece visible en la primera imagen. La duración del tiempo durante el cual uno o más objetos del mundo real son visibles en la primera imagen se estima basándose en el movimiento rastreado del dispositivo de visualización. Preferentemente, se selecciona un objeto del mundo real que sea visible en la primera imagen y, opcionalmente, en la segunda imagen, durante un período de tiempo suficientemente largo para realizar el procedimiento de calibración. Como alternativa, se puede seleccionar un objeto del mundo real que se mueva lentamente, o que no se mueva en absoluto, en relación con el campo de visión.

Según una realización de la invención, el objeto de calibración se selecciona identificando uno o más objetos del mundo real, haciendo coincidir las características visuales de uno o más objetos del mundo real con la información relativa a las características visuales de los objetos del mundo real, que está almacenada en una base de datos, y seleccionando el objeto de calibración en función de la información obtenida de la base de datos. La información obtenida de la base de datos puede indicar una idoneidad respectiva de los objetos identificados del mundo real, o de partes de los mismos, como objeto de calibración. La información puede estar relacionada, por ejemplo, con la apariencia visual, las dimensiones, la composición del objeto del mundo real en términos de formas geométricas o similares. A este respecto, un objeto del mundo real se considera más adecuado como objeto de calibración si su apariencia visual se caracteriza por un alto contraste, o por formas geométricas que son fáciles de detectar mediante el procesamiento de imágenes. Por ejemplo, un tablero de ajedrez se caracteriza por estar compuesto por formas geométricas simples, y por un alto contraste. Preferentemente, se selecciona el objeto de calibración más adecuado.

Según una realización de la invención, el dispositivo de visualización comprende, además, una interfaz de comunicaciones inalámbricas. El medio de procesamiento es operativo para seleccionar el objeto de calibración identificando, utilizando la interfaz de comunicaciones inalámbricas, comprendiendo un dispositivo de comunicaciones una pantalla de entre uno o más objetos del mundo real, y seleccionando como objeto de calibración al menos una de las pantallas del dispositivo de comunicaciones y el contenido gráfico que se muestra en el mismo. El dispositivo de comunicaciones que comprende una pantalla puede ser identificado, por ejemplo, estableciendo comunicaciones inalámbricas con dispositivos de comunicaciones cercanos, consultando el tipo, las capacidades o la marca/modelo de los dispositivos de comunicaciones cercanos. Ventajosamente, un dispositivo de comunicaciones cercano que se encuentra en el campo de visión de la cámara frontal puede mostrar contenido gráfico en forma de un patrón de calibración dedicado, que se caracteriza por un alto contraste y que se compone de formas geométricas simples, tales como rectángulos, cuadrados, círculos o similares. Opcionalmente, el dispositivo de visualización puede recibir una representación del contenido gráfico mostrado desde el dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas. En otras palabras, el dispositivo de comunicaciones puede informar al dispositivo de visualización qué contenido gráfico se visualiza actualmente, de tal manera que el dispositivo de visualización puede utilizar el contenido gráfico visualizado como objeto de calibración. Como alternativa, el dispositivo de visualización puede transmitir una instrucción al dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas, para visualizar el contenido gráfico en la pantalla del dispositivo de comunicaciones. La instrucción puede ser una solicitud, tal como un mensaje o una señal, en respuesta a la cual el dispositivo de comunicaciones muestra el contenido gráfico. Opcionalmente, el dispositivo de visualización puede transmitir una representación del contenido gráfico al dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas.

Según una realización de la invención, el dispositivo de visualización es operativo, además, para recibir una instrucción para visualizar un objeto virtual, comprendiendo la instrucción una posición correspondiente en el mundo real del objeto virtual cuando se le muestra al usuario. Esta es la posición en la escena del mundo real donde parece estar colocado el objeto virtual. La instrucción puede ser recibida, por ejemplo, de una aplicación de AR que es ejecutada por el dispositivo de visualización, o que utiliza el dispositivo de visualización para mostrar objetos virtuales al usuario. El dispositivo de visualización también es operativo para calcular una posición de visualización del objeto virtual aplicando la transformación de calibración a la posición recibida en el mundo real, y visualizar el objeto virtual en la posición de visualización calculada en la visualización.

Aunque las ventajas de la invención se han descrito en algunos casos con referencia a realizaciones del primer aspecto de la invención, el razonamiento correspondiente se aplica a realizaciones de otros aspectos de la invención.

Otros objetivos, características y ventajas de la invención resultarán evidentes al estudiar la siguiente descripción detallada, los dibujos y las reivindicaciones adjuntas.

Breve descripción de los dibujos

Lo anterior, así como los objetos, características y ventajas adicionales de la invención, se comprenderán mejor a través de la siguiente descripción detallada, ilustrativa y no limitativa, de las realizaciones de la invención, con referencia a los dibujos adjuntos, en los que:

la figura 1 muestra un dispositivo de visualización montado en la cabeza, según realizaciones de la invención;

la figura 2 muestra una vista a través de la pantalla al menos parcialmente transparente del dispositivo de visualización de la figura 1, según realizaciones de la invención;

la figura 3 muestra una realización de los medios de procesamiento incluidos en el dispositivo de visualización de la figura 1;

la figura 4 muestra otra realización de los medios de procesamiento incluidos en el dispositivo de visualización de la figura 1;

la figura 5 muestra un diagrama de flujo que ilustra un método realizado por un dispositivo de visualización montado en la cabeza, según realizaciones de la invención.

Todas las figuras son esquemáticas, no necesariamente a escala, y, en general, solo muestran partes que son necesarias para dilucidar la invención, donde otras partes pueden estar omitidas o simplemente sugeridas.

Descripción detallada

La invención se describirá a continuación con más detalle, en el presente documento, con referencia a los dibujos adjuntos, en los que se muestran ciertas realizaciones de la invención. Sin embargo, esta invención puede ser realizada de muchas maneras diferentes, y no debe ser interpretada como limitada a las realizaciones expuestas en el presente documento. Por el contrario, estas realizaciones se proporcionan a modo de ejemplo, para que esta descripción sea minuciosa y completa, y transmita completamente el alcance de la invención a los expertos en la técnica.

A continuación, se describen realizaciones del dispositivo de visualización montado en la cabeza (HMD) con referencia a la figura 1, que muestra un HMD 100 configurado para ser utilizado por un usuario. E1HMD 100 puede ser fijado, por ejemplo, a la cabeza 121 del usuario utilizando correas o similares. E1HMD 100 comprende una pantalla 101 al menos parcialmente transparente a través de la cual el usuario puede ver una escena del mundo real que está frente al usuario, utilizando los ojos 122. La pantalla 101 puede ser utilizada para mostrar objetos virtuales, tales como texto, imágenes, videos u otros tipos de contenido gráfico, al usuario, de tal manera que los objetos virtuales mostrados se superponen en la escena del mundo real. El HMD 100 comprende, además, una cámara frontal 102, que está operativa para capturar una primera imagen de la escena del mundo real, y un medio de procesamiento 104, que está operativo para hacer que el HMD 100 funcione según las realizaciones de la invención expuestas en el presente documento.

Más específicamente, HMD 100 es operativo para seleccionar un objeto de calibración de entre uno o más objetos del mundo real, o partes de los mismos, 130-135, que son visibles en la primera imagen capturada por la cámara frontal 102. La primera imagen representa una vista de la escena del mundo real que se encuentra dentro de un campo de visión 112 de la cámara frontal 102. En el contexto actual, un objeto del mundo real puede ser cualquier objeto físico, tal como un mueble, un electrodoméstico, un edificio, una puerta, una ventana, un vehículo, un letrero de la calle, una tableta, un teléfono inteligente, un ordenador portátil, un tablero de ajedrez, etc. En la figura 1, algunos objetos del mundo real se ejemplifican como una tableta 130, una caja 133 y un automóvil 134. Las realizaciones de la invención pueden seleccionar un objeto completo del mundo real como objeto de calibración, tal como, por ejemplo, la caja 133, o una parte de un objeto del mundo real, tal como, por ejemplo, una pantalla 131 de la tableta 130, o el contenido gráfico 132 mostrado en la misma. En la figura 1, el contenido gráfico 132 se ejemplifica como un tablero de ajedrez, que es un patrón de calibración comúnmente utilizado en el sector, debido a su alto contraste y composición con formas geométricas simples, que facilita el procesamiento de imágenes y el reconocimiento de objetos.

El HMD 100 también es operativo para obtener una transformación de calibración para calcular una posición de visualización basándose en una posición del mundo real. La posición de la pantalla se calcula de tal manera que un objeto virtual que se muestra en la pantalla 101 en la posición de la pantalla, en relación con un sistema de coordenadas de la pantalla 101, está alineado con un objeto del mundo real correspondiente situado en la posición del mundo real, en relación con un sistema de coordenadas de la cámara frontal 102, tal como lo ve el usuario cuando ve la escena del mundo real con sus ojos 122 a través de la pantalla 101.

En una AR que se basa en pantallas transparentes, tal como el HMD 100, una tarea importante es calibrar e1HMD para establecer la orientación y la posición relativas, es decir, la pose, de los diferentes sistemas de coordenadas. Con el fin de aclarar la invención, se pueden asociar varios sistemas de coordenadas con e1HMD 100. Se puede asociar un primer sistema de coordenadas con la pantalla 101, se puede asociar un segundo sistema de coordenadas con la cámara 102 frontal, se puede asociar un tercer sistema de coordenadas con una cámara 103 orientada hacia los ojos (descrita más adelante), y se puede asociar un cuarto sistema de coordenadas con los ojos 122 del usuario. Solo si se calibra correctamente, un objeto virtual se puede mostrar en la pantalla 101 de manera que parezca estar colocado en la posición deseada en la escena del mundo real, lo que permite una experiencia inmersiva de usuario. Se describe el problema en cuestión y se propone un procedimiento de calibración manual, en el documento WO 2016/191043 A1. Se puede encontrar una descripción general de los diferentes procedimientos de calibración en el documento “cabeza Survey of Calibration Methods for Optical See-Through Head-Mounted Displays”, por J. Grubert, Y. Itoh, K. Moser y J. E. Swan II (arXiv: 1709.04299v1, 13 de septiembre de 2017).

La superposición de un objeto virtual en la escena del mundo real se ilustra en la figura 2, que muestra la vista de la escena del mundo real, tal como la ve el usuario, con los ojos 122, a través de la pantalla 101. En la figura 2, objetos del mundo real, o partes del mismo, 130-135 se ven a través de la pantalla 101, mientras que el objeto virtual 232, ilustrado en el presente documento como un tablero de ajedrez que es idéntico al tablero de ajedrez 132 mostrado como contenido gráfico en la pantalla 131 de la tableta 130, se superpone a la escena del mundo real mostrándolo en la pantalla 101. Bajo el supuesto de que el tablero de ajedrez 232 debe ser mostrado en una posición de presentación tal que parezca estar colocado en la posición del mundo real del tablero de ajedrez 132 que se muestra en la pantalla 131 de la tableta 130, el HMD 100 necesita corregir la posición de la pantalla para desplazar el tablero 232 de tal manera que esté alineado con el tablero 132, es decir, se superponga al mismo, mostrado en la tableta 130, tal como lo ven los ojos 122. El desplazamiento requerido del tablero 232, que en la figura 2 se ilustra con una flecha 240, es el objetivo de un procedimiento de calibración.

El HMD 100 comprende una cámara 103 orientada hacia los ojos que es operativa para capturar una segunda imagen de un reflejo de la escena del mundo real por parte de una córnea 123 del usuario. La toma de imágenes corneales es una técnica que utiliza una cámara para obtener imágenes de la córnea de una persona, en particular la del usuario del HMD, para recoger información sobre lo que está frente a la persona y también, debido a la naturaleza esférica del globo ocular humano, para recoger información sobre objetos en un campo de visión que potencialmente es más ancho que el campo de visión. Estos objetos pueden estar potencialmente fuera del campo de visión de la cámara, e incluso estar situados detrás de la cámara. La técnica es posible debido a la naturaleza altamente reflectante de la córnea humana, y también a la disponibilidad de cámaras de alta definición en dispositivos de consumo tales como los HMD.

Si el procedimiento de calibración se basa en imágenes de la córnea, el HMD 100 está operativo para seleccionar el objeto de calibración de uno o más objetos del mundo real, o partes de los mismos, 130-135 que son visibles tanto en la primera imagen como en la segunda imagen, y para obtener la transformación de calibración utilizando la primera imagen y la segunda imagen. Además, opcionalmente, el HMD 100 puede ser operativo para seleccionar el objeto de calibración de uno o más objetos del mundo real, o partes de los mismos, 130-135 que son visibles en una región de la primera imagen que corresponde al campo de visión 113 de la cámara 103 orientada hacia los ojos. Puesto que la primera imagen (capturada por la cámara frontal 102 con campo de visión 112) es habitualmente superior a la segunda imagen (capturada por la cámara 103 orientada hacia los ojos con campo de visión 113), debido al reflejo de la superficie imperfecta de la córnea 123, la identificación de objetos del mundo real mediante el procesamiento de imágenes y el reconocimiento de objetos es más fácil, más fiable y consume menos recursos, utilizando la primera imagen en comparación con la segunda imagen. Al limitar la región de la primera imagen que necesita ser procesada para identificar objetos del mundo real que son adecuados como objetos de calibración, las realizaciones de la invención requieren menos recursos informáticos y, en consecuencia, menos energía.

El propio procedimiento de calibración, es decir, establecer la posición relativa de los diferentes sistemas de coordenadas asociados con un HMD, está fuera del alcance de esta invención. Basta decir que se utiliza un objeto de calibración del mundo real para obtener la transformación de calibración, por ejemplo, una matriz o cualquier otra forma de representación matemática, que sea adecuada para describir una transformación de coordenadas entre dos sistemas de coordenadas. Se apreciará que, dependiendo del diseño del HMD, uno o más de los sistemas de coordenadas pueden tener poses fijas entre sí y/o con respecto al HMD 100. Por ejemplo, este es el caso de los HMD en los que la pantalla 101, la cámara orientada hacia los ojos 102 y la cámara 103 orientada hacia los ojos están contenidas en una sola unidad, de tal manera que los diferentes componentes no pueden moverse entre sí durante el uso normal.

Los objetos de calibración que se utilizan en la técnica suelen ser objetos de calibración dedicados, tales como un tablero de ajedrez o una plataforma de calibración (véase, por ejemplo, el documento “Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging”, por A. Plopski, C. Nitschke, K. Kiyokawa, D. Schmalstieg y H. Takemura, International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments, 2015). En lugar de utilizar un objeto de calibración dedicado que el usuario de1HMD 100 tiene que conservar, y posiblemente llevar consigo, las realizaciones de la invención se basan en la utilización de un objeto del mundo real que esté disponible en las proximidades del usuario cuando el HMD 100 requiere calibración. Dependiendo del diseño de un HMD y de su uso, la calibración se requiere habitualmente si la pose de los ojos 122 ha cambiado, es decir, la orientación y/o posición de los ojos 122 con respecto al HMD 100. Además, la calibración puede ser necesaria si uno o más de la pantalla 101, la cámara frontal 102 y la cámara 103 orientada hacia los ojos, se han desplazado entre sí y/o con respecto al HMD 100.

Más específicamente, el HMD 100 puede estar operativo para iniciar, o activar, un procedimiento de calibración, es decir, para seleccionar el objeto de calibración y obtener la transformación de calibración, en respuesta a cualquiera de: recibir del usuario una instrucción para iniciar un procedimiento de calibración, encender e1HMD 100, detectar una desalineación de un objeto virtual mostrado en relación con la escena del mundo real, detectar que el usuario es diferente de un usuario anterior del HMD 100, detectar que el HMD 100 se ha desplazado en relación con al menos un ojo 122 del usuario, y detectar que una o más de la pantalla 101, la cámara frontal 102 y la cámara 103 orientada hacia los ojos se han desplazado entre sí y/o con respecto al HMD 100.

En la práctica, se puede detectar una desalineación de un objeto virtual visualizado con respecto a la escena del mundo real mostrando un objeto virtual en una posición de visualización que corresponde a la posición del mundo real de un objeto específico del mundo real. En particular, el objeto virtual mostrado puede tener la misma forma que el objeto del mundo real, es decir, puede ser una representación virtual (o copia virtual) del objeto del mundo real. Si el objeto virtual mostrado y el objeto del mundo real están desalineados, al menos hasta cierto punto, se activa el procedimiento de calibración. La desalineación puede ser detectada por el usuario o mediante la formación de imágenes de la córnea, procesando la imagen de la segunda imagen capturada por la cámara 103 orientada hacia los ojos, en la que son visibles tanto el objeto del mundo real como el objeto virtual superpuesto.

Un desplazamiento del HMD 100 con respecto a al menos un ojo 122 del usuario puede ser detectado, por ejemplo, utilizando la cámara 103 orientada hacia los ojos. Esto se puede lograr rastreando la posición o posiciones del ojo 122 del usuario a lo largo del tiempo. El procedimiento de calibración se activa si la posición del ojo o los ojos del usuario 122 se desvía de un valor promedio histórico en más de un valor umbral. El valor umbral puede ser establecido por el usuario, por el fabricante del HMD 100 o por una aplicación de AR que utilice un HMD 100 para mostrar objetos virtuales al usuario.

Un desplazamiento de una o más de la pantalla 101, la cámara frontal 102 y la cámara 103 orientada hacia los ojos, entre sí y/o con respecto al HMD 100, puede ser detectado utilizando sensores de movimiento que están comprendidos en la pantalla 101, frente a frente a la cámara 102 y a la cámara 103 orientada hacia los ojos.

A continuación, se describen diferentes alternativas para seleccionar el objeto de calibración de entre uno o más objetos del mundo real, o partes de los mismos, 130-135.

Por ejemplo, el HMD 100 puede ser operativo para seleccionar el objeto de calibración basándose en una apariencia visual del objeto de calibración. Preferentemente, se seleccionan objetos del mundo real que son claramente visibles, tienen buenas condiciones de iluminación y/o alto contraste y/o están compuestos de formas geométricas simples. Dichos objetos del mundo real suelen ser fáciles de detectar mediante el procesamiento de imágenes y el reconocimiento de objetos, por ejemplo, utilizando Transformación de características invariantes con la escala (SlFT - Scale-Invariant Feature Transform, en inglés) (véase, por ejemplo, el documento US 6.711.293 B1) o algoritmos similares conocidos en la técnica.

Alternativamente, el HMD 100 puede ser operativo para seleccionar como objeto de calibración un objeto de calibración previamente seleccionado de entre uno o más objetos del mundo real, o partes de los mismos, 130-135. Para este propósito, el HMD 100 puede mantener una base de datos, ya sea en una memoria comprendida en e1HMD 100 (tal como la memoria 303 que se muestra en la figura 3) o accesible por parte de1HMD 100 a través de una red de comunicaciones (a través de la interfaz 105 de comunicaciones inalámbricas), por ejemplo, una base de datos basada en la nube. En la base de datos, se puede almacenar información que puede ser utilizada para identificar un objeto de calibración de entre uno o más objetos del mundo real, por ejemplo, información relacionada con su apariencia visual o características visuales, imágenes o información relacionada con su forma, composición de formas geométricas y dimensiones.

Como alternativa adicional, el HMD 100 puede comprender, además, uno o más sensores de movimiento 106 operativos para rastrear un movimiento del HMD 100. El uno o más sensores de movimiento 106 pueden estar basados, por ejemplo, en acelerómetros, giroscopios, sensores del Sistema de Posicionamiento Global (GPS - Global Positioning System, en inglés), magnetómetros, cámaras, etc., tal como se conocen en la técnica y se proporcionan con teléfonos inteligentes normales. El HMD 100 es operativo para estimar un período de tiempo durante el cual uno o más objetos del mundo real permanecen visibles en la primera imagen, es decir, permanecen dentro del campo de visión 112 de la cámara frontal 102, basándose en el movimiento de rastreo de1HMD 100, y seleccionar el objeto de calibración basándose en la duración estimada del tiempo durante el cual el objeto de calibración permanece visible en la primera imagen. Este es el caso si el HMD 100 emplea un procedimiento de calibración que se basa en el rastreo del objeto de calibración seleccionado con la cámara frontal 102. Preferentemente, un objeto del mundo real, o parte del mismo, 130-135 se selecciona como objeto de calibración que es visible en la primera imagen durante un período de tiempo suficientemente largo para realizar la calibración. Como alternativa, un objeto del mundo real, o parte del mismo, 130-135 que se mueve lentamente, o no se mueve en absoluto, con relación al campo de visión 102 puede ser seleccionado como objeto de calibración. Por ejemplo, si el HMD 100 está más o menos estacionario, se puede seleccionar un objeto estacionario del mundo real, tal como la caja 133. Si, por otro lado, e1HMD 100 se está moviendo, por ejemplo, porque el usuario está girando su cabeza 121, se puede seleccionar un objeto del mundo real que se esté moviendo de manera similar, tal como el automóvil 134.

También se apreciará que, si el objeto de calibración se selecciona de entre uno o más objetos del mundo real, o partes de los mismos, 130-135 que son visibles en una región de la primera imagen que corresponde al campo de visión 113 de cámara 103 orientada hacia los ojos, el objeto de calibración puede ser seleccionado basándose en una duración estimada del tiempo durante el cual el objeto de calibración permanece visible en la segunda imagen, es decir, dentro del campo de visión 113 de la cámara 103 orientada hacia los ojos.

Como otra alternativa más, el HMD 100 puede ser operativo para seleccionar el objeto de calibración identificando uno o más objetos del mundo real 130-135 comparando las características visuales de uno o más objetos del mundo real 130-135 con información perteneciente a características visuales de objetos del mundo real que se almacenan en una base de datos, por ejemplo, utilizando SIFT o algoritmos similares, y seleccionando el objeto de calibración basándose en la información obtenida de la base de datos. La información obtenida puede indicar una idoneidad respectiva de los objetos identificados del mundo real, o partes de los mismos, 130-135 como objeto de calibración. Por ejemplo, la información puede estar relacionada con la apariencia visual, la forma, la composición de formas geométricas, dimensiones o similares, que se utiliza para obtener la transformación de calibración. Preferentemente, se selecciona el objeto de calibración más adecuado.

Como otra alternativa más, si la transformación de calibración se obtiene utilizando tanto la primera imagen como la segunda imagen, basándose en imágenes de la córnea, el HMD 100 puede ser operativo para seleccionar el objeto de calibración basándose en una distorsión del objeto de calibración en la segunda imagen, en comparación con la primera imagen. Una distorsión del objeto de calibración en la segunda imagen se puede deber al reflejo de la córnea 123, que tiene forma esférica y puede sufrir imperfecciones en la superficie exterior de la córnea 123, y desgarros o suciedad en la superficie exterior de la córnea 123. Además, el elemento óptico de1HMD 100, a través del cual el usuario ve la escena del mundo real, puede contribuir a la distorsión de la segunda imagen. Preferentemente, el objeto con la menor distorsión se selecciona para facilitar la obtención de la transformación de calibración.

Las realizaciones de la invención también pueden seleccionar como objeto de calibración un dispositivo de comunicaciones entre uno o más objetos del mundo real, tal como la tableta 130 mostrada en las figuras 1 y 2, un teléfono inteligente, un teléfono móvil, una pantalla de ordenador, un televisor o similares. Con este fin, e1HMD 100 puede comprender una interfaz 105 de comunicaciones inalámbricas, que puede estar basada en cualquier tecnología de comunicaciones inalámbricas conocida. Por ejemplo, la interfaz 105 de comunicaciones inalámbricas puede estar basada en una tecnología de radio de corto alcance tal como la Wireless Local Area NetWork (WLAN - Wireless Local Area NetWork, en inglés)/WiFi o Bluetooth, o una tecnología de radio celular, tal como el Sistema global para comunicaciones móviles (GSM - Global System for Mobile Communications, en inglés), el Sistema universal para comunicaciones móviles(UMTS - Universal Mobile Telecommunications System, en inglés), Evolución a largo plazo (LTE - Long Term Evolution, en inglés) o una tecnología 5G basada en NR/NX. Las comunicaciones, es decir, el intercambio de datos, entre el HMD 100 y el dispositivo de comunicaciones, que comprende una interfaz de comunicaciones inalámbricas que es compatible con la interfaz 105 de comunicaciones inalámbricas, pueden comenzar utilizando cualquier protocolo adecuado, por ejemplo, el Protocolo de transferencia de hipertexto (HTTP -HyperText Transfer Protocol, en inglés), el Protocolo de aplicación restringida (CoAP - Constrained Application Protocol, en inglés) o similar.

Más específicamente, el HMD 100 está operativo para seleccionar el objeto de calibración identificando, utilizando la interfaz 105 de comunicaciones inalámbricas, comprendiendo un dispositivo de comunicaciones una pantalla de entre uno o más objetos del mundo real, como la tableta 130, y seleccionando como el objeto de calibración en al menos uno de la pantalla 131 de la tableta 130 y el contenido gráfico 132 mostrado en la misma. La identificación de dispositivos de comunicaciones inalámbricas entre uno o más objetos del mundo real se puede lograr, por ejemplo, confiando en un procedimiento de descubrimiento tal como se conoce de Bluetooth y otras tecnologías de comunicaciones inalámbricas. Como parte del procedimiento de descubrimiento, o después del procedimiento de descubrimiento, el HMD 100 puede estar operativo para establecer comunicaciones inalámbricas con el dispositivo de comunicaciones identificado y/o para obtener información sobre un tipo de dispositivo de comunicaciones o sus capacidades, en particular, información perteneciente a su pantalla 131. La utilización de un dispositivo de comunicaciones con una pantalla, tal como una tableta 130, como objeto de calibración, es ventajoso porque una pantalla suele ser fácil de identificar mediante el procesamiento de toma de imágenes y el reconocimiento de objetos, debido a su forma geométrica simple y alto contraste, si es suficientemente brillante.

Una ventaja adicional de utilizar un dispositivo de comunicaciones que comprende una pantalla como objeto de calibración es que la información relativa al contenido gráfico que se muestra en la pantalla del dispositivo de comunicaciones durante el procedimiento de calibración puede ser intercambiada entre e1HMD 100 y el dispositivo de comunicaciones. El contenido gráfico mostrado puede ser, por ejemplo, un patrón de calibración dedicado que se caracteriza por un alto contraste y está compuesto de formas geométricas simples (rectángulos, cuadrados, círculos), tal como el tablero de ajedrez 132 mostrado en las figuras 1 y 2.

Más específicamente, el HMD 100 puede estar operativo para recibir una representación del contenido gráfico 132 mostrado desde la tableta 130 a través de la interfaz 105 de comunicaciones inalámbricas. Es decir, la tableta 130 informa de lo que se muestra actualmente en la pantalla 131. El contenido gráfico mostrado puede ser cualquier contenido gráfico que actualmente se muestra mediante una o más apps (aplicaciones) que se ejecutan con la tableta 130, pero que puede ser ventajosamente un patrón de calibración dedicado, tal como el tablero de ajedrez 132. La tableta 130 puede estar operativa, por ejemplo, para mostrar un patrón de calibración dedicado en respuesta al establecimiento de comunicaciones con el HMD 100, o en respuesta a recibir una indicación de1HMD 100 de que la calibración está en curso.

Como alternativa, el HMD 100 puede estar operativo para transmitir una instrucción a la tableta 130 a través de la interfaz 105 de comunicaciones inalámbricas, para mostrar el contenido gráfico 132 en la pantalla 131. La instrucción puede ser, por ejemplo, una solicitud, un mensaje o una señal, en respuesta a qué tableta 130 muestra contenido gráfico 132. El contenido gráfico mostrado puede estar predefinido, tal como un patrón de calibración dedicado. Opcionalmente, el HMD 100 puede ser operativo para transmitir una representación del contenido gráfico 132 a la tableta 130 a través de la interfaz 105 de comunicaciones inalámbricas. De esta manera, e1HMD 100 puede controlar los detalles del contenido gráfico que se muestra en la tableta 132, y puede transmitir ventajosamente un patrón de calibración dedicado a la tableta 132. La representación del contenido gráfico puede tener la forma, por ejemplo, de un formato de gráficos por ordenador o un formato de imagen conocido.

El HMD 100 puede ser operativo, además, en respuesta a la selección del objeto de calibración, para adaptar uno o más objetos virtuales visualizados que se superponen al objeto de calibración seleccionado, tal como lo ve el usuario con los ojos 122. Esto es particularmente ventajoso si se emplea un método de calibración basado en la toma de imágenes corneales, por ejemplo, tal como se describe en el documento “Hybrid Eye Tracking: Combining Iris Contorur and Corneal Imaging”, por A. Plopski, C. Nitschke, K. Kiyokawa, D. Schmalstieg y H. Takemura, International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments, The Eurographics Association, 2015). De este modo, se evita que el objeto de calibración quede oculto por un objeto virtual visualizado, lo que puede inhibir el procedimiento de calibración.

El HMD 100 puede estar operativo, además, en respuesta a la selección del objeto de calibración, para notificar al usuario que la calibración está en curso. Opcionalmente, el HMD 100 puede estar operativo para notificar al usuario que la calibración está en curso mostrando un marcador 250 en la pantalla 101 para identificar el objeto de calibración seleccionado, en este caso la casilla 133, para el usuario. De este modo, se puede solicitar al usuario que mire en la dirección del objeto de calibración seleccionado, o que adapte su movimiento para facilitar el procedimiento de calibración. Alternativamente, se puede solicitar al usuario que cambie la postura de su cabeza para minimizar una distorsión del objeto de calibración seleccionado en la segunda imagen, si se utiliza un procedimiento de calibración que se basa en imágenes de la córnea, o que se acerque al objeto de calibración seleccionado.

Una vez que se ha obtenido la transformación de calibración, se puede almacenar una representación de la transformación de calibración obtenida, como una matriz u otra representación matemática adecuada en formato electrónico, en una memoria del HMD 100 (tal como la memoria 303 que se muestra en la figura 3) y posteriormente utilizada para mostrar objetos virtuales de una manera que proporcione una experiencia inmersiva del usuario. Con este fin, el HMD 100 puede estar operativo para recibir una instrucción para visualizar un objeto virtual. La instrucción puede ser recibida, por ejemplo, de una aplicación de AR que es ejecutada por e1HMD 100, o de una aplicación de AR que utiliza el HMD 100 para desaplicar objetos virtuales al usuario. Por ejemplo, e1HMD 100 puede estar conectado, bien por cable o de manera inalámbrica, utilizando cualquier protocolo adecuado, por ejemplo, HTTP o CoAP, a un dispositivo informático tal como un ordenador, un ordenador portátil, un teléfono inteligente, una tableta o una consola de juegos, ejecutando la aplicación de AR. La instrucción recibida comprende una posición en el mundo real correspondiente del objeto virtual cuando se muestra al usuario, es decir, una posición en el mundo real en la que el objeto virtual parece estar colocado cuando se muestra al usuario (visto con los ojos 122) en la pantalla 101. El HMD 100 también es operativo para calcular una posición de visualización del objeto virtual aplicando la transformación de calibración a la posición recibida en el mundo real, y para visualizar el objeto virtual en la posición de visualización calculada en la pantalla 101.

A continuación, se describen realizaciones de los medios de procesamiento 104 comprendidos en e1HMD 100, con referencia a las figuras 3 y 4.

En la figura 3 se muestra una realización 300 de los medios de procesamiento 104. Los medios de procesamiento 300 comprenden una unidad de procesamiento 302, tal como un procesador de propósito general o un circuito de procesamiento, y un medio de almacenamiento legible por ordenador 303, tal como una memoria de acceso aleatorio (RAM - Random Access Memory, en inglés), una memoria Flash o similar. Además, el medio de procesamiento 300 comprende una o más interfaces 301 (“E/S” en la figura 3) para controlar y/o recibir información de otros componentes incluidos en el HMD 100, tal como la pantalla 101, la cámara frontal 102, la cámara 103 orientada hacia los ojos, la interfaz 105 de comunicaciones inalámbricas y uno o más sensores de movimiento 106, algunos de los cuales pueden ser opcionales. La memoria 303 contiene instrucciones 304 ejecutables por un ordenador, es decir, un programa o software informático, para hacer que el HMD 100 entre en funcionamiento según las realizaciones de la invención, tal como se describe en el presente documento, cuando las instrucciones 304 ejecutables por un ordenador son ejecutadas en la unidad de procesamiento 302.

Una realización alternativa 400 del medio de procesamiento 104 se ilustra en la figura 4. De manera similar al medio de procesamiento 300, el medio de procesamiento 400 comprende una o más interfaces 401 (“E/S” en la figura 4) para controlar y/o recibir información de otros componentes comprendidos en el HMD 100, tales como la pantalla 101, la cámara frontal 102, la cámara 103 orientada hacia los ojos, la interfaz 105 de comunicaciones inalámbricas y uno o más sensores de movimiento 106, algunos de los cuales pueden ser opcionales. El medio de procesamiento 400 comprende, además, un módulo de selección 402, un módulo de calibración 403, un módulo de activación opcional 404 y un módulo de visualización opcional 405, que están configurados para hacer que e1HMD 100 entre en funcionamiento según realizaciones de la invención, tal como se describe en el presente documento.

En particular, el módulo de selección 402 está configurado para seleccionar un objeto de calibración de entre uno o más objetos del mundo real, o partes de los mismos, que son visibles en una primera imagen de una escena del mundo real, cuya primera imagen es capturada por una cámara frontal comprendida en el dispositivo de visualización. El módulo de calibración 403 está configurado para obtener una transformación de calibración para calcular una posición de visualización basándose en una posición del mundo real, de tal manera que un objeto virtual que se visualiza en la posición de visualización en una pantalla al menos parcialmente transparente que está comprendida en el dispositivo de visualización está alineado con un objeto del mundo real correspondiente situado en la posición del mundo real, tal como lo ve el usuario.

Por ejemplo, el módulo de selección 402 puede estar configurado para seleccionar el objeto de calibración de uno o más objetos del mundo real, o partes de los mismos, que son visibles tanto en la primera imagen como en una segunda imagen de un reflejo de la escena del mundo real por parte de una córnea del usuario, cuya segunda imagen es capturada por una cámara orientada hacia los ojos incluida en el dispositivo de visualización. El módulo de calibración 403 puede estar configurado para obtener la transformación de calibración utilizando la primera imagen y la segunda imagen.

Alternativamente, el módulo de selección 402 puede estar configurado para seleccionar el objeto de calibración de uno o más objetos del mundo real, o partes de los mismos, que son visibles en una región de la primera imagen que corresponde a un campo de visión de la cámara orientada hacia los ojos.

Como otra alternativa, el módulo de selección 402 puede estar configurado para seleccionar el objeto de calibración basándose en una distorsión del objeto de calibración en la segunda imagen en comparación con la primera imagen.

Como alternativa adicional, el módulo de selección 402 puede estar configurado para seleccionar el objeto de calibración basándose en una apariencia visual del objeto de calibración.

Como otra alternativa más, el módulo de selección 402 puede estar configurado para seleccionar un objeto de calibración previamente seleccionado de entre uno o más objetos del mundo real como el objeto de calibración.

Como otra alternativa más, el módulo de selección 402 puede estar configurado, además, para rastrear un movimiento del dispositivo de visualización utilizando uno o más sensores de movimiento incluidos en el dispositivo de visualización, estimar, basándose en el movimiento de rastreo del dispositivo de visualización, una duración del tiempo durante el cual uno o más objetos del mundo real permanecen visibles en la primera imagen, y seleccionar el objeto de calibración basándose en la duración estimada del tiempo durante el cual el objeto de calibración permanece visible en la primera imagen.

Como otra alternativa más, el módulo de selección 402 puede estar configurado para seleccionar el objeto de calibración identificando uno o más objetos del mundo real haciendo coincidir las características visuales de uno o más objetos del mundo real con información perteneciente a las características visuales de los objetos del mundo real que está almacenada en una base de datos, y seleccionar el objeto de calibración basándose en la información obtenida de la base de datos, cuya información indica una idoneidad respectiva de los objetos identificados del mundo real, o partes de los mismos, como objeto de calibración.

Como otra alternativa más, el módulo de selección 402 puede estar configurado para seleccionar el objeto de calibración identificando, utilizando una interfaz de comunicaciones inalámbricas comprendida en el dispositivo de visualización, comprendiendo un dispositivo de comunicaciones una pantalla entre uno o más objetos del mundo real, y seleccionar como objeto de calibración, al menos uno de la pantalla del dispositivo de comunicaciones y el contenido gráfico que se muestra en el mismo. Opcionalmente, el módulo de selección 402 puede estar configurado, además, para recibir una representación del contenido gráfico mostrado desde el dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas. Alternativamente, el módulo de selección 402 puede estar configurado, además, para transmitir una instrucción al dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas, para mostrar el contenido gráfico en la pantalla del dispositivo de comunicaciones. Opcionalmente, el módulo de selección 402 puede estar configurado, además, para transmitir una representación del contenido gráfico al dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas.

El módulo de activación 404 opcional puede estar configurado para accionar, seleccionando el objeto de calibración mediante el módulo de selección 402, y obtener la transformación de calibración mediante el módulo de calibración 403 en respuesta a cualquiera de: recibir del usuario una instrucción para iniciar un procedimiento de calibración, encender el dispositivo de visualización, detectar una desalineación de un objeto virtual mostrado en relación con la escena del mundo real, detectar que el usuario es diferente de un usuario anterior del dispositivo de visualización, detectar que el dispositivo de visualización se ha desplazado con respecto a al menos un ojo del usuario, y detectar que cualquiera de la pantalla 101, la cámara frontal 102 y la cámara orientada hacia los ojos 102 se ha desplazado con respecto al dispositivo de visualización.

El módulo de visualización 405 opcional puede estar configurado, en respuesta a la selección del objeto de calibración mediante el módulo de selección 402, para adaptar uno o más objetos virtuales visualizados que se superponen al objeto de calibración seleccionado, tal como lo ve el usuario.

Opcionalmente, el módulo de selección 402 puede estar configurado, además, en respuesta a la selección del objeto de calibración, para notificar al usuario que la calibración está en curso. Opcionalmente, se notifica al usuario que la calibración está en curso mostrando un marcador en la pantalla para identificar al usuario el objeto de calibración seleccionado.

El módulo de visualización 405 opcional puede estar configurado, además, para recibir una instrucción para mostrar un objeto virtual, comprendiendo la instrucción una posición correspondiente en el mundo real del objeto virtual cuando se muestra al usuario, calcular una posición de visualización del objeto virtual aplicando la transformación de calibración obtenida por el módulo de calibración 403 a la posición recibida en el mundo real, y visualizar el objeto virtual en la posición de visualización calculada en la visualización.

Los módulos 402-405 comprendidos en el medio de procesamiento 400 pueden estar configurados, además, para realizar operaciones adicionales o alternativas según realizaciones de la invención, tal como se describe en el presente documento.

Las interfaces 301 y 401, y los módulos 402-405, así como cualquier módulo adicional comprendido en el medio de procesamiento 400, pueden estar implementadas mediante cualquier tipo de circuito electrónico, por ejemplo, cualquiera o una combinación de circuitos electrónicos analógicos, circuitos electrónicos digitales y medios de procesamiento que ejecutan un programa informático adecuado, es decir, software.

A continuación, las realizaciones 500 del método realizado por un dispositivo de visualización montado en la cabeza que está configurado para ser utilizado por un usuario, se describen con referencia a la figura 5.

El método 500 comprende seleccionar 504 un objeto de calibración de uno o más objetos del mundo real, o partes de los mismos, que son visibles en una primera imagen de una escena del mundo real, cuya primera imagen está capturada por una cámara frontal incluida en el dispositivo de visualización, y obtener 507 una transformación de calibración para calcular una posición de visualización basándose en una posición del mundo real, de tal manera que un objeto virtual que se visualiza en la posición de visualización en una pantalla al menos parcialmente transparente que está comprendida en el dispositivo de visualización está alineado con un objeto del mundo real correspondiente situado en la posición del mundo real, tal como lo ve el usuario.

Por ejemplo, el objeto de calibración puede ser seleccionado 504 de entre uno o más objetos del mundo real, o partes de los mismos, que son visibles tanto en la primera imagen como en una segunda imagen de un reflejo de la escena del mundo real por parte de una córnea del usuario, cuya segunda imagen es capturada por una cámara orientada hacia los ojos incluida en el dispositivo de visualización, y la transformación de calibración puede ser obtenida 507 utilizando la primera imagen y la segunda imagen.

Alternativamente, el objeto de calibración puede ser seleccionado 504 de entre uno o más objetos del mundo real, o partes de los mismos, que son visibles en una región de la primera imagen que corresponde a un campo de visión de la cámara orientada hacia los ojos.

Como otra alternativa, el objeto de calibración puede ser seleccionado 504 basándose en una distorsión del objeto de calibración en la segunda imagen en comparación con la primera imagen.

Como alternativa adicional, el objeto de calibración puede ser seleccionado 504 basándose en una apariencia visual del objeto de calibración.

Como otra alternativa más, un objeto de calibración seleccionado previamente de entre uno o más objetos del mundo real puede ser seleccionado 504 como el objeto de calibración.

Como otra alternativa más, el método 500 puede comprender, además, rastrear 502 un movimiento del dispositivo de visualización utilizando uno o más sensores de movimiento incluidos en el dispositivo de visualización, y estimar 503, basándose en el movimiento de rastreo del dispositivo de visualización, una duración del tiempo durante el que el uno o más objetos del mundo real permanecen visibles en la primera imagen. El objeto de calibración se selecciona 504 basándose en la duración estimada de tiempo durante el cual el objeto de calibración permanece visible en la primera imagen.

Como otra alternativa más, la selección 504 del objeto de calibración puede comprender identificar uno o más objetos del mundo real haciendo coincidir las características visuales de uno o más objetos del mundo real con la información relativa a las características visuales de los objetos del mundo real que está almacenada en una base de datos, y seleccionar el objeto de calibración basándose en la información obtenida de la base de datos, cuya información indica una idoneidad respectiva de los objetos identificados del mundo real, o partes de los mismos, como objeto de calibración.

Como otra alternativa más, seleccionar 504 el objeto de calibración puede comprender identificar, utilizando una interfaz de comunicaciones inalámbricas comprendida en el dispositivo de visualización, un dispositivo de comunicaciones que comprende una visualización entre uno o más objetos del mundo real, y seleccionar como el objeto de calibración al menos uno de la pantalla del dispositivo de comunicaciones y el contenido gráfico que se muestra en el mismo. Opcionalmente, seleccionar 504 el objeto de calibración puede comprender, además, recibir una representación del contenido gráfico mostrado desde el dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas. Alternativamente, seleccionar 504 el objeto de calibración puede comprender, además, transmitir una instrucción al dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas, para mostrar el contenido gráfico en la pantalla del dispositivo de comunicaciones. Opcionalmente, seleccionar 504 el objeto de calibración puede comprender, además, transmitir una representación del contenido gráfico al dispositivo de comunicaciones a través de la interfaz de comunicaciones inalámbricas.

Opcionalmente, el objeto de calibración se selecciona 504 y la transformación de calibración se obtiene 507 en respuesta a que la calibración se active 501 mediante cualquiera de: recibir del usuario una instrucción para iniciar un procedimiento de calibración, encender el dispositivo de visualización, detectar una desalineación de un objeto virtual mostrado en relación con la escena del mundo real, detectar que el usuario es diferente de un usuario anterior del dispositivo de visualización, detectar que el dispositivo de visualización ha sido desplazado en relación con al menos un ojo del usuario, y detectar que cualquiera de la pantalla 101, la cámara frontal 102 y la cámara 103 orientada hacia los ojos, se ha desplazado con respecto al dispositivo de visualización.

Opcionalmente, el método 500 puede comprender, además, en respuesta a la selección 504 del objeto de calibración, adaptar 505 uno o más objetos virtuales visualizados que se superponen al objeto de calibración seleccionado, tal como lo ve el usuario.

Opcionalmente, el método 500 puede comprender, además, en respuesta a la selección 504 del objeto de calibración, notificar 506 al usuario que la calibración está en curso. Opcionalmente, se notifica al usuario 506 que la calibración está en curso mostrando un marcador en la pantalla para identificar al usuario el objeto de calibración seleccionado.

Opcionalmente, el método 500 puede comprender, además, recibir 508 una instrucción para mostrar un objeto virtual, comprendiendo la instrucción una posición correspondiente en el mundo real del objeto virtual cuando se muestra al usuario, calcular 509 una posición de visualización del objeto virtual aplicando la transformación de calibración a la posición recibida en el mundo real, y visualizar 510 el objeto virtual en la posición de visualización calculada, en la pantalla.

Se apreciará que el método 500 puede comprender etapas adicionales o modificadas según lo que se describe a lo largo de esta descripción. Una realización del método 500 puede ser implementada como software, tal como un programa informático 304, para ser ejecutado por una unidad de procesamiento comprendida en un dispositivo de visualización montado en la cabeza, por lo que el dispositivo de visualización se vuelve operativo según las realizaciones de la invención descrita en este documento. El programa informático 304 puede estar almacenado en un medio de almacenamiento legible por ordenador, tal como una memoria 303, un disco compacto (CD - Compact Disc, en inglés), un disco versátil digital (DVD - Digital Verstile Disc, en inglés), un lápiz de memoria o similar. El programa informático 304 también puede ser transportado por una señal portadora de datos. Por ejemplo, el programa informático 304 puede ser transferido a la memoria 303 a través de una red de comunicaciones, tal como Internet, a través de la interfaz 105 de comunicaciones inalámbricas.

El experto en la técnica se da cuenta de que la invención no está limitada en modo alguno a las realizaciones descritas anteriormente. Por el contrario, son posibles muchas modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Un dispositivo de visualización montado en la cabeza (100), configurado para ser utilizado por un usuario (121), comprendiendo el dispositivo de visualización:

una pantalla (101), al menos parcialmente transparente,

una cámara frontal (102), operativa para capturar una primera imagen de una escena del mundo real, una cámara (103) orientada hacia los ojos, operativa para capturar una segunda imagen de un reflejo de la escena del mundo real por parte de una córnea (123) del usuario, y

medios de procesamiento (104), operativos para:

seleccionar un objeto de calibración de entre uno o más objetos del mundo real, o partes de los mismos, (130 135) que son visibles tanto en la primera imagen como en la segunda imagen, y

obtener una transformación de calibración para calcular una posición de visualización basada en una posición del mundo real, utilizando la primera imagen y la segunda imagen y utilizando el objeto del mundo real seleccionado que es visible tanto en la primera imagen como en la segunda imagen, de tal manera que un objeto virtual que se muestra en la pantalla en la posición de visualización está alineado con un objeto del mundo real correspondiente situado en la posición del mundo real, tal como lo ve el usuario.

2. El dispositivo de visualización según la reivindicación 1, siendo los medios de procesamiento operativos para seleccionar el objeto de calibración de ente uno o más objetos del mundo real, o partes de los mismos, que son visibles en una región de la primera imagen que corresponde a un campo de visión (113) de la cámara (103) orientada hacia los ojos.

3. El dispositivo de visualización según la reivindicación 1 o 2, siendo los medios de procesamiento operativos para seleccionar el objeto de calibración basándose en una distorsión del objeto de calibración en la segunda imagen en comparación con la primera imagen.

4. El dispositivo de visualización según las reivindicaciones 1 o 2, siendo operativos los medios de procesamiento para seleccionar el objeto de calibración basándose en una apariencia visual del objeto de calibración.

5. El dispositivo de visualización según la reivindicación 1 o 2, siendo los medios de procesamiento operativos para seleccionar como el objeto de calibración un objeto de calibración previamente seleccionado de entre los uno o más objetos del mundo real.

6. El dispositivo de visualización según la reivindicación 1 o 2, que comprende, además, uno o más sensores de movimiento (106), operativos para rastrear un movimiento del dispositivo de visualización, siendo los medios de procesamiento operativos para:

estimar, basándose en el movimiento de rastreo del dispositivo de visualización, un período de tiempo durante el cual los uno o más objetos del mundo real permanecen visibles en la primera imagen, y seleccionar el objeto de calibración basándose en la duración estimada del tiempo durante el cual el objeto de calibración permanece visible en la primera imagen.

7. El dispositivo de visualización según la reivindicación 1 o 2, siendo los medios de procesamiento operativos para seleccionar el objeto de calibración mediante:

identificar uno o más objetos del mundo real haciendo coincidir las características visuales de los uno o más objetos del mundo real con la información relacionada con las características visuales de los objetos del mundo real que está almacenada en una base de datos, y

seleccionar el objeto de calibración basándose en la información obtenida de la base de datos, cuya información indica una idoneidad respectiva de los objetos identificados del mundo real, o partes de los mismos, como objeto de calibración.

8. El dispositivo de visualización según la reivindicación 1 o 2, que comprende, además, una interfaz de comunicaciones inalámbricas (105), siendo operativos los medios de procesamiento para seleccionar el objeto de calibración mediante:

identificar, utilizando la interfaz de comunicaciones inalámbricas, un dispositivo de comunicaciones (130) que comprende una pantalla (131), de entre los uno o más objetos del mundo real, y

seleccionar como objeto de calibración al menos uno de la pantalla (131) del dispositivo de comunicaciones y el contenido gráfico (132) que se muestra en el mismo.

9. El dispositivo de visualización según la reivindicación 8, siendo los medios de procesamiento operativos, además, para recibir una representación del contenido gráfico visualizado (132) desde el dispositivo de comunicaciones (130) a través de la interfaz de comunicaciones inalámbricas.

10. El dispositivo de visualización según la reivindicación 8, siendo los medios de procesamiento operativos, además, para transmitir una instrucción al dispositivo de comunicaciones (130) a través de la interfaz de comunicaciones inalámbricas, para visualizar el contenido gráfico (132) en la pantalla (131) del dispositivo de comunicaciones.

11. El dispositivo de visualización según la reivindicación 10, siendo los medios de procesamiento operativos, además, para transmitir una representación del contenido gráfico (132) al dispositivo de comunicaciones (130) a través de la interfaz de comunicaciones inalámbricas.

12. El dispositivo de visualización según una cualquiera de las reivindicaciones 1 a 11, siendo los medios de procesamiento operativos para seleccionar el objeto de calibración y obtener la transformación de calibración en respuesta a una cualquiera de:

recibir del usuario una instrucción para iniciar un procedimiento de calibración,

encender el dispositivo de visualización,

detectar una desalineación de un objeto virtual mostrado en relación con la escena del mundo real,

detectar que el usuario es diferente de un usuario anterior del dispositivo de visualización,

detectar que el dispositivo de visualización se ha desplazado con respecto a al menos un ojo (122) del usuario, y

detectar que una cualquiera de la pantalla (101) y la cámara frontal (102) se ha desplazado con respecto al dispositivo de visualización.

13. El dispositivo de visualización según una cualquiera de las reivindicaciones 1 a 12, siendo los medios de procesamiento operativos, además, en respuesta a la selección del objeto de calibración, para adaptar uno o más objetos virtuales visualizados que se superponen al objeto de calibración seleccionado, tal como lo ve el usuario.

14. El dispositivo de visualización según una cualquiera de las reivindicaciones 1 a 13, siendo los medios de procesamiento operativos, además, en respuesta a la selección del objeto de calibración, para notificar al usuario que la calibración está en curso.

15. El dispositivo de visualización según la reivindicación 14, siendo los medios de procesamiento operativos para notificar al usuario que la calibración está en curso mostrando un marcador (250) en la pantalla para identificar al usuario el objeto de calibración seleccionado.

16. El dispositivo de visualización según una cualquiera de las reivindicaciones 1 a 15, siendo los medios de procesamiento operativos, además, para:

recibir una instrucción para mostrar un objeto virtual, comprendiendo la instrucción una posición en el mundo real correspondiente del objeto virtual cuando se muestra al usuario,

calcular una posición de visualización del objeto virtual aplicando la transformación de calibración a la posición recibida en el mundo real, y

mostrar el objeto virtual en la posición de visualización calculada, en la pantalla.

17. Un método (500) realizado por un dispositivo de visualización montado en la cabeza, configurado para ser utilizado por un usuario, comprendiendo el método:

seleccionar (504) un objeto de calibración de entre uno o más objetos del mundo real, o partes de los mismos, que son visibles tanto en una primera imagen como en una escena del mundo real, cuya primera imagen capturada por una cámara frontal comprendida en el dispositivo de visualización y una segunda imagen de un reflejo de la escena del mundo real por parte de una córnea del usuario, cuya segunda imagen es capturada por una cámara orientada hacia los ojos incluida en el dispositivo de visualización, y

obtener (507) una transformación de calibración para calcular una posición de visualización basándose en una posición del mundo real, utilizando la primera imagen y la segunda imagen y utilizando el objeto del mundo real seleccionado que es visible tanto en la primera imagen como en la segunda imagen, tal que un objeto virtual que se visualiza en la posición de visualización en una pantalla al menos parcialmente transparente que está comprendida en el dispositivo de visualización, está alineado con un objeto del mundo real correspondiente situado en la posición del mundo real, tal como lo ve el usuario.

18. Un programa informático (304), que comprende instrucciones ejecutables por un ordenador para hacer que un dispositivo de visualización montado en la cabeza realice el método según la reivindicación 17, cuando las instrucciones ejecutables por un ordenador se ejecutan en una unidad de procesamiento (302) comprendida en el dispositivo de visualización.

19. Un medio de almacenamiento legible por ordenador (303) que tiene almacenado en el mismo el programa informático (304) según la reivindicación 18.