ES2916408T3 - Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario - Google Patents

Abstract

Un método en un sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario que comprende: determinar (110) datos de calibración en relación con la distancia interpupilar (x) entre una pupila de un ojo izquierdo y una pupila de un ojo derecho de un usuario; determinar (120), basándose en los datos de calibración determinados, una función de convergencia de mirada (f(x)) que proporciona una distancia de convergencia de mirada aproximada del usuario basándose en una distancia interpupilar determinada del usuario; recibir (130), de uno o más dispositivos (520) de formación de imágenes, una o más imágenes del ojo izquierdo y el ojo derecho del usuario; determinar (140) una distancia interpupilar actual del usuario basándose en la una o más imágenes; y determinar (150) una distancia de convergencia de mirada aproximada actual basándose en la distancia interpupilar actual y la función de convergencia de mirada, caracterizado por que: el método comprende además capturar la una o más imágenes usando el uno o más dispositivos de formación de imágenes y uno o más espejos holográficos (510), teniendo cada espejo holográfico un ángulo de reflexión que varía a través de su superficie, de manera que con una posición predefinida de un dispositivo de formación de imágenes correspondiente del uno o más dispositivos de formación de imágenes, la ampliación de una representación de un objeto en una imagen capturada es constante a lo largo de la distancia de los ojos del usuario al dispositivo de formación de imágenes correspondiente; y por que los datos de calibración comprenden una aproximación del diámetro del globo ocular de los ojos del usuario.

Description

DESCRIPCIÓN

Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario

Campo técnico

La presente descripción se refiere en general al campo de seguimiento ocular. En particular, la presente descripción se refiere a un método y sistema que proporcionan una distancia de convergencia de mirada aproximada de un usuario.

Antecedentes

En algunas aplicaciones que incluyen seguimiento ocular/de mirada, tales como aplicaciones de virtual reality (realidad virtual - VR) y de augmented reality (realidad aumentada - AR), una distancia de convergencia de mirada es una entrada importante desde un sistema de seguimiento ocular.

Cuando se determina una distancia de convergencia de mirada en sistemas de seguimiento ocular conocidos, se calcula un vector de mirada de un ojo derecho y un vector de mirada de un ojo izquierdo en el sistema de seguimiento ocular y se calcula la intersección entre estos vectores para determinar la distancia de convergencia. Los problemas surgen con esta forma de determinar la distancia de convergencia en que los vectores de mirada en relación con los ojos incluirán ruido de tamaño variable. Además, los pequeños errores de ángulo en los vectores de mirada darán como resultado un gran error en la distancia de convergencia de mirada.

US 2008/181452A1 describe un sistema de interacción tridimensional (3D) basado en la mirada, así como un sistema de seguimiento de mirada 3D. La dirección de la mirada se determina mediante el uso de la imagen de un ojo del operador que mira a una imagen en 3D, mientras que la profundidad de mirada está determinada por la distancia entre los centros de la pupila de ambos ojos del operador mostrados en una imagen de ambos ojos del operador.

WO2018/029389A1 se refiere a un instrumento binocular optoelectrónico para la corrección de la presbicia. Usando el seguimiento de la pupila, realizado procesando las imágenes del ojo, el sistema puede determinar la profundidad a la que el sujeto está mirando.

US2013/076884A1 describe un método para estimar la distancia interpupilar de una persona, que incluye: una fase de adquisición de datos que utiliza un movimiento predefinido de la persona delante de una cámara; una fase de cálculo de parámetros morfológicos y dimensionales basado en los datos adquiridos.

US2015/237336A1 describe un método para mostrar imágenes virtuales en un sistema de visualización estereoscópica que tiene una matriz de visualización. Las imágenes virtuales presentan una superficie de lugares individualmente representables visibles para un ojo del usuario. Para cada lugar de la superficie visible, se forma una imagen virtual. La imagen virtual rastrea el cambio en la posición de la pupila del usuario.

US2017/082858A1 describe ejemplos de un sistema de formación de imágenes para su uso con una head mounted display (pantalla montada en la cabeza - HMD). El sistema de formación de imágenes puede incluir una cámara de formación de imágenes orientada hacia adelante y una superficie de una pantalla del HMD puede incluir un diffractive optical element (elemento óptico difractivo - DOE) fuera del eje o un espejo caliente configurado para reflejar la luz a la cámara de formación de imágenes.

Resumen

Un objeto de la presente descripción es abordar los problemas de los sistemas y métodos conocidos.

Según un primer aspecto de la presente invención, se proporciona un método en un sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario como se establece en la reivindicación adjunta 1.

El aspecto se basa al menos en parte en una idea de que una distancia de convergencia aproximada para los ojos de un usuario puede determinarse como una función de la distancia interpupilar del usuario y que determinar la distancia de convergencia basándose en la distancia interpupilar es menos sensible al ruido al menos para algunos intervalos de distancia de convergencia que la determinación de la distancia de convergencia basándose en los vectores de mirada determinados de los ojos del usuario.

Las ventajas del aspecto son, por ejemplo, mediciones de distancia de convergencia robustas y un bajo uso de energía.

La expresión distancia de convergencia de mirada se usa en este punto para describir una distancia desde un punto en relación con los ojos de un usuario hasta un punto donde el usuario se está enfocando actualmente. El punto en relación con los ojos del usuario podría ser, por ejemplo, un punto medio entre los centros de rotación de los ojos del usuario.

La expresión datos de calibración se usa en este punto para referirse a datos para calibrar un método a un usuario específico, un sistema de seguimiento ocular específico y/u otros factores variables. Por ejemplo, la distancia interpupilar para los usuarios que se enfocan en una profundidad específica de campo difiere entre usuarios debido a la diferente anatomía de los usuarios. Además, dependiendo del tipo de sistema y de otros factores, se diferirá la longitud entre los ojos de un usuario y los dispositivos de formación de imágenes utilizados para capturar imágenes usadas en el método. Los datos de calibración requeridos generalmente diferirán dependiendo de la función de convergencia de mirada utilizada.

La distancia de convergencia de mirada aproximada del usuario puede emplearse para determinar un punto de mirada actual del usuario.

Se aprecia que, determinar los datos de calibración en relación con la distancia interpupilar entre una pupila de un ojo izquierdo y una pupila de un ojo derecho de un usuario puede realizarse por medio de la recuperación de aproximaciones generales o por medio de la realización de mediciones o una combinación de las mismas. Las aproximaciones generales pueden estar basadas en datos promedio para ojos humanos y pueden depender de la aplicación y/o sistema específico en el que se implementa el método. Las mediciones realizadas pueden estar en relación con los ojos de un usuario específico.

En realizaciones, determinar los datos de calibración comprende recibir, desde el uno o más dispositivos de formación de imágenes, una o más imágenes de calibración del ojo izquierdo y el ojo derecho del usuario cuando el usuario está enfocando a una profundidad de campo conocida, es decir, una distancia de convergencia conocida, y determinar una distancia interpupilar entre la pupila del ojo izquierdo y la pupila del ojo derecho para la profundidad de campo conocida basándose en la una o más imágenes de calibración. En tales realizaciones, los datos de calibración comprenden la profundidad de campo conocida en combinación con la distancia interpupilar para la profundidad de campo conocida. Determinar la distancia interpupilar para una profundidad de campo conocida para un usuario proporcionará datos de calibración en relación con el usuario específico que pueden usarse para adaptar el método en relación con el usuario específico. Al determinar la distancia interpupilar para una profundidad de campo conocida, habrá una distancia interpupilar para la cual se conocerá la profundidad de campo, es decir, la distancia de convergencia. Esto puede usarse, por ejemplo, en aplicaciones donde una distancia de convergencia específica es de particular interés, de modo que la profundidad de campo conocida usada en la calibración se establece a la distancia de convergencia específica.

En realizaciones adicionales, la función de convergencia de mirada puede definirse como una función binaria que tiene un primer valor para distancias interpupilares por encima de un valor umbral y un segundo valor para distancias interpupilares por debajo del valor umbral. Como cada distancia interpupilar corresponderá a una distancia de convergencia real respectiva, el valor umbral para la distancia interpupilar corresponderá a una distancia de convergencia umbral real. Tales realizaciones pueden usarse, por ejemplo, cuando es suficiente determinar si la distancia de convergencia de mirada es más larga o más corta que una distancia de convergencia umbral correspondiente a una distancia interpupilar umbral. Si se determina que una distancia interpupilar actual es más corta que el umbral, se determina que la distancia de convergencia actual es más corta que la distancia de convergencia umbral. De manera similar, si se determina que una distancia interpupilar actual es más larga que el umbral, se determina que la distancia de convergencia actual es más larga que la distancia de convergencia umbral.

Si las realizaciones donde la función de convergencia de mirada se define como una función binaria se combinan con realizaciones donde los datos de calibración comprenden la profundidad de campo conocida en combinación con la distancia interpupilar para la profundidad de campo conocida, la distancia interpupilar determinada para la profundidad de campo conocida puede seleccionarse como el valor umbral. La función binaria podría especificar, a continuación, si una distancia de convergencia actual es más larga que la profundidad de campo conocida para una distancia interpupilar actual que es más larga que el valor umbral y más corta que la profundidad de campo conocida para una distancia interpupilar actual más corta que el valor umbral. La profundidad de campo conocida puede seleccionarse, por ejemplo, en relación con una aplicación y/o sistema específico en el que se implementa el método. Por ejemplo, las realizaciones pueden usarse cuando se debe usar un modo de un sistema cuando la distancia de convergencia actual es más larga que un valor umbral y se debe usar un modo diferente cuando la distancia de convergencia actual es más corta que el valor umbral.

En realizaciones adicionales, la función de convergencia de mirada puede expandirse para incluir valores umbral adicionales, de modo que la función de convergencia de mirada se define como que tiene un primer valor para distancias interpupilares más cortas que un primer valor umbral y un segundo valor para distancias interpupilares más largas que el primer valor umbral pero más corto que un segundo valor umbral. La función de convergencia de mirada tiene además un tercer valor para distancias interpupilares más largas que el segundo valor umbral. Como cada distancia interpupilar corresponderá a una distancia de convergencia real respectiva, el primer valor umbral y el segundo valor umbral para la distancia interpupilar corresponderán a distancias de convergencia umbral reales. Tales realizaciones pueden usarse, por ejemplo, cuando es suficiente determinar si la distancia de convergencia de mirada está dentro de un intervalo de distancia de convergencia correspondiente a un intervalo de distancia interpupilar, tal como más corto que el primer valor umbral, más largo que el segundo valor umbral, y entre el primer valor umbral y el segundo valor umbral. Por ejemplo, las realizaciones pueden usarse cuando se deben usar diferentes modos de un sistema cuando la distancia de convergencia actual está dentro de diferentes intervalos.

En algunas realizaciones, la profundidad de campo conocida se selecciona cerca del infinito, de modo que las direcciones de mirada desde el ojo izquierdo y derecho son sustancialmente paralelas y la distancia interpupilar puede aproximarse como la distancia interocular. La distancia interpupilar puede aproximarse como la distancia interocular cuando el usuario está mirando al infinito, es decir, las direcciones de mirada del ojo izquierdo y derecho son paralelas, o sustancialmente paralelas, entre sí. La distancia interocular es la distancia entre el centro de rotación del globo ocular de los ojos, que generalmente es la misma que la distancia entre el centro de rotación de las pupilas cuando las direcciones de mirada de los ojos son paralelas, es decir, el usuario está mirando al infinito.

Según la presente invención, los datos de calibración comprenden una aproximación del diámetro del globo ocular. En los ejemplos no cubiertos por las reivindicaciones, los datos de calibración comprenden además una aproximación de una distancia desde el dispositivo de formación de imágenes hasta al menos uno de los ojos. Es suficiente tener conocimiento de la distancia desde el dispositivo de formación de imágenes hasta al menos uno de los ojos para obtener una precisión decente. Sin embargo, para mejorar la precisión en su lugar, los datos de calibración pueden comprender la posición del centro de rotación del globo ocular en relación con el dispositivo de formación de imágenes para el ojo izquierdo y para el ojo derecho en lugar de una distancia del dispositivo de formación de imágenes a al menos uno del ojo. En un ejemplo, los datos de calibración también pueden comprender la distancia interocular. Pueden determinarse aproximaciones basándose en valores medios de distancia interocular, el diámetro del globo ocular, el centro de rotación sobre una población y en una aproximación de la distancia desde el dispositivo de formación de imágenes a las pupilas para el sistema de seguimiento ocular específico en el que se implementa el método. Además, una posición aproximada del centro de rotación en relación con el dispositivo de formación de imágenes para el ojo izquierdo y para el ojo derecho puede determinarse a partir de un tamaño del iris y del diámetro del globo ocular.

Según la presente invención, el método para proporcionar una distancia de convergencia de mirada aproximada comprende capturar la una o más imágenes usando el uno o más dispositivos de formación de imágenes y uno o más espejos holográficos que tiene cada uno un ángulo de reflexión que varía a través de la superficie del espejo holográfico, de modo que con una posición predefinida en relación con ese espejo holográfico de un dispositivo de formación de imágenes correspondiente del uno o más dispositivos de formación de imágenes, la ampliación de un objeto representado en la imagen es constante a lo largo de la distancia de los ojos del usuario al correspondiente dispositivo de formación de imágenes. Mediante el uso de un espejo holográfico, es decir, un área reflectante holográfica, de este tipo, el uno o más dispositivos de formación de imágenes se convierten en dispositivos de formación de imágenes telecéntricos virtuales que tienen un aumento constante con respecto a la distancia del espejo holográfico hacia un objeto representado en la imagen. Un dispositivo de formación de imágenes telecéntrico virtual puede implementarse de diferentes maneras. Común a las diferentes implementaciones es que un dispositivo de formación de imágenes telecéntrico tendrá una pupila de entrada en infinito y producirá imágenes donde la ampliación de una representación de un objeto en una imagen es independiente de la distancia del objeto del dispositivo de formación de imágenes telecéntrico. En tales realizaciones, el método no será sensible a las traslaciones de los ojos del usuario en relación con los dispositivos de formación de imágenes.

En un ejemplo, los datos de calibración también comprenden una aproximación de la distancia interocular. En otro ejemplo, se mide la distancia interocular del usuario, ya que la distancia interpupilar para la profundidad de campo conocida, que está cerca de infinito, es decir, direcciones de mirada desde el ojo izquierdo y derecho, es sustancialmente paralela. Dado que uno o más dispositivos de formación de imágenes junto con el espejo holográfico 510 funciona como dispositivos de formación de imágenes telecéntricos virtuales, serían suficientes aproximaciones de distancia interocular y del diámetro del globo ocular como datos de calibración ya que la ampliación en una imagen producida por un dispositivo de formación de imágenes telecéntrico virtual es independiente de la distancia de los ojos del usuario al dispositivo de formación de imágenes telecéntrico virtual.

En realizaciones, determinar los datos de calibración comprende recibir, desde el uno o más dispositivos de formación de imágenes, una o más primeras imágenes de calibración del ojo izquierdo y el ojo derecho de un usuario cuando el usuario está enfocando en una primera profundidad de campo conocida, es decir, una primera distancia de convergencia conocida, determinar una primera distancia interpupilar entre la pupila del ojo izquierdo y la pupila del ojo derecho basándose en la una o más primeras imágenes de calibración, recibir, desde el uno o más dispositivos de formación de imágenes, una o más segundas imágenes de calibración del ojo izquierdo y el ojo derecho del usuario cuando el usuario está enfocando en una segunda profundidad de campo conocida, es decir, una segunda distancia de convergencia conocida, y determinar una segunda distancia interpupilar entre la pupila del ojo izquierdo y la pupila del ojo derecho basándose en la una o más segundas imágenes de calibración. En tales realizaciones, los datos de calibración comprenden la primera profundidad de campo conocida en combinación con la primera distancia interpupilar y la segunda profundidad de campo conocida en combinación con la segunda distancia interpupilar.

En realizaciones adicionales, la función de convergencia de mirada se define como lineal dentro de un intervalo de distancias interpupilares. Aproximar la convergencia de mirada para que sea una función lineal de la distancia interpupilar puede ser útil dentro de ciertos intervalos de distancias interpupilares. Aunque la relación entre la distancia interpupilar y la distancia de convergencia generalmente no es lineal sobre todo el intervalo de distancias interpupilares correspondientes a cerca de cero a infinito de distancias de convergencia, las aproximaciones lineales pueden ser útiles en intervalos más limitados al menos para ciertas aplicaciones y/o sistemas en los que se implementa el método.

Si se combinan las realizaciones donde la función de convergencia de mirada se define como lineal dentro de un intervalo de distancias interpupilares con realizaciones donde los datos de calibración comprenden la primera profundidad de campo conocida en combinación con la primera distancia interpupilar y la segunda profundidad de campo conocida en combinación con la segunda distancia interpupilar, el intervalo de distancias interpupilares está entre la primera distancia interpupilar para la primera profundidad de campo conocida y la segunda distancia interpupilar para la segunda profundidad de campo conocida, y se establece un valor de la función de convergencia de mirada para la primera distancia interpupilar a la primera profundidad de campo conocida y se establece un valor de la función de convergencia de mirada para la segunda distancia interpupilar a la segunda profundidad de campo conocida. La primera profundidad de campo conocida y la segunda profundidad de campo conocida pueden seleccionarse, por ejemplo, en relación con una aplicación y/o sistema específico en el que se implementa el método.

En realizaciones, determinar una distancia interpupilar actual comprende recibir, desde uno o más dispositivos de formación de imágenes, la una o más imágenes del ojo izquierdo y el ojo derecho del usuario cuando el usuario está enfocando una profundidad de campo actual, y determinar la distancia interpupilar actual entre la pupila del ojo izquierdo y la pupila del ojo derecho para la profundidad de campo actual basándose en la una o más imágenes.

En las realizaciones, el método se realiza en un sistema de seguimiento ocular montado en la cabeza.

Según un segundo aspecto de la presente invención, se proporciona un sistema de seguimiento ocular como se establece en la reivindicación adjunta 10. Dicho sistema de seguimiento ocular puede estar usando una head mounted display (pantalla montada en la cabeza - HMD) para VR o AR que comprende un aparato para mitigar la cinetosis como se describió anteriormente. El aparato puede comprender un receptor para recibir datos de un sensor que indican una orientación actual del HMD en el espacio real. El aparato puede comprender además circuitos de procesamiento para superponer una indicación visual en una pantalla del HMD. La indicación visual proporciona información visual a un usuario de la orientación actual del HMD en el espacio real.

En algunas realizaciones, el receptor está además para recibir datos de una función de seguimiento de mirada que indica un punto de mirada actual del usuario. Además, la indicación visual comprende una región de oclusión que incluye el punto de mirada actual del usuario, de modo que la indicación visual no se describe en la región de oclusión.

Las realizaciones del sistema de rastreo ocular según el segundo aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del método según el primer aspecto.

En las realizaciones, el sistema de seguimiento ocular es un sistema montado en la cabeza.

Según un tercer aspecto de la presente invención, se proporciona uno o más medios de almacenamiento legibles por ordenador como se establece en la reivindicación adjunta 12.

Las realizaciones del uno o más medios de almacenamiento legibles por ordenador según el tercer aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del método según el primer aspecto.

El uno o más medios legibles por ordenador del tercer aspecto pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.

La invención reivindicada se refiere al método para determinar una distancia de convergencia de mirada aproximada y el sistema de seguimiento ocular descrito en relación con las figuras 1 a 7. En consecuencia, cualquier referencia en la descripción a una realización, aspecto o ejemplo en el contexto de las figuras 8a a 12d debería entenderse como una referencia a un ejemplo que no forma parte de la invención reivindicada.

Breve descripción de los dibujos

Estos y otros aspectos se describirán ahora en la siguiente descripción detallada ilustrativa y no limitativa, con referencia a los dibujos adjuntos.

La Figura 1 es un diagrama de flujo de un método para determinar una distancia de convergencia de mirada.

La Figura 2 es un diagrama que muestra un primer ejemplo de una función de convergencia de mirada para proporcionar una distancia de convergencia de mirada aproximada basándose en la distancia interpupilar.

La Figura 3 es un diagrama que muestra un segundo ejemplo de una función de convergencia de mirada para proporcionar una distancia de convergencia de mirada aproximada basándose en la distancia interpupilar.

La Figura 4 es un diagrama que muestra un tercer ejemplo de una función de convergencia de mirada para proporcionar una distancia de convergencia de mirada aproximada basándose en la distancia interpupilar.

La Figura 5 es un diagrama esquemático que muestra un ejemplo de una configuración que usa dispositivos de formación de imágenes telecéntricos virtuales para determinar la distancia interpupilar.

La Figura 6 es un diagrama que muestra un ejemplo de una función para determinar una distancia de convergencia de mirada basándose en la distancia pupilar.

La Figura 7 es otro ejemplo de diagrama de flujo del método para determinar una distancia de convergencia de mirada

La Figura 8a muestra una vista esquemática de un ejemplo de indicación visual en una vista de VR.

Las Figuras 8b y 8c muestran vistas esquemáticas de ejemplos de una diferencia en ángulo entre una dirección vertical de un HMD (cabeza del usuario) en espacio real y una dirección vertical de impresiones visuales de un usuario.

La Figura 9 es un diagrama de flujo de un método para mitigar la cinetosis.

La Figura 10 es un diagrama esquemático de un aparato para mitigar la cinetosis.

La Figura 11 es un diagrama de flujo de un método para la expansión del menú basado en mirada.

Las Figuras 12a-d muestran vistas esquemáticas de un ejemplo de expansión del menú basada en mirada.

Todas las figuras son esquemáticas, no necesariamente a escala, y, generalmente, solo muestran partes que son necesarias para dilucidar el respectivo ejemplo, mientras que otras partes pueden omitirse o simplemente sugerirse.

Descripción detallada

La Figura 1 es un diagrama de flujo de un método para determinar una distancia de convergencia de mirada en un sistema de seguimiento ocular. La distancia de convergencia de mirada describe una distancia desde un punto en relación con los ojos de un usuario hasta un punto donde el usuario está enfocado actualmente. El punto en relación con los ojos del usuario podría ser, por ejemplo, un punto medio entre los centros de rotación de los ojos del usuario. Se determinan 110 los primeros datos de calibración en relación con la distancia interpupilar entre una pupila de un ojo izquierdo y una pupila de un ojo derecho de un usuario. Los datos de calibración se refieren a datos para calibrar un método a un usuario específico, un sistema de seguimiento ocular específico y/u otros factores variables. Por ejemplo, la distancia interpupilar para los usuarios que se enfocan en una profundidad específica de campo difiere entre usuarios debido a la diferente anatomía de los usuarios. Además, dependiendo del tipo de sistema y de otros factores, se diferirá la longitud entre los ojos de un usuario y los dispositivos de formación de imágenes utilizados para capturar imágenes usadas en el método. Los datos de calibración requeridos generalmente diferirán dependiendo de la función de convergencia de mirada utilizada. Determinar los datos de calibración puede realizarse mediante la recuperación de aproximaciones generales o mediante la realización de mediciones o una combinación de las mismas. Las aproximaciones generales pueden estar basadas en datos promedio para ojos humanos y pueden depender de la aplicación y/o sistema específico en el que se implementa el método. Las mediciones realizadas pueden estar en relación con los ojos de un usuario específico. Basándose en los datos de calibración determinados, se determina una función de convergencia de mirada que proporciona una distancia de convergencia de mirada aproximada del usuario basándose en una distancia interpupilar determinada 120 del usuario. La función de convergencia de mirada generalmente diferirá entre aplicación diferente, por ejemplo, debido a una necesidad diferente de la precisión necesaria para la aproximación de la distancia de convergencia y/o para qué deba usarse la distancia de convergencia de mirada aproximada. Para determinar una distancia interpupilar actual, se reciben 130 a continuación una o más imágenes del ojo izquierdo y el ojo derecho del usuario de uno o más dispositivos de formación de imágenes y la distancia interpupilar actual del usuario se determina 140 basándose en la una o más imágenes. A continuación, se determina 150 una distancia de convergencia de mirada aproximada basándose en la distancia interpupilar actual y la función de convergencia de mirada.

Ejemplos de aplicaciones de determinación de la distancia de convergencia de mirada están en sistemas de realidad virtual y de realidad aumentada, así como en gafas graduadas con ajuste automático para la distancia de convergencia, enfoque automático para gafas, etc.

La Figura 2 es un diagrama que muestra un ejemplo de una función de convergencia de mirada f(x) que proporciona una aproximación de una distancia de convergencia de mirada basándose en la distancia interpupilar x. Si los ojos de un usuario se aproximan con esferas con radio r y una distancia más corta entre las esferas xo y la distancia entre los centros de rotación de las esferas x» y las pupilas se aproximan para estar en las superficies de las esferas y apuntan en dirección entre sí cuando la distancia de convergencia de mirada es 0 y son paralelas entre sí cuando la distancia de convergencia es M, a continuación la distancia entre las pupilas a la distancia de convergencia 0 es xo y la distancia entre las pupilas a la distancia de convergencia M es x». En este caso, la distancia de convergencia se mide desde un punto medio entre los centros de rotación de los globos oculares. Además, puede derivarse que x» = xo + 2r. Puede derivarse una función f(x) aproximando la distancia de convergencia para distancias x entre pupilas (distancia interpupilar) para xo < x < x» usando la geometría aproximada. La función aproximada es

La función se refiere al caso donde el usuario está enfocando en un punto a lo largo de una línea que empieza desde un punto medio entre los centros de rotación y que es perpendicular a una línea entre los centros de rotación. Esta suposición es razonable en muchos casos ya que un usuario que se enfoca en un cierto objeto normalmente girará su cabeza para lograr dicha situación.

La distancia interocular, es decir, la distancia entre el centro de rotación de los globos oculares, es la misma que x~. Por lo tanto, si se proporcionan datos de calibración en forma de distancia interocular, el radio del globo ocular r y las posiciones de los centros de rotación en relación con los dispositivos de formación de imágenes de un sistema de seguimiento ocular, puede usarse la función f(x) para determinar una distancia de convergencia aproximada actual para una distancia interpupilar actual determinada. La distancia interpupilar actual se determina a partir de imágenes de los ojos y del uso de cualquier método conocido para la identificación de pupilas en las imágenes.

La Figura 3 es un diagrama que muestra un segundo ejemplo de una función de convergencia de mirada para proporcionar una distancia de convergencia de mirada aproximada basándose en la distancia interpupilar. La función de convergencia de mirada se define como una función binaria que tiene un primer valor (por ejemplo, 0) para distancias interpupilares más cortas que un valor umbral xthres y un segundo valor (por ejemplo, 1) para distancias interpupilares más largas que el valor umbral xthres. Como cada distancia interpupilar corresponderá a una distancia de convergencia real respectiva, el valor umbral para la distancia interpupilar corresponderá a una distancia de convergencia umbral real. Dicha función de convergencia de mirada binaria podría usarse, por ejemplo, en aplicaciones donde es suficiente determinar si la distancia de convergencia de mirada es más larga o más corta que una distancia de convergencia umbral correspondiente a una distancia interpupilar umbral.

Para calibrar una función de convergencia de mirada binaria de este tipo a un usuario, pueden determinarse datos de calibración en forma de una distancia interpupilar medida para una profundidad de campo conocida. Esto puede lograrse, por ejemplo, instruyendo al usuario a que se enfoque en un objeto a la profundidad de campo conocida. La distancia interpupilar determinada para la profundidad de campo conocida puede seleccionarse a continuación como el valor umbral. La función binaria podría indicar, a continuación, si una distancia de convergencia actual es más larga que la profundidad de campo conocida para una distancia interpupilar actual que es más larga que el valor umbral y más corta que la profundidad de campo conocida para una distancia interpupilar actual más corta que el valor umbral. La profundidad de campo conocida puede seleccionarse, por ejemplo, en relación con una aplicación y/o sistema específico en el que se implementa el método. Por ejemplo, tal función binaria podría usarse en un sistema que tenga dos pantallas a dos distancias diferentes.

La función de convergencia de mirada representada en la figura 3 puede expandirse para incluir valores umbral adicionales, de modo que la función de convergencia de mirada se define como que tiene un primer valor para distancias interpupilares más cortas que un primer valor umbral y un segundo valor para distancias interpupilares más largas que el primer valor umbral, pero más corto que un segundo valor umbral. La función de convergencia de mirada tiene además un tercer valor para distancias interpupilares más largas que el segundo valor umbral. Como cada distancia interpupilar corresponderá a una distancia de convergencia real respectiva, el primer valor umbral y el segundo valor umbral para la distancia interpupilar corresponderán a distancias de convergencia umbral reales. Tales realizaciones pueden usarse, por ejemplo, cuando es suficiente determinar si la distancia de convergencia de mirada está dentro de un intervalo de distancia de convergencia correspondiente a un intervalo de distancia interpupilar, tal como más corto que el primer valor umbral, más largo que el segundo valor umbral, y entre el primer valor umbral y el segundo valor umbral.

Para calibrar dicha función de convergencia de mirada expandida a valores umbral adicionales a un usuario, pueden determinarse datos de calibración en forma de una primera distancia interpupilar medida para una primera profundidad de campo conocida y una segunda distancia interpupilar medida para una segunda profundidad de campo conocida. Esto puede lograrse, por ejemplo, instruyendo al usuario a que se enfoque en un objeto en la primera profundidad de campo conocida y capturando primeras imágenes de los ojos del usuario. A continuación, se instruye al usuario que se enfoque en un objeto en la segunda profundidad de campo conocida, que es más larga que la primera profundidad de campo, y se capturan las segundas imágenes de los ojos del usuario. A continuación, puede determinarse una primera distancia interpupilar determinada para la primera profundidad de campo conocida a partir de las primeras imágenes y seleccionarse como un primer valor umbral. A continuación, puede determinarse una segunda distancia interpupilar determinada para la segunda profundidad de campo conocida a partir de las segundas imágenes y seleccionarse como un segundo valor umbral. La función podría especificar a continuación si una distancia de convergencia actual es más corta que la primera profundidad de campo conocida para una distancia interpupilar actual que es más corta que el primer valor umbral. La función específica, además, que una distancia de convergencia actual es más larga que la primera profundidad de campo conocida pero más corta que la segunda profundidad de campo conocida para una distancia interpupilar actual que es más larga que el primer valor umbral, pero más corta que el segundo valor umbral. Finalmente, la función específica que una distancia de convergencia actual es más larga que la segunda profundidad de campo conocida para una distancia interpupilar actual que es más larga que el segundo valor umbral. La profundidad de campo conocida puede seleccionarse, por ejemplo, en relación con una aplicación y/o sistema específico en el que se implementa el método. Por ejemplo, tal función binaria podría usarse en un sistema que tenga dos pantallas a dos distancias diferentes.

La Figura 4 es un diagrama que muestra un tercer ejemplo de una función de convergencia de mirada para proporcionar una distancia de convergencia de mirada aproximada basándose en la distancia interpupilar, por ejemplo, en un sistema de virtual reality (realidad virtual - VR) o un sistema de realidad aumentada AR que incluye una función de seguimiento ocular/de mirada. Se determina una primera distancia interpupilar x 1 cuando un usuario se enfoca en una primera profundidad de campo conocida y1. Se determina una segunda distancia interpupilar x2 cuando un usuario se enfoca en una segunda profundidad de campo conocida y2, donde la segunda profundidad de campo conocida y2 es más larga que la primera profundidad de campo y1. La profundidad de campo se aproxima a continuación como una función lineal en el intervalo x1 < x < x2 comenzando desde el punto (x1, yO y terminando en el punto (x2, y2).

La función de convergencia de mirada representada en la figura 4 se puede expandir para incluir una profundidad de campo conocida adicional. Se determina una tercera distancia interpupilar x3 cuando el usuario se enfoca en una tercera profundidad de campo conocida y3, donde la tercera profundidad del campo y3 es más larga que la segunda profundidad de campo y2. La profundidad de campo se aproxima a continuación como una función lineal en el intervalo x2 < x < x3 comenzando desde el punto (x2, y2) y terminando en el punto (x3, y3).

La Figura 5 es un diagrama esquemático que muestra un ejemplo de una configuración que, según la presente invención, utiliza dispositivos de formación de imágenes telecéntricos virtuales para determinar la distancia interpupilar. Para los dispositivos de formación de imágenes no telecéntricos, la ampliación de las representaciones de un objeto variará dependiendo de la distancia del objeto del dispositivo de formación de imágenes. Para los dispositivos de formación de imágenes telecéntricos virtuales, la ampliación es constante. Por lo tanto, la determinación de la distancia interpupilar puede hacerse de imágenes de dispositivos de formación de imágenes telecéntricos sin la necesidad de conocer o determinar la distancia entre los ojos y los dispositivos de formación de imágenes. En la configuración representada esquemáticamente en la figura 5, se proporcionan dispositivos de formación de imágenes telecéntricos virtuales por medio de dispositivos 520 de formación de imágenes y espejos holográficos 510. Cada dispositivo telecéntrico virtual comprende un dispositivo 520 de formación de imágenes y un espejo holográfico 510. El espejo holográfico 510 es principalmente transparente para la luz visible. En un ejemplo, el espejo holográfico 510 está dispuesto para reflejar la luz infrarroja. El espejo holográfico 510 puede comprender una superficie reflectante, tal como una película reflectante, unida o incorporada en una lente. En otro ejemplo, el espejo holográfico 510 se puede unir directamente al marco de un sistema montado en la cabeza, tal como una pantalla montada en la cabeza o gafas oculares. El espejo holográfico 510 es tal que el ángulo de reflexión varía a través de la superficie del espejo holográfico 510 tal que la luz infrarroja (o el tipo de luz utilizada para capturar imágenes) perpendicular a la superficie del espejo holográfico 510 se reflejará hacia un dispositivo 520 de formación de imágenes correspondiente. El uso de dispositivos de formación de imágenes telecéntricos virtuales de cualquier implementación omitirá la necesidad de calibración en relación con la distancia entre los ojos de un usuario y el dispositivo de formación de imágenes antes de determinar la distancia interpupilar.

Los métodos para calcular la distancia de convergencia de mirada en un sistema de seguimiento ocular según se describe en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más medios legibles por ordenador del tercer aspecto pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.

La Figura 6 es un diagrama que muestra un ejemplo de una función para determinar una distancia de convergencia de mirada basándose en la distancia interpupilar en un sistema de virtual reality (realidad virtual - VR) o un sistema de realidad aumentada AR que incluye una función de seguimiento ocular/de mirada. Se determina una primera distancia interpupilar x1 cuando un usuario se enfoca en una primera profundidad de campo conocida y1, donde la primera profundidad de campo conocida y1 es preferiblemente corta. Se determina una segunda distancia interpupilar x2 cuando un usuario se enfoca en una segunda profundidad de campo conocida y2, donde la segunda profundidad de campo conocida y2 es preferiblemente larga. La diferencia entre la segunda profundidad de campo y2 y la primera profundidad de campo y1 es preferiblemente grande. La profundidad de campo se aproxima a continuación como una función lineal a través de los puntos (x1, y1) y (x2, y2).

La Figura 7 es otro ejemplo de un diagrama de flujo del método para determinar una distancia de convergencia de mirada en un sistema de virtual reality (realidad virtual - VR) o un sistema de realidad aumentada AR. Se recibe 710 una primera imagen de un ojo izquierdo y un ojo derecho de un usuario cuando el usuario se está enfocando en una primera profundidad de campo conocida. Se identifica 720 una pupila del ojo izquierdo y una pupila del ojo derecho en la primera imagen y una posición de la pupila del ojo izquierdo y una posición de la pupila del ojo derecho se determinan 730 en la primera imagen. Se calcula 740 una primera distancia interpupilar en la primera imagen entre la posición de la pupila del ojo izquierdo en la primera imagen y la posición de la pupila del ojo derecho en la primera imagen. Se recibe 750 una segunda imagen del ojo izquierdo y del ojo derecho del usuario cuando el usuario se está enfocando en una segunda profundidad de campo conocida. Se identifica 760 la pupila del ojo izquierdo y la pupila del ojo derecho en la segunda imagen y se determina 770 una posición de pupila del ojo izquierdo y la posición de la pupila del ojo derecho en la segunda imagen. Se calcula 780 una segunda distancia interpupilar en la segunda imagen entre la posición de la pupila del ojo izquierdo en la segunda imagen y la posición de la pupila del ojo derecho en la segunda imagen. Se define 790 la profundidad de campo, es decir, la distancia de convergencia de mirada, como una función lineal de la distancia interpupilar basándose en la primera profundidad del campo y la primera distancia interpupilar junto con la segunda profundidad de campo y la segunda distancia interpupilar.

Después de definir la distancia de convergencia de mirada como una función lineal de la distancia interpupilar, se puede determinar una distancia de convergencia de mirada a partir de una tercera imagen recibida del ojo izquierdo y el ojo derecho del usuario cuando el usuario se está enfocando en una tercera profundidad de campo desconocida identificando la pupila del ojo izquierdo en la tercera imagen y la pupila del ojo derecho que están en la tercera imagen y determinando una posición de pupila del ojo izquierdo en la tercera imagen y la posición de la pupila del ojo derecho en la primera imagen. A continuación, se calcula una distancia interpupilar en la tercera imagen entre la posición de la pupila del ojo izquierdo en la tercera imagen y la posición de la pupila del ojo derecho en la tercera imagen y se determina la distancia de convergencia de mirada a partir de la función lineal definida.

Los métodos para calcular la distancia de convergencia de mirada en un sistema de seguimiento ocular según se describe en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más medios legibles por ordenador pueden ser por ejemplo uno o más medios legibles por ordenador no transitorios.

La Figura 8 muestra una vista esquemática de un ejemplo de indicación visual en una vista 800 de virtual reality (realidad virtual - VR) en un sistema que usa una head mounted display (pantalla montada en la cabeza - HMD) que incluye una función de seguimiento ocular/de mirada. En la vista 800 de VR se ha superpuesto una indicación visual que comprende una cuadrícula 810 sobre la vista 800 de VR. La función de seguimiento ocular/de mirada proporciona información sobre un punto de mirada actual del usuario del HMD. Se proporciona una región 820 de oclusión indicada por un círculo 820 en la vista 800 de VR. Dentro de la región 820 de oclusión la cuadrícula 810 es completamente transparente y justo fuera de la región de oclusión, se reduce gradualmente la transparencia de la cuadrícula 810. El círculo 820 generalmente no se muestra en la vista en el HMD, pero está incluido en la vista 800 de VR en la Figura 1 con fines ilustrativos. Un sensor (no mostrado) proporciona información sobre la orientación del HMD en el espacio real, por ejemplo, un ángulo en relación con una dirección horizontal del espacio real indicado en la imagen como una flecha 830. El sensor puede ser, por ejemplo, un giroscopio y/o acelerómetro. Además de la flecha 830 que indica la dirección horizontal del espacio real, se muestra una flecha 840 indicando la dirección horizontal como visualmente experimentada por un usuario del HMD. Las flechas 830, 840 generalmente no se muestran en la vista en el HMD, pero están incluidas en la vista800 de VR de la figura 8a con fines ilustrativos. Además de la cuadrícula 810, la indicación visual comprende una línea 850 horizontal aumentada.

La cuadrícula 810 y la línea 850 horizontal aumentada proporcionan información visual a un usuario de la orientación actual del HMD en espacio real que indica generalmente una superficie que es horizontal en relación con el espacio real.

Debe observarse que, se indica que la cuadrícula 810 es transparente en diferentes grados fuera de la región 820 de oclusión. Esto pretende significar que las líneas de la cuadrícula en sí son transparentes. La cuadrícula en sí misma es, en otro aspecto, transparente en relación con el fondo, ya que está comprendida por líneas de cuadrícula y, entre sí, lo que indica una superficie y entre las líneas de cuadrícula, la vista de VR es visible sin estar cubierta en ningún grado de la cuadrícula.

También se debe observar que la transparencia de las líneas de cuadrícula se hace más transparente más cerca de la línea 850 horizontal aumentada. Esta es una característica diferente que la transparencia de las líneas de cuadrícula justo fuera de la región de oclusión.

La cinetosis en el movimiento del mundo real generalmente ocurre cuando los ojos de una persona proporcionan señales que entran en conflicto con respecto al movimiento y la orientación desde las señales proporcionadas por sensores vestibulares en el oído interno. En la vida real, por ejemplo, mantener un ojo en el horizonte mientras se desplaza en un barco o mirando a la carretera por delante mientras se monta en un automóvil, son métodos probados para aliviar los síntomas de la cinetosis.

En el uso de AR y VR, el hallazgo de tal 'horizonte' puede no ser factible en cada escena. La cuadrícula 810 y la línea 850 horizontal aumentada se incluyen para mitigar la cinetosis del usuario de VR/AR.

La región 820 de oclusión se puede introducir alrededor de un punto de mirada actual para evitar que la indicación visual oculte lo que el usuario está mirando actualmente. La región de oclusión coincide preferiblemente al menos sustancialmente con la parte de la fóvea de la retina del ojo del usuario que es la porción de la retina que proporciona la visión más clara. Se muestra la región 820 de oclusión como circular en la vista 800 de la figura 1 a pero puede tener otras formas tales como rectangulares, ovaladas, etc.

El tamaño de la región de oclusión es generalmente una compensación entre la eficiencia de mitigar la cinetosis y limitar la distracción al usuario. La reducción del tamaño de la región de oclusión generalmente aumentará la eficiencia de mitigar la cinetosis y, al mismo tiempo, aumentar la distracción del usuario ya que la indicación visual utilizada generalmente se introduce para orientar la percepción visual del usuario en relación con la dirección horizontal y vertical en relación con el espacio real.

Además, el nivel de transparencia (opacidad) de la indicación visual o, en otras palabras, cuánto de la indicación visual cubre u oculta otra información visual en la vista del usuario, también es generalmente una compensación entre la eficiencia de mitigar la cinetosis y limitar la distracción al usuario. La reducción del nivel de transparencia de la región de oclusión generalmente aumentará la eficiencia de mitigar la cinetosis y, al mismo tiempo, aumentar la distracción del usuario ya que la indicación visual utilizada generalmente se introduce únicamente para orientar la percepción visual del usuario en relación con la dirección horizontal y vertical en relación con el espacio real.

Tener un mayor grado de transparencia en una región más cercana fuera de la región de oclusión que en regiones más lejos de la región de oclusión y disminuir gradualmente como una función de la distancia de la región de oclusión en una región justo fuera de la región de oclusión reducirá la distracción del usuario en relación con un ejemplo con un borde afilado en términos de grado de transparencia en el borde de la región de oclusión ya que los bordes afilados tienden a distraer más a un usuario que las transiciones más suaves.

La diferencia de ángulo entre la dirección vertical del HMD en el espacio real indicado por la flecha 830 y una dirección vertical de las impresiones visuales del usuario indicadas por la flecha 840 se mide durante un período de tiempo y se determina la diferencia de ángulo más grande durante el período de tiempo. Si la diferencia de ángulo más grande determinada es mayor que un valor umbral predeterminado, el tamaño de la región de oclusión disminuye.

Como alternativa, para medir solo la diferencia de ángulo más grande durante un período de tiempo, se puede medir el tamaño del cambio de la diferencia de ángulo y se puede determinar un cambio de ángulo más grande durante un período de tiempo. Si el cambio de la diferencia de ángulo más grande determinada es mayor que un valor umbral predeterminado, el tamaño de la región de oclusión disminuye.

Como se indica, el tamaño de la región de oclusión es generalmente una compensación entre la eficiencia de mitigar la cinetosis y limitar la distracción al usuario. Para situaciones donde el riesgo de cinetosis se vuelve mayor, decidir la compensación entre la reducción de la cinetosis y limitar la distracción para el usuario puede dar como resultado un deseo de aumentar la mitigación de la cinetosis, por ejemplo, reduciendo el tamaño de la región de oclusión.

El riesgo de la cinetosis puede ser, por ejemplo, más alto si un usuario está usando un HMD en un barco y el barco se balancea mucho, por ejemplo, de manera que un ángulo (o un cambio del ángulo) entre la dirección vertical del HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario se vuelve mayor que el valor umbral predeterminado durante un periodo de tiempo. En tales casos, puede reducirse el tamaño de la región de oclusión. Como alternativa o además de reducir el tamaño de la región de oclusión, puede reducirse la transparencia de la indicación visual.

Por ejemplo, el riesgo de la cinetosis puede ser mayor también si un usuario está usando un HMD para VR donde la dirección vertical de las impresiones visuales del usuario cambia mucho sin que cambie la dirección vertical del HMD en el espacio real, de modo que un ángulo entre la dirección vertical del HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario se vuelve mayor que el valor umbral predeterminado durante un periodo de tiempo.

Pueden identificarse otras situaciones donde el riesgo de cinetosis puede ser mayor por medio de la medición de otros parámetros que el ángulo entre la dirección vertical del HMD en el espacio real y la dirección vertical de las impresiones visuales del usuario. Para tales situaciones, se determinan valores umbral para los otros parámetros medidos y se establece el tamaño de la región de oclusión en relación con los otros parámetros.

La indicación visual se introduce generalmente para orientar la percepción visual del usuario en relación con la dirección horizontal y vertical en relación con el espacio real. Una forma de hacer esto es si la indicación visual comprende algo que indica una superficie que es horizontal en relación con el espacio real. La superficie se superpone en la vista del usuario.

Además de ser horizontal en relación con el espacio real, es decir, que indica una dirección horizontal en relación con el espacio real en la vista del usuario, la indicación visual puede indicar una perspectiva en relación con un horizonte virtual que simula el horizonte de espacio real y que es horizontal en relación con el espacio real.

La indicación visual puede comprender, por ejemplo, un patrón 810 en forma de cuadrícula y una línea horizontal aumentada. Generalmente, cuanto más no repetitiva y de alto contraste es una superficie indicada comprendida en la indicación visual, mejor. Un patrón eficaz para mitigar la cinetosis, por ejemplo, sería una impresión de periódico. Sin embargo, tiene el coste de distraer.

La Figura 8 muestra una vista de un sistema de HMD de VR. Sin embargo, la descripción anterior en relación con la VR es igualmente aplicable para sistemas de HMD de AR. Por ejemplo, si se usa un sistema de HMD de AR dentro de un vehículo tal como un tren, coche o barco, donde el usuario no puede ver fácilmente fuera del vehículo y, por lo tanto, no ve un horizonte, etc., se puede superponer una indicación visual en una pantalla del HMD de AR sobre los otros objetos virtuales y la vista de la vida real del usuario como se describe en relación con VR anteriormente.

La Figura 8 b y la Figura 8c muestran vistas esquemáticas de ejemplos de una diferencia en ángulo entre una dirección vertical 831 de un HMD (cabeza del usuario) en el espacio real y una dirección vertical 841 de las impresiones visuales de un usuario.

Una dirección vertical del HMD en el espacio real será generalmente una dirección vertical de la cabeza del usuario en espacio real y se detectará por los sensores vestibulares en el oído interno del usuario. Una dirección vertical de la impresión visual del usuario está basada en señales visuales identificadas en el cerebro del usuario. Las señales visuales se utilizan para realizar interpretaciones en cuanto a lo que es vertical y lo que es horizontal. Por ejemplo, las líneas paralelas 860 en la pared detrás del usuario 870 en la Figura 1b podrían interpretarse como horizontales según las impresiones visuales del usuario. Otros ejemplos son un gran suelo (o cubierta de un barco) o el lado de un edificio grande. Esto es lo que determina el contexto del espacial visual.

Aunque se hace referencia a la dirección vertical del HMD en el espacio real y a la dirección vertical de las impresiones visuales del usuario anteriormente, cualquier dirección de referencia (vectores 3D) en los dos contextos espaciales (contexto visual y de oído interno) y cambio angular relativo o cambio direccional a lo largo del tiempo entre el valor de la dirección de referencia podría usarse junto con un valor umbral predeterminado para determinar si se deben aplicar medidas adicionales para mitigar la cinetosis, tal como disminuir el tamaño de la región de oclusión.

La Figura 9 es un diagrama de flujo de un método para mitigar la cinetosis en un sistema usando una head mounted display (pantalla montada en la cabeza - HMD). En el método, se reciben 910 los datos de un sensor que indica una orientación actual del HMD en el espacio real. A continuación, se superpone 920 una indicación visual en una pantalla del HMD, indicación visual que proporciona información visual a un usuario de la orientación actual del HMD en el espacio real.

El método puede comprender además recibir datos de una función de seguimiento de mirada que indica la posición de mirada actual del usuario. La indicación visual puede comprender a continuación una región de oclusión que incluye la posición de mirada actual del usuario de manera que la indicación visual no se describe en la región de oclusión.

La indicación visual puede tener un mayor grado de transparencia en una región más cercana a la región de oclusión que en regiones más lejos de la región de oclusión.

El método puede comprender además medir una diferencia de ángulo entre una dirección vertical del HMD en el espacio real y se mide una dirección vertical de las impresiones visuales del usuario durante un período de tiempo y se determina la diferencia de ángulo más grande durante el período de tiempo. Si la diferencia de ángulo más grande determinada es mayor que un valor umbral predeterminado, el tamaño de la región de oclusión disminuye.

La Figura 10 es un diagrama esquemático de un aparato 1000 para mitigar la cinetosis en un sistema usando una head mounted display (pantalla montada en la cabeza - HMD) para VR o AR. El aparato 1000 comprende un receptor 1010 para recibir datos de un sensor 1030 que indican una orientación actual del HMD en el espacio real. El aparato 1000 además comprende circuitos1030 de procesamiento para superponer una indicación visual en una pantalla 1040 del HMD. La indicación visual proporciona información visual a un usuario de la orientación actual del HMD en el espacio real.

El receptor recibe además datos de unos circuitos 1050 de seguimiento de mirada que indican la posición de mirada actual del usuario. La indicación visual puede comprender a continuación una región de oclusión que incluye la posición de mirada actual del usuario, de manera que la indicación visual es transparente hasta un grado más alto en la región de oclusión que en otras regiones de la vista fuera de la región de oclusión.

Los métodos para mitigar la cinetosis en un sistema usando una head mounted display (pantalla montada en la cabeza - HMD) según se describen en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más aspectos de medios legibles por ordenador pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.

La Figura 11 es un diagrama de flujo de un método para la expansión del menú de virtual reality (realidad virtual -VR) basada en mirada en un sistema de VR que incluye una función de seguimiento ocular/de mirada. Se proporciona un menú 1110 en VR de tal manera que solo una porción del menú es visible fuera de una región central de la vista de un usuario cuando los ojos del usuario están dirigidos hacia delante, es decir, no hacia arriba, hacia abajo, a la derecha o a la izquierda. La porción del menú está fijada en un espacio de VR en relación con la cabeza del usuario. Si la mirada del usuario está dirigida a la porción del menú, dirigiendo los ojos hacia la porción del menú, el menú se hace fijo (anclado) 1120 en relación con el espacio real de tal manera que cuando se mueve la cabeza del usuario en una dirección de porciones previamente no visibles del menú, tales porciones no visibles previamente del menú serán visibles.

El método puede incluir además que cuando el menú completo sea visible, el menú completo se hace fijo de nuevo en el espacio de VR en relación con la cabeza del usuario siempre que la mirada del usuario se dirija al menú. Con la condición de que la mirada del usuario se dirija fuera del menú, la vista vuelve a que solo una porción del menú sea visible fuera de la región central de la vista de un usuario y se fija en un espacio de VR en relación con la cabeza del usuario.

Las Figuras 12a-d muestran vistas esquemáticas de un ejemplo de expansión de menú basada en mirada en un sistema de VR que incluye una función de seguimiento ocular/de mirada. En la Figura 12a, se proporciona un menú 1210 en VR de tal manera que solo una porción del menú 1210 es visible por debajo de una región central de la vista de un usuario cuando los ojos del usuario están dirigidos hacia delante, es decir, no hacia arriba, hacia abajo, a la derecha o a la izquierda. La porción del menú 1210 está fijada en un espacio de VR en relación con la cabeza del usuario, es decir, la porción del menú 1210 se ubicará en la porción inferior de la vista del usuario en VR independientemente de cómo se gire la cabeza del usuario. La dirección de mirada de los usuarios está indicada por el puntero 1220 en la Figura 7a.

En la Figura 12b, la dirección de la mirada del usuario se ha movido como se muestra por el puntero 1220 a la porción del menú 1210, dirigiendo los ojos hacia la porción del menú 1210. El menú 1210 se hace a continuación fijo (anclado) en relación con el espacio real.

Si la Figura 12c, la cabeza del usuario ha sido dirigida hacia abajo en una dirección de porciones previamente no visibles del menú, de modo que estas porciones no visibles previamente del menú 1210 se han vuelto visibles. La dirección de la mirada del usuario muestra el puntero 1220 sigue al menú 1210, pero ahora a porciones del menú 1210 previamente no visibles.

En la Figura 12d, la cabeza del usuario se ha dirigido mucho hacia abajo, de manera que el menú completo 1210 es visible. El menú completo 1220 a continuación se hace fijo nuevamente en el espacio de VR en relación con la cabeza del usuario, siempre que la dirección de la mirada del usuario según se indica por el puntero 1220 sea hacia el menú 1220.

Si la dirección de mirada del usuario se aleja del menú 1210, la vista regresa sólo a una porción del menú 1210 que es visible fuera de la región central de la vista de un usuario y se fija en el espacio de VR en relación con la cabeza del usuario como se muestra en la Figura 12a.

En la Figura 12a se muestra la porción del menú en la parte inferior de la vista. Debe observarse que la porción del menú puede fijarse a cada lado (izquierda o derecha) o en la parte superior de la vista. En tales casos, el menú completo puede ser visible dirigiendo la vista a y fijándola en la porción del menú y girando la cabeza en una dirección de tal manera que las porciones previamente no visibles del menú serán visibles, por ejemplo, a la izquierda si la porción del menú es una porción derecha del menú o hacia arriba si la porción del menú es una porción inferior del menú.

Además, cabe señalar que, aunque se ha descrito un menú en VR en relación con las Figuras 11 y 12a-d, la porción puede ser de cualquier objeto de VR, de modo que solo una porción del objeto de VR sea visible y puede hacerse visible según el método de expansión descrito anteriormente.

Los métodos de expansión del menú VR basado en mirada en un sistema de VR según se describe en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más aspectos de medios legibles por ordenador pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.

Las Figuras 11 y 12a-d describen un menú VR basado en mirada en un sistema de VR. Sin embargo, la descripción anterior en relación con VR es igualmente aplicable para sistemas AR. Si se utiliza un sistema AR, la porción del menú 1210 se fija en un espacio virtual/a una superficie virtual del sistema AR en relación con la cabeza del usuario. Si la mirada del usuario se dirige a la porción del menú, el menú se hace fijo (anclado) en el espacio virtual/a la superficie virtual en relación con el espacio real de manera que cuando la cabeza del usuario se mueve en una dirección de porciones no visibles previamente del menú, tales porciones no visibles previamente del menú serán visibles.

Los métodos de expansión del menú de realidad aumentada (AR) basada en mirada en un sistema AR según se describe en el presente documento pueden implementarse en un aparato que comprende circuitos configurados para realizar el método y/o en software, por ejemplo, almacenado en uno o más medios de almacenamiento legibles por ordenador, incluyendo instrucciones ejecutables por ordenador que, cuando son ejecutadas por un aparato, hacen que el aparato realice el método. El uno o más aspectos de medios legibles por ordenador pueden ser, por ejemplo, uno o más medios legibles por ordenador no transitorios.

Además, cabe señalar que, aunque se ha descrito un menú en relación con las Figuras 11 y 12a-d, las aplicaciones para AR pueden relacionarse con cualquier objeto AR, de modo que solo una porción del objeto AR sea visible y puede ser visible según el método de expansión descrito anteriormente.

El experto en la técnica es consciente de que la presente invención no se limita de ninguna manera a las realizaciones preferidas descritas anteriormente. Por el contrario, son posibles varias modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas.

De forma adicional, los expertos en la técnica pueden entender y efectuar variaciones de las realizaciones descritas al poner en práctica la invención reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “un” o “una” no excluye una pluralidad. La división de tareas entre unidades funcionales referidas en la presente descripción no corresponde necesariamente a la división en unidades físicas; por el contrario, un componente físico puede tener múltiples funcionalidades, y una tarea puede llevarse a cabo de manera distribuida, por varios componentes físicos en cooperación. Se puede almacenar/distribuir un programa informático en un medio no transitorio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otro hardware, pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos. El mero hecho de que determinadas medidas/características se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas/características no pueda utilizarse ventajosamente. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.

Claims (12)

1. REIVINDICACIONES

   i. Un método en un sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario que comprende:

   determinar (110) datos de calibración en relación con la distancia interpupilar (x) entre una pupila de un ojo izquierdo y una pupila de un ojo derecho de un usuario;

   determinar (120), basándose en los datos de calibración determinados, una función de convergencia de mirada (f(x)) que proporciona una distancia de convergencia de mirada aproximada del usuario basándose en una distancia interpupilar determinada del usuario; recibir (130), de uno o más dispositivos (520) de formación de imágenes, una o más imágenes del ojo izquierdo y el ojo derecho del usuario;

   determinar (140) una distancia interpupilar actual del usuario basándose en la una o más imágenes; y

   determinar (150) una distancia de convergencia de mirada aproximada actual basándose en la distancia interpupilar actual y la función de convergencia de mirada, caracterizado por que:

   el método comprende además

   capturar la una o más imágenes usando el uno o más dispositivos de formación de imágenes y uno o más espejos holográficos (510), teniendo cada espejo holográfico un ángulo de reflexión que varía a través de su superficie, de manera que con una posición predefinida de un dispositivo de formación de imágenes correspondiente del uno o más dispositivos de formación de imágenes, la ampliación de una representación de un objeto en una imagen capturada es constante a lo largo de la distancia de los ojos del usuario al dispositivo de formación de imágenes correspondiente; y

   por que

   los datos de calibración comprenden una aproximación del diámetro del globo ocular de los ojos del usuario.
2. 2. El método de la reivindicación 1, en donde la etapa de determinar los datos de calibración comprende:

   recibir, desde el uno o más dispositivos de formación de imágenes, una o más imágenes de calibración del ojo izquierdo y el ojo derecho del usuario cuando el usuario se está enfocando a una profundidad de campo conocida; y

   determinar una distancia interpupilar entre la pupila del ojo izquierdo y la pupila del ojo derecho para la profundidad de campo conocida basándose en la una o más imágenes de calibración, en donde los datos de calibración comprenden la profundidad de campo conocida en combinación con la distancia interpupilar para la profundidad de campo conocida.
3. 3. El método de la reivindicación 2, en donde la función de convergencia de mirada se define como una función binaria que tiene un primer valor para distancias interpupilares por encima de un valor umbral y un segundo valor para distancias interpupilares por debajo del valor umbral, en donde el valor umbral se establece a la distancia interpupilar para la profundidad de campo conocida.
4. 4. El método de las reivindicaciones 2 o 3, en donde la profundidad de campo conocida se selecciona cerca del infinito, de manera que las direcciones de mirada desde el ojo izquierdo y derecho son sustancialmente paralelas y la distancia interpupilar puede aproximarse como la distancia interocular.
5. 5. El método de la reivindicación 1, en donde la etapa de determinar los datos de calibración comprende:

   recibir, desde el uno o más dispositivos de formación de imágenes, una o más primeras imágenes de calibración del ojo izquierdo y el ojo derecho del usuario cuando el usuario se está enfocando en una primera profundidad de campo conocida (y1);

   determinar una primera distancia interpupilar (x1) entre la pupila del ojo izquierdo y la pupila del ojo derecho basándose en la una o más primeras imágenes de calibración;

   recibir, desde el uno o más dispositivos de formación de imágenes, una o más segundas imágenes de calibración del ojo izquierdo y el ojo derecho del usuario cuando el usuario se está enfocando en una segunda profundidad de campo conocida (y2); y

   determinar una segunda distancia interpupilar (x2) entre la pupila del ojo izquierdo y la pupila del ojo derecho basándose en la una o más segundas imágenes de calibración,

   en donde los datos de calibración comprenden la primera profundidad de campo conocida en combinación con la primera distancia interpupilar y la segunda profundidad de campo conocida en combinación con la segunda distancia interpupilar.
6. 6. El método de la reivindicación 1 o la reivindicación 5, en donde la función de convergencia de mirada se define como una función lineal dentro de un intervalo de distancias interpupilares.
7. 7. El método de la reivindicación 6 cuando depende de la reivindicación 5, en donde el intervalo de distancias interpupilares está entre la primera distancia interpupilar para la primera profundidad de campo conocida y la segunda distancia interpupilar para la segunda profundidad de campo conocida, y en donde se establece un valor de la función de convergencia de mirada para la primera distancia interpupilar en la primera profundidad de campo conocida y se establece un valor de la función de convergencia de mirada para la segunda distancia interpupilar en la segunda profundidad de campo conocida.
8. 8. El método de cualquiera de las reivindicaciones 1-7, en donde determinar una distancia interpupilar actual comprende:

   recibir, desde el uno o más dispositivos de formación de imágenes, la una o más imágenes del ojo izquierdo y el ojo derecho del usuario cuando el usuario se está enfocando a una profundidad de campo actual; y

   determinar la distancia interpupilar actual entre la pupila del ojo izquierdo y la pupila del ojo derecho para la profundidad de campo actual basándose en la una o más imágenes.
9. 9. El método de una cualquiera de las reivindicaciones 1-8, en donde el sistema de seguimiento ocular es un sistema montado en la cabeza.
10. 10. Un sistema de seguimiento ocular para rastrear ojos de un usuario, comprendiendo el sistema de seguimiento ocular:

    uno o más dispositivos (520) de formación de imágenes;

    uno o más espejos holográficos (510), teniendo cada espejo holográfico (510) un ángulo de reflexión que varía a través de su superficie, de manera que con una posición predefinida de un dispositivo de formación de imágenes correspondiente del uno o más dispositivos (520) de formación de imágenes , la ampliación de una representación de un objeto en una imagen capturada es constante a lo largo de la distancia de los ojos del usuario al dispositivo de formación de imágenes correspondiente; y

    circuitos configurados para realizar el método de una cualquiera de las reivindicaciones 1-8.
11. 11. El sistema de seguimiento ocular de la reivindicación 10, en donde el sistema de seguimiento ocular es un sistema montado en la cabeza.
12. 12. Uno o más medios de almacenamiento legibles por ordenador que almacenan instrucciones ejecutables por ordenador que, cuando se ejecutan por el sistema de seguimiento ocular de la reivindicación 10, hacen que el sistema de seguimiento ocular realice el método de una cualquiera de las reivindicaciones 1-9.