ES2993409T3 - Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium - Google Patents
Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium Download PDFInfo
- Publication number
- ES2993409T3 ES2993409T3 ES21745193T ES21745193T ES2993409T3 ES 2993409 T3 ES2993409 T3 ES 2993409T3 ES 21745193 T ES21745193 T ES 21745193T ES 21745193 T ES21745193 T ES 21745193T ES 2993409 T3 ES2993409 T3 ES 2993409T3
- Authority
- ES
- Spain
- Prior art keywords
- gaze
- eye movement
- eye
- points
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Se proporciona un método y un aparato para identificar un comportamiento de la mirada en un espacio tridimensional, y un medio de almacenamiento. El método comprende: recopilar datos de movimiento ocular de los dos ojos de un usuario; seleccionar, a partir de los datos de movimiento ocular recopilados, datos de movimiento ocular para la identificación del comportamiento de la mirada; calcular velocidades angulares del movimiento ocular en múltiples puntos de tiempo de muestreo en los datos de movimiento ocular seleccionados, y sobre la base de las velocidades angulares del movimiento ocular calculadas y un valor umbral de velocidad angular del movimiento ocular correspondiente a un comportamiento de la mirada, determinar datos del punto de la mirada correspondientes al comportamiento de la mirada; combinar fragmentos de datos del punto de la mirada, que satisfacen una condición de proximidad temporal y una condición de proximidad espacial al mismo tiempo, en los datos del punto de la mirada de modo de obtener una duración de la mirada y las coordenadas 3D de los puntos de la mirada; y sobre la base de los fragmentos combinados de datos del punto de la mirada, determinar un punto de la mirada en el que la duración de la mirada es más larga que una segunda duración establecida, identificando de ese modo el comportamiento de la mirada. En la presente invención, se adquiere información de coordenadas de un punto de mirada en un espacio tridimensional y se establecen estándares de proximidad temporal y proximidad espacial, de modo que se puede determinar eficazmente un comportamiento de la mirada en combinación con una diferencia de profundidad visual, y se puede identificar con precisión el comportamiento de la mirada en el espacio tridimensional. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Método y aparato para identificar comportamiento de mirada en espacio tridimensional, y medio de almacenamiento
Campo técnico
La presente solicitud pertenece al campo técnico de la identificación de la dirección de la mirada y, en particular, se refiere a un método y aparato para identificar un comportamiento de fijación en un espacio tridimensional y un medio de memoria.
Antecedentes de la técnica
La mirada es uno de los principales comportamientos y es también un comportamiento importante de la visión humana. Los seres humanos obtienen información de atributos, movimientos y similares de cosas de interés a través de la mirada.
Con el desarrollo de una tecnología de RV (Realidad Virtual) y una tecnología de RA (Realidad Aumentada), existe una necesidad urgente de resolver el problema de las exigencias crecientes sobre la identificación de comportamientos de fijación en un espacio tridimensional virtual o un espacio tridimensional real. En la técnica anterior, los movimientos oculares de los seres humanos se registran con seguidores oculares generalmente, y los comportamientos de fijación se identifican de acuerdo con los datos de movimiento ocular adquiridos. En el proceso de identificación del comportamiento de fijación, con puntos vistos tomando ojos humanos como puntos iniciales y extendiéndose desde los puntos iniciales en direcciones visuales como puntos de fijación, limitado al principio de funcionamiento de un seguidor ocular actual, los datos de movimiento ocular adquiridos por el seguidor ocular solo pueden expresar la dirección visual y no pueden expresar información del comportamiento de fijación de una profundidad visual en el espacio tridimensional.
El documento US 2018/032816 describe un sistema de identificación de fijación que incluye un dispositivo de seguimiento ocular y un dispositivo de identificación de fijación dispuesto en comunicación eléctrica con el dispositivo de seguimiento ocular. El dispositivo de identificación de fijación incluye un controlador que tiene una memoria y un procesador, estando configurado el controlador para identificar cada elemento de datos de posición de mirada recibido desde el dispositivo de seguimiento ocular como uno de datos de posición de mirada de fijación y datos de posición de mirada sacádica, correspondiendo cada elemento de datos de posición de mirada a una ubicación visual asociada con un campo de visión en un instante correspondiente; identificar al menos una zona de fijación asociada con los datos de posición de mirada de fijación; ajustar varios elementos de datos de posición de mirada de fijación asociados con la al menos una zona de fijación; y generar una zona de fijación optimizada en densidad en base al número ajustado de elementos de datos de posición de mirada de fijación.
El documento US 2018/275410 describe métodos y sistemas para renderizado foveado basado en profundidad en el sistema de visualización, en los que las resoluciones de al menos un objeto virtual se ajustan en base a una proximidad del al menos un objeto virtual a los puntos de fijación, y el sistema de visualización presenta los objetos virtuales a un usuario, renderizándose el al menos un objeto virtual de acuerdo con la resolución ajustada.
El documento CN 109271030 describe un método de comparación multidimensional de una trayectoria de puntos de fijación en espacio tridimensional, que proporciona resultados de análisis y comparación convenientes, flexibles, multinivel y multiangulares para la medición de similitud de las trayectorias de movimiento ocular reales del espacio visual tridimensional.
El documento de JAN HENDRIK HAMMER ET AL describe análisis de mirada en 3D en tiempo real en aplicaciones móviles.
Compendio
Teniendo como objetivo las deficiencias en la técnica anterior, un objetivo de la presente solicitud es proporcionar un método y aparato para identificar un comportamiento de fijación en un espacio tridimensional y un medio de memoria para superar el defecto de que la técnica anterior no puede determinar una profundidad visual y utilizarse para completar la identificación del comportamiento de fijación en el espacio tridimensional.
Los objetivos mencionados anteriormente se resuelven con los rasgos de las reivindicaciones independientes. En las reivindicaciones dependientes se definen realizaciones adicionales.
La solución técnica empleada para resolver los problemas técnicos por la presente solicitud es la siguiente.
En un aspecto, la presente solicitud proporciona un método para identificar un comportamiento de fijación en un espacio tridimensional, que comprende:
adquirir datos de movimiento ocular de dos ojos de un usuario, donde los datos de movimiento ocular comprenden: puntos de tiempo de muestreo, coordenadas 3D de posiciones de los dos ojos en los puntos de tiempo de muestreo en un sistema de coordenadas espaciales tridimensionales y coordenadas 3D de posiciones de puntos de fijación de los dos ojos;
seleccionar datos de movimiento ocular para identificar un comportamiento de fijación a partir de los datos de movimiento ocular adquiridos;
calcular las velocidades angulares del movimiento ocular en una pluralidad de puntos de tiempo de muestreo en los datos de movimiento ocular seleccionados, y determinar los datos de punto de mirada correspondientes a un comportamiento de fijación en base a las velocidades angulares del movimiento ocular calculadas y a un umbral de velocidad angular del movimiento ocular correspondiente al comportamiento de fijación;
combinar datos de punto de mirada que satisfacen tanto una condición de proximidad temporal como una condición de proximidad espacial en los datos de punto de mirada para obtener una duración de mirada y coordenadas 3D de un punto de mirada, donde la condición de proximidad temporal es que un intervalo entre los puntos de tiempo de muestreo sea menor que una primera duración establecida, y la condición de proximidad espacial es que un ángulo incluido de las líneas de visión entre puntos de mirada adyacentes sea menor que un ángulo establecido y una distancia entre puntos de mirada adyacentes sea menor que una distancia establecida; y
determinar un punto de mirada con una duración de mirada mayor que una segunda duración establecida en base a los datos de punto de mirada combinados, e identificar el comportamiento de fijación.
En algunas realizaciones, la adquisición de datos de movimiento ocular de los dos ojos del usuario comprende: establecer un sistema de coordenadas espaciales tridimensionales;
realizar una detección en un punto de tiempo de muestreo asignado con un seguidor ocular para obtener una coordenada 3D del ojo izquierdo, una coordenada 3D del ojo derecho, información de dirección visual del ojo izquierdo e información de dirección visual del ojo derecho en el sistema de coordenadas espaciales tridimensionales; con la coordenada 3D del ojo izquierdo como punto inicial, tomar una coordenada de una primera intersección en la que una dirección visual del ojo izquierdo se cruza con un objeto en el espacio tridimensional como coordenada 3D de un punto de movimiento del ojo izquierdo; y
con la coordenada 3D del ojo derecho como punto inicial, tomar una coordenada de una primera intersección en la que una dirección visual del ojo derecho se cruza con un objeto en el espacio tridimensional como coordenada 3D de un punto de movimiento del ojo derecho.
En algunas realizaciones, la selección de los datos de movimiento ocular para identificar un comportamiento de fijación a partir de los datos de movimiento ocular adquiridos comprende:
Utilizar datos de movimiento ocular correspondientes al ojo dominante como los datos de movimiento ocular para identificar un comportamiento de fijación; o
utilizar un valor medio de datos de movimiento ocular del ojo izquierdo y del ojo derecho como los datos de movimiento ocular para identificar un comportamiento de fijación.
En algunas realizaciones, después de adquirir los datos de movimiento ocular de los dos ojos del usuario, el método de identificación comprende además: preprocesar los datos de movimiento ocular adquiridos de tal manera que se incluya una misma cantidad de los datos de movimiento ocular en una unidad de tiempo y se eliminen un ruido de muestreo y los valores atípicos.
En algunas realizaciones, el cálculo de la velocidad angular del movimiento ocular en la pluralidad de puntos de tiempo de muestreo en los datos de movimiento ocular seleccionados comprende:
sí un número de muestras n en una ventana de muestreo es par, dividir un ángulo incluido de las líneas de visión entre dos puntos de fijación en el n/2-ésimo grupo de datos de movimiento ocular antes y después de cada punto de tiempo de muestreo por una duración del intervalo de muestreo para obtener la velocidad angular del movimiento ocular; y si el número de muestras n en una ventana de muestreo es impar, dividir el ángulo incluido de las líneas de visión entre los dos puntos de fijación en el (n - 1)/2-ésimo grupo de datos de movimiento ocular antes y después de cada punto de tiempo de muestreo por la duración del intervalo de muestreo para obtener la velocidad angular del movimiento ocular.
En algunas realizaciones, una fórmula de cálculo de la velocidad angular del movimiento ocular es
arcco s(/1,/2)
donde At representa la duración del intervalo de muestreo; ^ yl 2son vectores de dirección de los ojos que apuntan a dos puntos de fijación respectivamente; arccos (T^ ,~Q)representa un ángulo incluido entre dos líneas de visión; y w representa la velocidad angular del movimiento ocular.
En algunas realizaciones, el ángulo incluido de las líneas de visión entre los puntos de mirada adyacentes es menor de 0,5°; y una fórmula de cálculo de la distancia establecida es L =Axmin (Dlt D2)<0>D2) ---<9>
x tan— ~ A x min (D1; --573 57,3 donde L representa la distancia establecida,Xes un coeficiente de amplificación,Xtoma un valor de 1,0 a 1,3, Di y D2 representan las distancias desde los ojos a dos puntos de mirada de proximidad temporal respectivamente, y 0 representa un ángulo incluido de las líneas de visión entre los puntos de mirada adyacentes.
En algunas realizaciones, el umbral de velocidad angular del movimiento oculares de 10-30°/s, la primera duración establecida es de 75 ms o menos; y la segunda duración establecida es de 100 ms.
En otro aspecto, la presente solicitud proporciona además un aparato para identificar un comportamiento de fijación en un espacio tridimensional, que comprende una memoria, un procesador, donde la memoria almacena programas informáticos que son ejecutables por el procesador. Cuando el procesador ejecuta los programas informáticos, se implementa el método anterior.
En otro aspecto más, la presente solicitud proporciona además un medio de almacenamiento legible por ordenador no transitorio con programas informáticos almacenados en el mismo; y cuando se ejecutan los programas informáticos, se implementa el método anterior.
Para el método y aparato para identificar un comportamiento de fijación en el espacio tridimensional y el medio de memoria de la presente solicitud, utilizando el seguidor ocular en combinación con datos del sistema de coordenadas espaciales tridimensionales, los datos de movimiento ocular del ojo dominante en el espacio tridimensional se obtienen con precisión, y se obtiene la información de profundidad visual. Estableciendo tres estándares de que el intervalo entre puntos de tiempo de muestreo sea menor que la primera duración establecida, el ángulo incluido de las líneas de visión entre los puntos de mirada sea menor que un ángulo establecido, y la distancia entre los puntos de mirada sea menor que la distancia establecida, teniendo como objetivo dos aspectos de proximidad temporal y proximidad espacial, el comportamiento de fijación en el espacio tridimensional se determina en combinación con una diferencia de profundidad visual y se identifica con precisión.
Breve descripción de los dibujos
Con el fin de describir con mayor claridad las soluciones técnicas de las realizaciones de la presente solicitud o de la técnica anterior, se describen brevemente a continuación los dibujos adjuntos requeridos para describir las realizaciones o la técnica anterior. Aparentemente, los dibujos adjuntos descritos a continuación son solo algunas realizaciones de la presente solicitud. Las personas con experiencia ordinaria en la técnica pueden obtener además otros dibujos adjuntos basados en estos dibujos adjuntos sin esfuerzo inventivo. En los dibujos:
La Fig. 1 es un diagrama de flujo de un método de identificación de acuerdo con una realización de la presente solicitud;
La Fig. 2 es un diagrama de flujo de la adquisición de datos de movimiento ocular de dos ojos de un usuario en el método de identificación de acuerdo con una realización de la presente solicitud; y
La Fig. 3 es un diagrama esquemático de la determinación de la condición de proximidad espacial en el método de identificación de acuerdo con una realización de la presente solicitud.
Descripción detallada
Para hacer más claros el propósito, las soluciones técnicas y las ventajas de las realizaciones de la presente solicitud, las realizaciones de la presente solicitud se describen más adelante en detalle con referencia a los dibujos adjuntos. Las realizaciones ejemplares de la presente solicitud y la descripción incluida en el presente documento se utilizan para explicar la presente solicitud, pero no limitan la presente solicitud.
En la técnica anterior, la identificación de un comportamiento de fijación se aplica a muchos campos; particularmente, durante la interacción hombre-máquina, en el proceso de capturar y determinar un estado de uso de un usuario, el comportamiento de fijación, como comportamiento principal, se puede utilizar para caracterizar la directividad de una serie de acciones del usuario para guiar la realimentación precisa de equipos, promover el efecto de experiencia de uso del usuario o lograr algunos procesos de funcionamiento complejos.
En los últimos años, una tecnología de RV (Realidad Virtual) y una tecnología de RA (Realidad Aumentada) son las más candentes, donde la tecnología de RV es una tecnología de simulación informática capaz de crear y experimentar un mundo virtual y utiliza un ordenador para generar una escena virtual dinámica tridimensional interactiva, y un sistema de simulación de un comportamiento de entidad de la tecnología de RV permite al usuario sumergirse en el entorno; y la tecnología de RA es una tecnología que calcula una posición y un ángulo de una imagen de una cámara en tiempo real y que añade una imagen correspondiente y es una tecnología novedosa de integrar "sin interrupciones" información de un mundo real en información de un mundo virtual, y un objetivo de esta tecnología es envolver con el mundo virtual el mundo real en una pantalla para interacción.
En la tecnología de RV se genera un espacio tridimensional virtual y estos espacios se estudian, desarrollan y practican cada vez más en el proceso de aplicación. El solicitante y los artesanos experimentados relacionados descubren gradualmente que, en la tecnología de RV, las exigencias sobre la identificación del comportamiento de fijación de los ojos humanos son muy grandes, y están dentro de las exigencias de funcionamiento del equipo y se muestran más como promoción en el requisito de los equipos del efecto de realimentación del usuario. Mientras que la tecnología de RA requiere más identificar el comportamiento de fijación de los ojos humanos en tiempo real, con el grado de exigencia mayor que el de la tecnología de RV.
Sin embargo, en la técnica anterior, la identificación del comportamiento de fijación de los ojos humanos sirve principalmente para monitorizar los movimientos de los ojos humanos a través de un seguidor ocular, obtener direcciones de la línea de visión de los ojos humanos y determinar además si se produce o no un comportamiento de fijación efectivo en base a la determinación en tiempo de permanencia de la línea de visión. Dicho modo de identificación está limitado al principio de funcionamiento de un seguidor ocular actual aplicado aun entorno de realidad virtual, y los datos de movimiento ocular adquiridos por el seguidor ocular solo pueden expresar la dirección visual y no pueden expresar información del comportamiento de fijación de una profundidad visual en el espacio tridimensional.
Con el desarrollo de la tecnología de RV, cómo utilizar el seguidor ocular para obtener datos de movimiento ocular de profundidad en el espacio tridimensional virtual se convierte en un problema a resolver. Al proporcionar el método de identificación para el comportamiento de fijación en el espacio tridimensional, la presente solicitud logra la identificación del comportamiento de fijación en el espacio tridimensional, particularmente la identificación del comportamiento de fijación en el espacio tridimensional en una escena RV.
Como se muestra en la Fig. 1, se proporciona el método de identificación para el comportamiento de fijación en el espacio tridimensional de acuerdo con una realización de la presente solicitud, que comprende los siguientes pasos:
paso S101: adquirir datos de movimiento ocular de dos ojos de un usuario.
Los datos de movimiento ocular incluyen: puntos de tiempo de muestreo, coordenadas 3D de posiciones de los dos ojos en puntos de tiempo de muestreo en un sistema de coordenadas espaciales tridimensionales y coordenadas 3D de posiciones de puntos de fijación de los dos ojos.
Teniendo como objetivo la identificación del comportamiento de fijación en el espacio tridimensional, el espacio tridimensional puede dividirse en dos tipos: un tipo es un espacio tridimensional virtual generado por equipos, por ejemplo, un espacio tridimensional generado por la tecnología de RV; y teniendo como objetivo dicho espacio tridimensional virtual, un sistema de coordenadas utilizado cuando se genera el espacio tridimensional virtual puede emplearse directamente como el sistema de coordenadas espaciales tridimensionales para adquirir los datos de movimiento ocular en esta aplicación, y el sistema de coordenadas espaciales tridimensionales puede establecerse además con un ojo dominante o un seguidor ocular para detección como el centro. El otro tipo de espacio tridimensional es un espacio tridimensional de la realidad, por ejemplo, un espacio tridimensional con la tecnología de RA como base; y teniendo como objetivo dicho espacio tridimensional de la realidad, el sistema de coordenadas espaciales tridimensionales puede establecerse con el ojo dominante o el seguidor ocular para detección como el centro y, en ciertos casos específicos, el sistema de coordenadas espaciales tridimensionales puede establecerse además con un punto utilizado para etiquetarlo en el espacio tridimensional de realidad como el centro. Específicamente, para el espacio tridimensional de la realidad, la adquisición de coordenadas correspondiente puede realizarse en combinación con un instrumento de medición de distancia especial o un software de medición de distancia.
En algunas realizaciones, como se muestra en la Fig. 2, con un entorno de aplicación de RV como ejemplo, el paso de adquirir datos de movimiento ocular de los dos ojos del usuario puede comprender:
Paso S111: establecer el sistema de coordenadas espaciales tridimensionales. El sistema de coordenadas espaciales tridimensionales está asociado con datos de un espacio de realidad virtual en la escena de RV.
Paso S112: realizar una detección en un punto de tiempo de muestreo asignado con el seguidor ocular para obtener una coordenada 3D del ojo izquierdo, una coordenada 3D del ojo derecho, información de dirección visual del ojo izquierdo (por ejemplo, un ángulo visual) e información de dirección visual del ojo derecho (por ejemplo, el ángulo visual) en el sistema de coordenadas espaciales tridimensionales.
En el espacio tridimensional virtual generado por la tecnología de RV, a medida que se establecen datos de coordenadas intactos de un objeto en el espacio tridimensional, los datos de coordenadas pueden ser detectados directamente por el seguidor ocular y convertidos en la coordenada 3D del ojo izquierdo y/o en la coordenada 3D del ojo derecho, una dirección visual del ojo izquierdo y una dirección visual del ojo derecho.
Además, puede obtenerse directamente una coordenada de un punto en el que una línea de extensión en una dirección visual se cruza con el objeto, es decir, una coordenada 3D de un punto de movimiento del ojo izquierdo y/o una coordenada 3D de un punto de movimiento del ojo derecho.
Paso S113: crear una línea de extensión en una dirección visual del ojo izquierdo con la coordenada 3D del ojo izquierdo como punto inicial, y tomar una coordenada de una primera intersección en la que la línea de extensión se cruza con un objeto en el espacio tridimensional virtual en la escena de RV como coordenada 3D del punto de movimiento del ojo izquierdo.
Paso S114: crear una línea de extensión en una dirección visual del ojo derecho con la coordenada 3D del ojo derecho como punto inicial, y tomar una coordenada de una primera intersección en la que la línea de extensión se cruza con un objeto en el espacio tridimensional virtual en la escena de RV como coordenada 3D del punto de movimiento del ojo derecho.
Además, en el espacio tridimensional virtual generado por la tecnología de RA, definiendo el sistema de coordenadas espaciales tridimensionales, los datos de coordenadas son detectados por el seguidor ocular y pueden ser convertidos en la coordenada 3D del ojo izquierdo y/o la coordenada 3D del ojo derecho, la dirección visual del ojo izquierdo y la dirección visual del ojo derecho. Se crean líneas de extensión en la dirección visual del ojo izquierdo y la dirección visual del ojo derecho, y las intersecciones en las que las líneas de extensión se cruzan con el objeto en el espacio tridimensional de la realidad sirven como el punto de movimiento del ojo izquierdo y el punto de movimiento del ojo derecho respectivamente. Además, utilizando el instrumento de medición de distancia o el software de medición de distancia, se puede obtener una distancia desde el punto de movimiento del ojo izquierdo al ojo izquierdo y/o una distancia desde el punto de movimiento del ojo derecho al ojo derecho, y se puede calcular una coordenada 3D del punto de movimiento del ojo izquierdo y/o una coordenada 3D del punto de movimiento del ojo derecho en combinación con un vector de dirección visual del ojo izquierdo y un vector de dirección visual del ojo derecho.
Además, en el espacio tridimensional de la realidad, estableciendo el sistema de coordenadas espaciales tridimensionales y combinándolo con el instrumento de medición de distancias o el software de medición de distancias, se puede obtener una coordenada de una entidad en el entorno en el sistema de coordenadas espaciales tridimensionales; y a continuación se pueden obtener coordenadas 3D de los puntos de fijación de los dos ojos en base a coordenadas 3D e información de dirección visual, obtenidas por el seguidor ocular, de las posiciones de los dos ojos en un punto de tiempo de muestreo en el sistema de coordenadas espaciales tridimensionales.
Paso S102: seleccionar datos de movimiento ocular para identificar el comportamiento de fijación a partir de los datos de movimiento ocular adquiridos, que comprende:
si se conoce el ojo dominante, utilizar datos de movimiento ocular correspondientes al ojo dominante como los datos de movimiento ocular para identificar el comportamiento de mirada; y
si se desconoce el ojo dominante, utilizar un valor medio de los datos de movimiento ocular del ojo izquierdo y del ojo derecho como los datos de movimiento ocular para identificar el comportamiento de mirada.
En esta realización, al ojo dominante también se le denomina ojo que mira u ojo maestro. Fisiológicamente, un objeto visto por el ojo dominante puede ser recibido por un cerebro con prioridad, y el ojo dominante puede ser el ojo izquierdo o el ojo derecho. Como el cerebro utiliza habitualmente la obtención de imágenes del ojo dominante para analizar y situar el objeto, por ejemplo empleando los datos de movimiento ocular del ojo dominante como datos principales para identificar el punto de la mirada, puede reflejarse la realidad con más precisión, y se mejoran el efecto y la precisión de la identificación.
Si se conoce el ojo dominante, los datos de movimiento ocular, correspondientes al ojo dominante, del ojo izquierdo o del ojo derecho se toman como los datos de movimiento ocular para identificar el comportamiento de mirada. Si se desconoce el ojo dominante, el valor medio de los datos de movimiento ocular del ojo izquierdo y del ojo derecho se puede tomar como los datos de movimiento ocular para identificar el comportamiento de mirada, donde en los datos de movimiento ocular para identificar el comportamiento de mirada, una coordenada 3D de un ojo humano es el valor medio de las coordenadas 3D del ojo izquierdo y del ojo derecho, y una coordenada 3D de un punto de movimiento ocular del ojo humano es un valor medio de la coordenada 3D del punto de movimiento del ojo izquierdo y la coordenada 3D del punto de movimiento del ojo derecho.
En esta realización, con el fin de reflejar con precisión un punto de mirada generado en una visión real, con la condición de que se conoce el ojo dominante, los datos de movimiento ocular del ojo dominante se emplean prioritariamente para la identificación; y si se desconoce el ojo dominante, una desviación generada por los datos de movimiento ocular de un ojo no dominante puede reducirse en un modo de resolución del valor medio.
A modo de ejemplo, cuando la detección se realiza en un punto de tiempo de muestreo ti, la coordenada 3D del ojo izquierdo es (0, 0, 1), la coordenada 3D del punto de movimiento del ojo izquierdo es (20, 30, 26), la coordenada 3D del ojo derecho es (0, 6 , 1), y la coordenada 3D del punto de movimiento del ojo derecho es (18, 32, 27). Si se conoce que el ojo izquierdo o el ojo derecho es el ojo dominante, los datos del ojo correspondiente se emplean directamente como los datos de movimiento ocular del ojo dominante. Si se desconoce el ojo dominante, el valor medio (0, 3, 1) de la coordenada 3D del ojo izquierdo y la coordenada 3D del ojo derecho se toma como la coordenada 3D del ojo humano en los datos de identificación, el valor medio (19, 31, 26,5) de la coordenada 3D del punto de movimiento del ojo izquierdo y la coordenada 3D del punto de movimiento del ojo derecho se toma como la coordenada 3D del punto de movimiento ocular de los datos de movimiento ocular para identificar el comportamiento de mirada, y los dos valores medios se registran en el punto de tiempo de muestreo t1 al mismo tiempo.
En algunas realizaciones, después de adquirir los datos de movimiento ocular del ojo izquierdo y del ojo derecho, el método de identificación comprende además: preprocesar los datos de movimiento ocular del ojo izquierdo y del ojo derecho de manera que una cantidad de los datos de movimiento ocular incluidos en la unidad de tiempo sea la misma y se eliminen un ruido de muestreo y los valores atípicos.
En esta realización, los datos de movimiento ocular del ojo izquierdo y del ojo derecho se pueden preprocesar previamente en un modo de interpolación, operación de suavizado y/o corrección de frecuencia. Como estos medios de procesamiento son medios de procesamiento de datos existentes, los detalles no se repetirán en el presente documento.
Paso S103: calcular las velocidades angulares del movimiento ocular en una pluralidad de puntos de tiempo de muestreo en los datos de movimiento ocular seleccionados, y determinar los datos de punto de mirada correspondientes al comportamiento de mirada, en base a las velocidades angulares del movimiento ocular calculadas y a un umbral de velocidad angular del movimiento ocular correspondiente al comportamiento de mirada.
Específicamente, cuando las velocidades angulares de movimiento ocular son menores que el umbral de velocidad angular del movimiento ocular, los datos de movimiento ocular correspondientes pueden servir como datos del punto de mirada. De acuerdo con la definición de las velocidades angulares del movimiento ocular, se requiere que se detecten los ángulos de rotación de los ojos humanos por unidad de tiempo para la medición de las velocidades angulares del movimiento ocular en los puntos de tiempo de muestreo. A modo de ejemplo, un valor medio de las velocidades angulares del movimiento ocular en un período de tiempo de ventana puede obtenerse midiendo una distancia entre la rotación de los globos oculares en ciertos rangos de tiempo antes y después de un punto de tiempo de muestreo asignado en un intervalo; y el valor medio se define como la velocidad angular del movimiento ocular en el punto de tiempo de muestreo asignado. En otras realizaciones, un valor máximo, un valor mínimo, una mediana o similar de las velocidades angulares del movimiento ocular en diferentes puntos de tiempo de muestreo en un período de tiempo de ventana se puede emplear además como la velocidad angular del movimiento ocular en el punto de tiempo de muestreo asignado.
Para mejorar aún más la precisión, existe la necesidad de seleccionar razonablemente un número de muestras en una ventana de muestreo de acuerdo con una duración del intervalo entre los puntos de tiempo de muestreo; un rango de la ventana de muestreo se controla para que no sea demasiado pequeño, necesita garantizar que el número o rango de muestras en la ventana de muestreo refleja suficientemente las características de la velocidad angular del movimiento ocular en el punto de tiempo de muestreo asignado; y un rango en la ventana de muestreo se controla para que no sea demasiado grande, es necesario controlar el número o rango de muestras en la ventana de muestreo en un cierto rango para garantizar que es representativo.
Además, si la velocidad angular del movimiento ocular correspondiente en el punto de tiempo de muestreo asignado es menor que el umbral de velocidad angular del movimiento ocular, el punto de movimiento del ojo dominante correspondiente en el punto de tiempo de muestreo asignado se almacena como el punto de mirada. Preferiblemente, en algunas realizaciones, el umbral de velocidad angular del movimiento ocular es de 10-30°/s, por ejemplo, teniendo como objetivo algunas escenas de aplicación, el umbral de velocidad angular del movimiento ocular puede establecerse como 20°/s. Si la velocidad angular del movimiento ocular correspondiente en el punto de tiempo de muestreo asignado es menor que 20°/s, el punto de movimiento del ojo en el punto de tiempo de muestreo asignado se clasifica como el punto de mirada, la coordenada 3D correspondiente del punto de movimiento del ojo en el punto de tiempo de muestreo asignado se clasifica como la coordenada 3D del ojo dominante al mismo tiempo, y se registran la coordenada 3D correspondiente del ojo dominante y el punto de tiempo de muestreo.
En algunas realizaciones, el paso de calcular la velocidad angular del movimiento ocular en la pluralidad de puntos de tiempo de muestreo en los datos de movimiento ocular seleccionados comprende:
si el número de muestras n en la ventana de muestreo es par, dividir el ángulo incluido de las líneas de visión entre dos puntos de fijación en el n/2-ésimo grupo de datos de movimiento ocular antes y después de cada punto de tiempo de muestreo por la duración del intervalo de muestreo para obtener la velocidad angular del movimiento ocular; y
si el número de muestras n en una ventana de muestreo es impar, dividir el ángulo incluido de las líneas de visión entre dos puntos de fijación en el (n - 1)/2-ésimo grupo de datos de movimiento ocular antes y después de cada punto de tiempo de muestreo por la duración del intervalo de muestreo para obtener la velocidad angular del movimiento ocular.
A modo de ejemplo, cuando la duración del intervalo entre dos puntos de tiempo de muestreo es de 20 ms, el número de muestras en una ventana de muestreo se selecciona como 10, el ángulo incluido de las líneas de visión de 4° entre los puntos de mirada correspondientes en los quintos puntos de tiempo de muestreo antes y después del punto de tiempo de muestreo asignado se divide por la duración del intervalo de 200 ms, y a continuación se obtiene la velocidad angular del movimiento ocular de 20°/s en el punto de tiempo de muestreo asignado.
Específicamente, en algunas realizaciones, una fórmula de cálculo de la velocidad angular del movimiento ocular es la siguiente:
arccos l112
donde At representa la duración del intervalo de muestreo; ^ yl 2son vectores de dirección de los ojos que apuntan a dos puntos de fijación respectivamente; arccos(T¡_,representa un ángulo incluido entre dos líneas de visión; y w representa la velocidad angular del movimiento ocular.
Paso S104: combinar datos de punto de mirada, y satisfaciendo la condición de proximidad temporal y la condición de proximidad espacial al mismo tiempo, en los datos de punto de mirada para obtener una duración de mirada y coordenadas 3D de puntos de mirada, donde la condición de proximidad temporal es que un intervalo entre los puntos de tiempo de muestreo sea menor que una primera duración establecida, y la condición de proximidad espacial es que un ángulo incluido de las líneas de visión entre puntos de mirada adyacentes sea menor que un ángulo establecido, y una distancia entre puntos de mirada adyacentes sea menor que una distancia establecida.
Específicamente, las duraciones de los intervalos de los datos de punto de mirada, que satisfacen la proximidad temporal y la proximidad espacial al mismo tiempo, se acumulan para obtener una duración de mirada; y un valor medio o una mediana de coordenadas 3D de diferentes puntos de fijación en los datos de punto de mirada, que satisfacen la proximidad temporal y la proximidad espacial al mismo tiempo, puede servir como la coordenada 3D del punto de mirada. En algunas realizaciones, la coordenada 3D del punto de movimiento del ojo en un punto de tiempo de muestreo central puede servir además como la coordenada 3D del punto de mirada.
La aparición del comportamiento de fijación se refiere a que el punto de mirada permanece durante un cierto tiempo dentro de un cierto rango, lo que puede expresar que los ojos humanos están mirando. En la técnica anterior, la detección del comportamiento de fijación en un espacio bidimensional toma que las direcciones visuales de los ojos humanos permanecen durante un tiempo establecido dentro de un cierto rango como un estándar solamente, no puede cumplir el requisito de medición para una profundidad visual requerida durante la identificación del comportamiento de fijación en el espacio tridimensional tomando solamente la dirección visual como el estándar y no puede obtener además información de posición específica de los puntos de mirada en el espacio tridimensional al mismo tiempo. El inventor de esta solicitud realiza una mejora adicional teniendo como objetivo la identificación visual en el espacio tridimensional en base a la tecnología de RA y la tecnología de RV y tiene por objeto obtener un tiempo de mirada eficaz e información de posición en el espacio tridimensional.
En esta realización, debido a la identificación que tiene como objetivo el comportamiento de fijación en el espacio tridimensional, para obtener puntos de mirada efectivos e información del tiempo de mirada, existe la necesidad de combinar puntos de mirada asociados en diferentes puntos de tiempo de muestreo. Teniendo como objetivo los puntos de mirada en el espacio tridimensional, se pueden establecer dos estándares de la condición de proximidad temporal y la condición de proximidad espacial, específicamente como sigue:
determinar la condición de proximidad temporal puede comprender: el intervalo entre los puntos de tiempo de muestreo es menor que la primera duración establecida.
Determinar la condición de proximidad espacial puede comprender:
1) el ángulo incluido de las líneas de visión entre puntos de mirada adyacentes es menor que el ángulo establecido; y
2) la distancia entre puntos de mirada adyacentes es menor que la distancia establecida.
Para garantizar que los puntos de mirada obtenidos sean todos continuos tanto en el tiempo como en la posición espacial tridimensional, existe la necesidad de determinar si todos los puntos de mirada generados en el espacio tridimensional cumplen o no los estándares de proximidad temporal y proximidad espacial al mismo tiempo.
En esta realización, en el aspecto de condición de proximidad temporal, los puntos de mirada con el intervalo entre los puntos de tiempo de muestreo menor que la primera duración establecida se combinan, preferiblemente, la primera duración establecida es de 75 ms o menos, por ejemplo, los puntos de mirada en el intervalo entre los puntos de tiempo de muestreo menor que 75 ms pueden combinarse. En otras realizaciones, la primera duración establecida puede establecerse además como otros tiempos menores que 75 ms, por ejemplo, 60 ms, 50 ms y similares.
En el aspecto de la condición de proximidad espacial, en esta realización, se definen dos parámetros de determinación, donde un parámetro de determinación es el ángulo incluido de las líneas de visión entre puntos de mirada adyacentes, y el otro parámetro de determinación es la distancia entre puntos de mirada adyacentes. Debido al espacio tridimensional, la condición de proximidad espacial se expresa en un ángulo incluido de las líneas de visión relativamente pequeño y requiere además que los puntos de mirada adyacentes se mantengan cercanos en profundidad visual al mismo tiempo.
En esta realización, en la condición de proximidad espacial, el ángulo incluido de las líneas de visión entre los puntos de mirada adyacentes se establece para que sea menor que el ángulo establecido, y la distancia entre los puntos de mirada se establece para que sea menor que la distancia establecida al mismo tiempo; y el ángulo establecido es de 0,5°, y la distancia establecida es L.
Específicamente, una fórmula de cálculo de la distancia establecida L es la siguiente:
L = Axmin (Di, D2) D2) --- 0--,
donde L representa la distancia establecida, X es un coeficiente de amplificación,Xtoma un valor de 1,0 a 1,3, D1 y D2 representan las distancias desde los ojos a dos puntos de mirada de proximidad temporal respectivamente, y 0 representa el ángulo incluido de las líneas de visión entre los puntos de mirada adyacentes, en grados.
En el entorno de aplicación de realidad virtual de la presente solicitud, se pueden calcular una distancia del objeto y las distancias de los ojos de un observador. Los datos medidos por el seguidor ocular son datos con direcciones, es decir, los datos pueden indicar una dirección de mirada del observador, de modo que se puede determinar el objeto, visto por el observador en esta dirección de mirada en la escena de realidad virtual, en la escena de realidad virtual, y a continuación se pueden determinar las distancias desde los ojos del observador al objeto en realidad virtual, es decir, D1 y D2.
A modo de ejemplo, como se muestra en la Fig. 4, en el espacio tridimensional, los puntos de mirada, correspondientes a dos puntos de tiempo de muestreo cercanos, del ojo dominante son el punto A y el punto B, un ángulo incluido de las líneas de visión es 01, las distancias desde los puntos de mirada A y B hasta el ojo dominante son D1 y D2 (D1<D2) respectivamente, una distancia entre A y B es D3, y entonces la distancia establecida es la siguiente:
Q
L = 1 x DI x tan —
573. Si L es menor o igual que D3, y 01 es menor de 0,5°, es decir, en el caso de satisfacer tanto la condición de proximidad espacial como la condición de proximidad temporal, los puntos de mirada pueden combinarse.
En una realización de la presente solicitud, la combinación de los puntos de mirada puede comprender: borrar una parte de los puntos de mirada en los puntos de mirada que satisfacen la condición de proximidad espacial y la condición de proximidad temporal, o tomar un valor medio de los puntos de mirada para obtener un nuevo punto de mirada, sin embargo, la presente solicitud no está limitada a esto.
Paso S105: determinar el punto de mirada con la duración de mirada mayor que la segunda duración establecida en base a los datos de punto de la mirada fusionados, e identificar el comportamiento de mirada.
En esta realización, para emitir además información de mirada en el proceso de aplicación real, existe una necesidad de definición de índice en las duraciones de los puntos de mirada combinados en el paso S1054. En esta realización, los puntos de mirada con la duración de mirada que alcanza la segunda duración establecida se determinan como aparición del comportamiento de mirada, preferiblemente, la segunda duración establecida es de 100 ms. En otras realizaciones, la segunda duración establecida puede establecerse además como otros valores mayores o menores de acuerdo con escenas de aplicación específicas.
Es decir, en este paso, se comprueba si las duraciones de los puntos de mirada combinados son mayores o iguales a 100 ms o no. En caso afirmativo, los puntos de mirada se mantienen como puntos de mirada efectivos; o de lo contrario, los puntos de mirada no satisfacen la condición de duración y deberían borrarse.
A partir de los pasos anteriores, en el método de la presente solicitud, utilizando el seguidor ocular en combinación con datos del sistema de coordenadas espaciales tridimensionales, se obtienen con precisión los datos de movimiento ocular del ojo dominante en el espacio tridimensional, y se obtiene la información de profundidad visual. Al establecer tres estándares de que el intervalo entre puntos de tiempo de muestreo sea menor que la primera duración establecida, el ángulo incluido de las líneas de visión entre los puntos de mirada adyacentes sea menor que un ángulo establecido, y la distancia entre los puntos de mirada adyacentes sea menor que la distancia establecida, teniendo como objetivo dos aspectos de proximidad temporal y proximidad espacial, el comportamiento de fijación en el espacio tridimensional se determina en combinación con una diferencia de profundidad visual y puede identificarse con precisión.
Dicho de otra forma, de acuerdo con la solución técnica de la presente solicitud, se puede resolver el problema de que los datos de movimiento ocular adquiridos por el seguidor ocular y aplicados al entorno de realidad virtual pueden expresar las direcciones visuales solamente y no pueden expresar la información de comportamiento de fijación de la profundidad visual en el espacio tridimensional en la actualidad, de modo que se pueda determinar la profundidad visual, y a continuación se pueden calcular con precisión los puntos de mirada del comportamiento de fijación con la profundidad visual en la escena de realidad virtual.
Por consiguiente, la presente solicitud proporciona además un aparato para identificar un comportamiento de fijación en un espacio tridimensional, que comprende una memoria, un procesador y programas informáticos que se almacenan en la memoria y pueden ejecutarse en el procesador. Cuando el procesador ejecuta los programas informáticos, se pueden implementar los pasos del método anterior.
Además, la presente solicitud proporciona además un medio de almacenamiento legible por ordenador, en el que se almacenan programas informáticos; y cuando el procesador ejecuta los programas, se implementan los pasos del método anterior.
En la ilustración de esta descripción, la ilustración de términos de referencia "una realización", "una realización específica", "algunas realizaciones", "por ejemplo", "ejemplo", "ejemplo específico" o "algunos ejemplos", etc., significa que los rasgos, estructuras, materiales o características específicos ilustrados en combinación con la realización o ejemplo están incluidos en al menos una realización o ejemplo de la presente solicitud. En esta descripción, las declaraciones ejemplares para los términos anteriores no deben apuntar a la misma realización o ejemplo. Además, los rasgos, estructuras, materiales o características específicos descritos pueden combinarse apropiadamente en una o más realizaciones o ejemplos cualesquiera. La secuencia de pasos implicados en cada realización se utiliza para ilustrar esquemáticamente la implementación de la presente solicitud, y la secuencia de pasos en la misma no está limitada, y puede ajustarse apropiadamente según se requiera.
Los expertos en la técnica apreciarán que las realizaciones de la presente solicitud pueden proporcionarse como un método, sistema o producto de programa informático. Por consiguiente, la presente solicitud puede adoptar la forma de una realización completa de hardware, una realización completa de software o una realización que combina aspectos de software y hardware. Además, la presente solicitud puede adoptar la forma de un producto de programa informático incorporado en uno o más medios de almacenamiento utilizables por un ordenador (incluyendo, pero no limitado a, almacenamiento en disco, CD-ROM, memoria óptica, etc.) que tienen códigos de programa utilizables por un ordenador.
La presente solicitud se describe con referencia a diagramas de flujo y/o diagramas de bloques de métodos, aparatos (sistemas) y productos de programa informático de acuerdo con realizaciones de la presente solicitud. Se entenderá que cada flujo y/o bloque en el diagrama de flujo y/o en los diagramas de bloques, y combinaciones de flujos y/o bloques en los diagramas de flujo y/o en los diagramas de bloques, puede implementarse mediante instrucciones de programa informático. Estas instrucciones de programa informático pueden proporcionarse al procesador de un ordenador de propósito general, ordenador de propósito especial, procesador embebido u otro dispositivo de procesamiento de datos programable para producir una máquina de modo que las instrucciones ejecutadas por el procesador del ordenador u otro dispositivo de procesamiento de datos programable produzcan un dispositivo para implementar las funciones especificadas en uno o más flujos de un diagrama de flujo y/o uno o más bloques de un diagrama de bloques.
Estas instrucciones de programa informático también pueden almacenarse en una memoria legible por ordenador capaz de dirigir a un ordenador u otros dispositivos de procesamiento de datos programables para que funcionen de una manera particular, de modo que las instrucciones almacenadas en la memoria legible por ordenador produzcan un artículo de fabricación que comprende dispositivos de instrucciones que se utilizan para implementar las funciones especificadas en uno o más flujos de un diagrama de flujo y/o en uno o más bloques de un diagrama de bloques.
Estas instrucciones de programa informático también pueden cargarse en un ordenador u otros dispositivos de procesamiento de datos programables de modo que se realice una serie de pasos operativos en el ordenador u otros dispositivos programables para producir un procesamiento implementado por ordenador, de modo que las instrucciones ejecutadas en el ordenador u otros dispositivos programables proporcionan pasos para implementar las funciones especificadas en uno o más flujos de un diagrama de flujo y/o en uno o más bloques de un diagrama de bloques.
Claims (8)
1. Un método implementado por ordenador para identificar un comportamiento de mirada en un espacio tridimensional, que comprende:
adquirir datos de movimiento ocular de dos ojos de un usuario (S101), donde los datos de movimiento ocular comprenden: puntos de tiempo de muestreo, coordenadas 3D de posiciones de los dos ojos en los puntos de tiempo de muestreo en un sistema de coordenadas espaciales tridimensionales y coordenadas 3<d>de posiciones de puntos de fijación de los dos ojos;
seleccionar datos de movimiento ocular para identificar un comportamiento de mirada a partir de los datos de movimiento ocular adquiridos (S102), y calcular velocidades angulares del movimiento ocular en una pluralidad de puntos de tiempo de muestreo en los datos de movimiento ocular seleccionados;
determinar los datos del punto de mirada correspondientes a un comportamiento de mirada en base a las velocidades angulares del movimiento ocular calculadas y un umbral de velocidad angular del movimiento ocular correspondiente al comportamiento de mirada (S103);
combinar datos de punto de mirada que satisfacen tanto una condición de proximidad temporal como una condición de proximidad espacial en los datos de punto de mirada para obtener una duración de mirada y coordenadas 3D de un punto de mirada, donde la condición de proximidad temporal es que un intervalo entre los puntos de tiempo de muestreo sea menor que una primera duración establecida, y la condición de proximidad espacial es que un ángulo incluido de las líneas visuales entre puntos de mirada adyacentes sea menor que un ángulo establecido y una distancia entre puntos de mirada adyacentes sea menor que una distancia establecida (S104); y
determinar un punto de mirada con una duración de mirada mayor que una segunda duración establecida en base a los datos de punto de mirada combinados, e identificar el comportamiento de mirada (S105); caracterizado por que, donde
el ángulo incluido de las líneas visuales entre los puntos de mirada adyacentes es menor de 0,5°; la distancia entre los puntos de mirada adyacentes es menor que una distancia establecida; y una fórmula de cálculo de la distancia
L = A X min (D1; D2) X tan—<9>
« A x min (D1; D2) ■<0>
establecida es 573t
57t
-t
i ,donde L representa la distancia establecida, X es un coeficiente de amplificación,Xtoma un valor de 1,0 a 1,3, D1 y D2 representan las distancias desde los ojos a dos puntos de mirada de proximidad temporal respectivamente, y 0 representa un ángulo incluido de las líneas visuales entre los puntos de mirada adyacentes; y
el comportamiento de mirada comprende ojos humanos mirando un punto de mirada durante un tiempo preestablecido.
2. El método de identificación de acuerdo con la reivindicación 1, caracterizado por que la adquisición de datos de movimiento ocular de los dos ojos del usuario comprende:
establecer un sistema de coordenadas espaciales tridimensionales (S111);
realizar una detección en un punto de tiempo de muestreo asignado con un seguidor ocular para obtener una coordenada 3D del ojo izquierdo, una coordenada 3D del ojo derecho, información de dirección visual del ojo izquierdo e información de dirección visual del ojo derecho en el sistema de coordenadas espaciales tridimensionales (S112);
con la coordenada 3D del ojo izquierdo como punto inicial, tomar una coordenada de una primera intersección en la que una dirección visual del ojo izquierdo se cruza con un objeto en el espacio tridimensional como coordenada 3D de un punto de movimiento del ojo izquierdo (S113); y
con la coordenada 3D del ojo derecho como punto inicial, tomar una coordenada de una primera intersección en la que una dirección visual del ojo derecho se cruza con un objeto en el espacio tridimensional como coordenada 3D de un punto de movimiento del ojo derecho (S114).
3. El método de identificación de acuerdo con la reivindicación 1, caracterizado por que la selección de los datos de movimiento ocular para identificar un comportamiento de mirada a partir de los datos de movimiento ocular adquiridos comprende:
utilizar datos de movimiento ocular correspondientes al ojo dominante como los datos de movimiento ocular para identificar un comportamiento de mirada; o
utilizar un valor medio de datos de movimiento ocular del ojo izquierdo y del ojo derecho como los datos de movimiento ocular para identificar un comportamiento de mirada.
4. El método de identificación de acuerdo con la reivindicación 1, caracterizado por que el cálculo de la velocidad angular del movimiento ocular en la pluralidad de puntos de tiempo de muestreo en los datos de movimiento ocular seleccionados comprende:
sí un número de muestras n en una ventana de muestreo es par, dividir un ángulo incluido de las líneas visuales entre dos puntos de fijación en el n/2-ésimo grupo de datos de movimiento ocular antes y después de cada punto de tiempo de muestreo por una duración del intervalo de muestreo para obtener la velocidad angular del movimiento ocular; y si el número de muestras n en una ventana de muestreo es impar, dividir el ángulo incluido de las líneas visuales entre los dos puntos de fijación en el (n - 1)/2-ésimo grupo de datos de movimiento ocular antes y después de cada punto de tiempo de muestreo por la duración del intervalo de muestreo para obtener la velocidad angular del movimiento ocular.
5. El método de identificación de acuerdo con la reivindicación 4, caracterizado porque una fórmula de cálculo de la velocidad angular del movimiento ocular es:
árceos (l l t l2)
cú -------- :-------At
donde At representa la duración del intervalo de muestreo; y son vectores de dirección de los ojos que apuntan a dos puntos de fijación respectivamente; arccos(T¡_, ~Qrepresenta un ángulo incluido entre dos líneas de visión; y w representa la velocidad angular del movimiento ocular.
6. El método de identificación de acuerdo con la reivindicación 1, caracterizado porque el umbral de velocidad angular del movimiento ocular es de 10-30°/s, la primera duración establecida es de 75 ms o menos; y la segunda duración establecida es de 100 ms.
7. Un aparato para identificar un comportamiento de mirada en un espacio tridimensional, que comprende una memoria, un procesador, donde la memoria almacena programas informáticos que son ejecutables por el procesador, y el procesador ejecuta los programas informáticos para implementar el método de cualquiera de las reivindicaciones 1-6.
8. Un medio de almacenamiento legible por ordenador con programas informáticos almacenados en el mismo, los programas informáticos se ejecutan para implementar el método de cualquiera de las reivindicaciones 1-6.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010065990.2A CN111309144B (zh) | 2020-01-20 | 2020-01-20 | 三维空间内注视行为的识别方法、装置及存储介质 |
| PCT/CN2021/072883 WO2021147905A1 (zh) | 2020-01-20 | 2021-01-20 | 三维空间内注视行为的识别方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2993409T3 true ES2993409T3 (en) | 2024-12-30 |
Family
ID=71158401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES21745193T Active ES2993409T3 (en) | 2020-01-20 | 2021-01-20 | Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12099650B2 (es) |
| EP (1) | EP4016255B1 (es) |
| CN (1) | CN111309144B (es) |
| ES (1) | ES2993409T3 (es) |
| WO (1) | WO2021147905A1 (es) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111309144B (zh) | 2020-01-20 | 2022-02-01 | 北京津发科技股份有限公司 | 三维空间内注视行为的识别方法、装置及存储介质 |
| CN112546613B (zh) * | 2020-12-22 | 2023-03-24 | 中国第一汽车股份有限公司 | 一种设备控制方法、装置、设备及存储介质 |
| US12189845B2 (en) * | 2021-02-16 | 2025-01-07 | Athena Accessible Technology, Inc. | Systems and methods for hands-free scrolling based on a detected user reading activity |
| CN113011394B (zh) * | 2021-04-26 | 2021-11-30 | 吉林大学 | 一种眼动数据预处理方法及系统 |
| CN113776172B (zh) * | 2021-08-12 | 2023-04-14 | 启北公司 | 场景温度规划方法和装置、计算机设备以及介质 |
| CN114022642B (zh) | 2021-10-08 | 2022-07-19 | 北京津发科技股份有限公司 | 时空行为轨迹采集、生成方法、装置、设备、系统及存储介质 |
| US12545262B2 (en) * | 2022-02-11 | 2026-02-10 | Honda Motor Co., Ltd. | System and method for predicting driver situational awareness |
| CN114578975B (zh) * | 2022-05-09 | 2022-07-22 | 南昌虚拟现实研究院股份有限公司 | 眼动追踪设备的注视点质量评测方法及系统 |
| CN115113731A (zh) * | 2022-06-28 | 2022-09-27 | 清华大学 | 一种眼动交互方法、装置和电子设备 |
| CN116246332B (zh) * | 2023-05-11 | 2023-07-28 | 广东工业大学 | 一种基于眼球追踪的数据标注质量检测方法、设备及介质 |
| US20240402798A1 (en) * | 2023-05-31 | 2024-12-05 | Apple Inc. | Gaze based controls for electronic devices |
| US20250341891A1 (en) * | 2024-05-03 | 2025-11-06 | Google Llc | Realtime background eye-tracking calibration |
| CN119165967B (zh) * | 2024-11-20 | 2025-06-24 | 中国人民解放军海军航空大学 | 一种基于眼动追踪的人机交互系统及其方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4976756B2 (ja) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
| US20100110368A1 (en) * | 2008-11-02 | 2010-05-06 | David Chaum | System and apparatus for eyeglass appliance platform |
| CN102096757A (zh) * | 2010-09-08 | 2011-06-15 | 浙江大学 | 一个基于时域约束的注视点聚类数据处理方法 |
| US10558272B2 (en) * | 2013-06-20 | 2020-02-11 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
| US9936195B2 (en) * | 2014-11-06 | 2018-04-03 | Intel Corporation | Calibration for eye tracking systems |
| KR20180057668A (ko) * | 2015-09-24 | 2018-05-30 | 토비 에이비 | 눈 추적 가능한 웨어러블 디바이스들 |
| CN106127149B (zh) * | 2016-06-22 | 2019-07-05 | 南京大学 | 一种基于眼动数据的流程图笔划成组的方法和装置 |
| WO2018023012A1 (en) * | 2016-07-29 | 2018-02-01 | Worcester Polytechnic Institute | Fixation identification using density optimization |
| JP7096836B2 (ja) * | 2017-03-22 | 2022-07-06 | マジック リープ， インコーポレイテッド | ディスプレイシステムのための深度ベース中心窩化レンダリング |
| CN107656613B (zh) * | 2017-09-08 | 2020-12-18 | 国网智能科技股份有限公司 | 一种基于眼动追踪的人机交互系统及其工作方法 |
| US11017551B2 (en) * | 2018-02-15 | 2021-05-25 | DMAI, Inc. | System and method for identifying a point of interest based on intersecting visual trajectories |
| CN108592865A (zh) * | 2018-04-28 | 2018-09-28 | 京东方科技集团股份有限公司 | 基于ar设备的几何量测量方法及其装置、ar设备 |
| CN109271030B (zh) * | 2018-09-25 | 2020-12-22 | 华南理工大学 | 一种三维空间下注视点轨迹多维度比较方法 |
| CN109255342B (zh) * | 2018-11-20 | 2020-07-10 | 武汉大学 | 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统 |
| US11537202B2 (en) * | 2019-01-16 | 2022-12-27 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
| EP3914997A4 (en) * | 2019-01-25 | 2022-10-12 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| CN109887000A (zh) * | 2019-01-30 | 2019-06-14 | 北京津发科技股份有限公司 | 注意追踪策略的识别方法、训练方法及其装置 |
| US11857378B1 (en) * | 2019-02-14 | 2024-01-02 | Onpoint Medical, Inc. | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
| CN110286754B (zh) * | 2019-06-11 | 2022-06-24 | Oppo广东移动通信有限公司 | 基于眼球追踪的投射方法及相关设备 |
| CN111309144B (zh) * | 2020-01-20 | 2022-02-01 | 北京津发科技股份有限公司 | 三维空间内注视行为的识别方法、装置及存储介质 |
| US11391945B2 (en) * | 2020-08-31 | 2022-07-19 | Sony Interactive Entertainment LLC | Automatic positioning of head-up display based on gaze tracking |
-
2020
- 2020-01-20 CN CN202010065990.2A patent/CN111309144B/zh active Active
-
2021
- 2021-01-20 EP EP21745193.9A patent/EP4016255B1/en active Active
- 2021-01-20 WO PCT/CN2021/072883 patent/WO2021147905A1/zh not_active Ceased
- 2021-01-20 ES ES21745193T patent/ES2993409T3/es active Active
-
2022
- 2022-03-21 US US17/699,656 patent/US12099650B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP4016255C0 (en) | 2024-08-28 |
| EP4016255A4 (en) | 2022-12-07 |
| CN111309144A (zh) | 2020-06-19 |
| US20220206575A1 (en) | 2022-06-30 |
| WO2021147905A1 (zh) | 2021-07-29 |
| CN111309144B (zh) | 2022-02-01 |
| EP4016255A1 (en) | 2022-06-22 |
| US12099650B2 (en) | 2024-09-24 |
| EP4016255B1 (en) | 2024-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2993409T3 (en) | Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium | |
| US11108964B2 (en) | Information processing apparatus presenting information, information processing method, and storage medium | |
| JP6690041B2 (ja) | 三次元物体上の注視点決定方法及び装置 | |
| Williams et al. | On combining visual SLAM and visual odometry | |
| US20170132806A1 (en) | System and method for augmented reality and virtual reality applications | |
| CN112666714B (zh) | 注视方向映射 | |
| US8532367B2 (en) | System and method for 3D wireframe reconstruction from video | |
| JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
| Kahn et al. | Towards precise real-time 3D difference detection for industrial applications | |
| KR20200005999A (ko) | 듀얼 이벤트 카메라를 이용한 slam 방법 및 slam 시스템 | |
| Gutiérrez-Gómez et al. | Inverse depth for accurate photometric and geometric error minimisation in RGB-D dense visual odometry | |
| Vidas et al. | Real-time mobile 3D temperature mapping | |
| US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US9239965B2 (en) | Method and system of tracking object | |
| WO2022135594A1 (zh) | 目标物体的检测方法及装置、融合处理单元、介质 | |
| JP2017096813A (ja) | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| JP2004265222A (ja) | インタフェース方法、装置、およびプログラム | |
| Bauer et al. | Predicting and estimating the accuracy of n-occular optical tracking systems | |
| CN117274396A (zh) | 基于新型标定模型的光学跟踪与深度相机坐标的标定方法 | |
| JP2019101967A (ja) | 動画像距離算出装置および動画像距離算出用プログラム | |
| EP3232405B1 (en) | Image processing apparatus and method for processing images | |
| Mitsugami et al. | Estimation of 3D gazed position using view lines | |
| Paletta et al. | FACTS-a computer vision system for 3D recovery and semantic mapping of human factors | |
| US20230122185A1 (en) | Determining relative position and orientation of cameras using hardware | |
| US20210248778A1 (en) | Image processing apparatus, detection method, and non-transitory computer readable medium |