ES2316272B1 - Sistema de seguimiento ocular para el gobierno de un ordenador. - Google Patents
Sistema de seguimiento ocular para el gobierno de un ordenador. Download PDFInfo
- Publication number
- ES2316272B1 ES2316272B1 ES200700409A ES200700409A ES2316272B1 ES 2316272 B1 ES2316272 B1 ES 2316272B1 ES 200700409 A ES200700409 A ES 200700409A ES 200700409 A ES200700409 A ES 200700409A ES 2316272 B1 ES2316272 B1 ES 2316272B1
- Authority
- ES
- Spain
- Prior art keywords
- function
- eye
- pupil
- computer
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
- G05G5/00—Means for preventing, limiting or returning the movements of parts of a control mechanism, e.g. locking controlling member
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Sistema de seguimiento ocular para el gobierno
de un ordenador, que se basa en el procesado de imágenes tomadas
por una cámara de video (2) sobre la cara del usuario (3) que mira
a la pantalla (4) del monitor del ordenador a controlar, en
combinación con el procesado de reflejos sobre el ojo de la luz
proyectada mediante focos (5), desarrollando un proceso que
comprende una función de identificación de la pupila del ojo, una
función de búsqueda de reflejos corneales, una función de
determinación del centro de la pupila, una función de determinación
del punto de la pantalla (4) al que se mira y una función que
determina la intención de la mirada sobre el punto seleccionado.
Description
Sistema de seguimiento ocular para el gobierno
de un ordenador.
La presente invención está relacionada con el
control de gobierno de los ordenadores mediante la vista,
proponiendo un sistema de seguimiento ocular que garantiza la
eficacia y precisión de dicha operatividad en su aplicación,
mediante un desarrollo de funciones que llevan a tal fin.
El control de gobierno de los ordenadores se
hace convencionalmente mediante un teclado y un ratón, para el
manejo de los cuales es necesario de manera imprescindible el uso
de las manos.
Sin embargo, para personas que se hallan
impedidas de la manipulación manual, se han desarrollado sistemas
basados en la utilización de otros medios corporales, existiendo en
tal sentido sistemas para controlar con la vista el comando de las
funciones sobre la pantalla de los ordenadores.
Dichos sistemas de control mediante la vista, se
basan en un seguimiento ocular, controlado por un equipo
electrónico que desarrolla una operatividad funcional mediante la
que se establece la fijación de los puntos de incidencia en la
pantalla del ordenador para el gobierno de las funciones operativas
del mismo, dependiendo la eficacia de los diferentes sistemas, de
la operatividad que desarrolla cada uno de ellos para la fijación
de los puntos.
De acuerdo con la invención se propone un
sistema de seguimiento ocular, para dicha aplicación de control de
los ordenadores con la vista, el cual se desarrolla mediante la
operatividad de unas funciones que permiten un resultado muy
eficiente y preciso en dicha finalidad.
Este sistema objeto de la invención se
desarrolla de manera convencional mediante la utilización de un
equipo electrónico en combinación con una cámara de vídeo enfocada
hacia la posición de la cara del usuario por delante de la pantalla
del monitor del ordenador, disponiendo unos focos laterales
enfocados hacia esa misma posición, para captar imágenes y reflejos
sobre los ojos del usuario, que se utilizan para determinar los
puntos de fijación en la pantalla para el control del
ordenador.
Según la invención el procesado de las imágenes
y reflejos que se obtienen de la cara del usuario situado frente a
la pantalla de control del ordenador, se desarrolla mediante una
operativa de funciones que son implementadas por el equipo
electrónico del sistema, comprendiendo una función de
identificación de la pupila del ojo, una función de búsqueda de
reflejos corneales, una función de determinación del centro de la
pupila, una función de determinación del punto de fijación de la
mirada y una función de determinación de la intención de la
mirada.
La función de identificación de la pupila
localiza la pupila del ojo en la imagen que toma la cámara del
sistema sobre la cara del usuario, mediante una comparación con
datos predeterminados, estableciendo la operatividad del sistema
según una particularización con respecto al usuario.
La función de búsqueda de reflejos corneales
determina unos puntos correspondientes a la reflexión de la luz de
los focos en el ojo del usuario, siendo combinado este resultado
con el de la identificación de la pupila, mediante la función de
determinación del centro de la pupila, para localizar el centro de
la pupila del ojo que se halla en observación.
La función de determinación del punto de
fijación de la mirada, establece, a partir de la localización del
centro de la pupila y mediante la comparación con imágenes de
archivo almacenadas, el punto al que va dirigida la mirada sobre la
pantalla del monitor, para dar lugar a la operatividad de
funcionamiento del ordenador que corresponde a dicho punto, como si
se picase sobre él con el ratón convencional.
La función de determinación de la intención de
la mirada, establece, a partir de medidas de distancia, velocidad
y tiempo, si la fijación de la mirada en el punto anterior
corresponde a una intención de actuar sobre el punto seleccionado,
o si simplemente es una coincidencia eventual de la observación
general de la pantalla.
Se obtiene de esta manera un sistema de gran
precisión y efectividad para comandar los ordenadores con la vista,
por lo que dicho sistema de la invención resulta de unas
características ventajosas que le confieren vida propia y carácter
preferente respecto de los sistemas ya conocidos que se utilizan en
esa aplicación.
La figura 1 muestra un esquema de la aplicación
del sistema preconizado, en relación con un usuario que está
mirando a la pantalla del monitor del ordenador a controlar.
La figura 2 es un esquema general en bloques del
conjunto funcional de dicho sistema preconizado.
La figura 3 es una representación ampliada del
esquema de la función de identificación de la pupila del ojo.
La figura 4 es una representación ampliada del
esquema de la función de búsqueda de reflejos corneales.
La figura 5 es una representación ampliada del
esquema de la función de determinación del centro de la pupila.
La figura 6 es una representación ampliada del
esquema de la función de determinación del punto de fijación de la
mirada.
La figura 7 es una representación ampliada del
esquema de la función de determinación de la intención de la
mirada.
El objeto de la invención se refiere a un
sistema de seguimiento ocular para el gobierno de los ordenadores
con la vista, utilizando un equipo electrónico (1), en combinación
con una cámara de vídeo (2) que se dispone enfocada hacia la
posición en la que el usuario (3) se sitúa mirando a la pantalla (4)
del monitor del ordenador a controlar, y con unos focos (5),
preferentemente de diodos LED, situados en los laterales, que se
disponen enfocados hacia la misma posición del usuario (3).
El objetivo del sistema es identificar la pupila
del ojo del usuario (3), seguir sus movimientos, determinar a qué
punto de la pantalla (4) del monitor está mirando y si la mirada
hacia dicho punto corresponde o no a una intención de actuar sobre
él; desarrollando para ello una función (I) que realiza la
identificación de la pupila, una función (II) que realiza una
búsqueda de reflejos corneales, una función (III) que determina el
centro de la pupila, una función (IV) que determina el punto al que
va dirigida la mirada, y una función (V) que determina la intención
de la mirada sobre el punto seleccionado.
El proceso funcional se desarrolla, determinando
en un primer paso, mediante la función (I), qué zona de la imagen
obtenida por la cámara (2) sobre la cara del usuario (3),
corresponde a la pupila del ojo.
Para ello se recurre en primer lugar a la
comparación de la imagen obtenida, con otras procesadas y
almacenadas anteriormente, de manera que, si se encuentra una imagen
relacionada con la captada por la cámara (2), se utiliza la ventana
del registro almacenado, con lo que se consigue una mayor velocidad
en la identificación de la pupila, y si no se encuentra ninguna
imagen relacionada, el sistema procede a buscar dentro de la imagen
obtenida la región que coincida con las características propias de
una pupila.
En cualquier caso, tanto si se encuentra o no un
registro anterior relacionado, se buscan zonas que coincidan en
cuanto a la intensidad del color, comparando cada región con una
base de datos y estableciendo diferentes zonas, dentro de la
imagen, que coincidan con unos parámetros determinados de longitud
de onda.
Una vez determinadas dichas zonas, se busca en
ellas un área concreta mediante la utilización de un contador de
pixeles, y mediante otro contador de píxeles frontera se determina
la elongación, que es la forma del perímetro, contando y
determinando los pixeles de una intensidad prefijada que limitan
con otros de diferente intensidad. Y por último, mediante un campo
matemático se halla la compacidad, que se obtiene de la relación
entre el área y la elongación.
Una vez localizada la pupila, mediante la
función (II) el sistema realiza una búsqueda de los reflejos
corneales procedentes de la reflexión de la luz de los focos (5) en
la córnea del ojo, procediendo de un modo semejante al de la
identificación de la pupila, pero utilizando otros parámetros, en
el desarrollo de una búsqueda de intensidad, área, elongación y
compacidad. Y en este caso, además, mediante un medidor de
distancias se halla la distancia y relación entre todas las zonas
que cumplan los requisitos preestablecidos, basándolo en la
distancia horizontal entre ellas.
Con los resultados de la identificación de la
pupila y de la búsqueda de los reflejos corneales, mediante la
función (III) se determina de forma precisa el centro de la pupila.
Para ello mediante el zoom de la cámara (2) se aumenta la ventana
en la que se halla enmarcada la pupila, evitando que ninguna parte
de ésta quede fuera, y sobre dicha ventana se realiza un barrido,
haciendo uso de un comparador de intensidades, con lo que se
localiza el umbral que mejor determina el contorno de la pupila,
hasta obtener una región definitiva de ésta.
A continuación, mediante un medidor se localiza
el punto central del área, realizando dicho medidor un cálculo de
los puntos medios de líneas verticales y horizontales, habiéndose
eliminado previamente, mediante el comparador de intensidades, las
líneas que tengan algún píxel que no cumpla los requisitos
previos, de forma que el punto intermedio de los puntos medios de
las líneas que quedan, es la referencia. Mediante un contador se
determina, por otra parte, si el número de las líneas resultantes
es suficiente para considerar válido el cálculo.
En el caso de los reflejos, el centro que se
calcula es el centro de masas obtenido mediante la umbralización
realizada de la misma manera que en el cálculo de la pupila.
A partir de la determinación del centro de la
pupila, mediante la función (IV) se lleva a cabo una iteración de
la figura de la pupila en su fijación sobre cada uno de los puntos
de la pantalla (5) del monitor, en base a un. registro previo de
imágenes recogidas por la cámara (2) y almacenadas, sobre la
fijación de la mirada del usuario (3) en cada uno de los puntos de
la pantalla (4), de manera que observando la imagen de la pupila y
comparándola con las imágenes almacenadas, se determina a qué punto
de la pantalla (4) está mirando el usuario (3) en cada momento.
El sistema debe determinar sin embargo, si la
intención de la mirada del usuario (3) dirigida hacia un punto
concreto de la pantalla (4), es la de producir una actuación sobre
dicho punto, o si solo es una coincidencia eventual por la
observación general de la pantalla (4).
Esto se realiza mediante la función (V), en la
que, mediante un velocímetro se mide la distancia entre los puntos
observados por unidad de tiempo, de manera que, si la velocidad del
movimiento ocular es superior a un cierto umbral, se determina que
no hay fijación de la mirada; y en el caso de que la velocidad del
movimiento ocular esté dentro de los límites del umbral, mediante
un medidor de distancias se comprueba si la distancia entre los
puntos determina una zona, y si es así se crea una ventana a su
alrededor, determinándose, mediante un cronómetro, la duración de
dicha ventana, que si no es superior a un tiempo prefijado es
eliminada.
Otro parámetro que se tiene en cuenta es la
dispersión de los puntos, que tampoco puede ser superior a un valor
predeterminado, lo cual se realiza mediante un comparador que
establece las diferencias entre imágenes consecutivas.
En el sistema se halla prevista además una
alimentación (6) de los focos (5) que permite que los LED de los
mismos trabajen a alta potencia, para identificar perfectamente los
reflejos, sin causar daños en el ojo del usuario (3).
Para ello, tendiendo en cuenta que la cámara (2)
captura treinta imágenes por segundo, mediante la alimentación (6)
el encendido de los focos (5) se hace de un modo sincronizado con
la cámara (2), de manera que los focos (5) solo están operativos
durante el tiempo de captura de imágenes por la cámara (2), con lo
que al no mantenerse encendidos permanentemente los focos (5), se
evita el daño de los ojos, permitiendo sin embargo un máximo
aprovechamiento de la potencia de los LED en los tiempos de
funcionamiento.
Por otro lado, para mejorar la captación de las
imágenes, la cámara (2) se prevé con un filtro
paso-banda que mejora el contraste.
Claims (7)
1. Sistema de seguimiento ocular para el
gobierno de un ordenador, del tipo que utiliza imágenes tomadas
por una cámara de vídeo (2) sobre la cara del usuario (3) cuando
mira a la pantalla (4) del monitor del ordenador a controlar,
procesando dichas imágenes mediante un equipo electrónico (1),
caracterizado porque el procesado de las imágenes que toma la
cámara de vídeo (1) se combina con el procesado de reflejos sobre
el ojo de la luz proyectada por unos focos (5) que se disponen a
los lados de la pantalla (4) de observación, desarrollando un
proceso funcional que comprende una función (I) de identificación
de la pupila del ojo, una función (II) de búsqueda de reflejos
corneales, una función (III) de determinación del centro de la
pupila, una función (IV) de determinación del punto de la pantalla
(4) al que se mira, y una función (V) que determina la intención de
la mirada sobre el punto seleccionado.
2. Sistema de seguimiento ocular para el
gobierno de un ordenador, de acuerdo con la primera
reivindicación, caracterizado porque la función (I) efectúa
una comparación de la imagen que capta la cámara de vídeo (2), con
imágenes obtenidas anteriormente y almacenas en archivo,
seleccionando por comparación de colores una zona de la imagen
captada y determinando la compacidad de dicha zona por el área y la
elongación de la misma, con lo cual se determina la localización de
la pupila del ojo del usuario (3).
3. Sistema de seguimiento ocular para el
gobierno de un ordenador, de acuerdo con la primera reivindicación,
caracterizado porque la función (II) efectúa una búsqueda de
reflejos corneales procedentes de la reflexión de la luz de los
focos (5) en la córnea del ojo del usuario (3), en base a una
comparación de intensidades de colores, el área, la elongación y la
compacidad, determinando, mediante una medición de distancias,
pares de zonas que cumplan con unos requisitos preestablecidos.
4. Sistema de seguimiento ocular para el
gobierno de un ordenador, de acuerdo con las reivindicaciones
primera a tercera, caracterizado porque a partir de los
resultados de identificación de la pupila que realiza la función
(I) y de la localización de reflejos que realiza la función (II),
la función (III) determina el centro de la pupila, en base a un
cálculo sobre puntos medios de líneas verticales y horizontales de
la zona determinada como pupila en la imagen captada.
5. Sistema de seguimiento ocular para el
gobierno de un ordenador, de acuerdo con la primera
reivindicación, caracterizado porque la función (IV)
determina a qué punto de la pantalla (4) va dirigida la mirada del
usuario (3) en cada momento, en base a una comparación de la figura
de la pupila y un registro de imágenes captadas y almacenadas
anteriormente.
6. Sistema de seguimiento ocular para el
gobierno de un ordenador, de acuerdo con las reivindicaciones
primera y quinta, caracterizado porque la función (V)
determina, mediante una medida de velocidad, de tiempo y
distancias, si la localización de la mirada del usuario (3) sobre
un punto de la pantalla (4) es una fijación para actuar sobre dicho
punto o una coincidencia eventual de la observación general de la
pantalla (4).
7. Sistema de seguimiento ocular para el
gobierno de un ordenador, de acuerdo con la primera
reivindicación, caracterizado porque en relación con los
focos (5) y la cámara de vídeo (2) se dispone una alimentación (6),
la cual determina el encendido de los focos (5) solo durante el
tiempo de captura de imágenes por la cámara (2).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200700409A ES2316272B1 (es) | 2007-02-16 | 2007-02-16 | Sistema de seguimiento ocular para el gobierno de un ordenador. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200700409A ES2316272B1 (es) | 2007-02-16 | 2007-02-16 | Sistema de seguimiento ocular para el gobierno de un ordenador. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2316272A1 ES2316272A1 (es) | 2009-04-01 |
| ES2316272B1 true ES2316272B1 (es) | 2009-11-30 |
Family
ID=40434708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES200700409A Expired - Fee Related ES2316272B1 (es) | 2007-02-16 | 2007-02-16 | Sistema de seguimiento ocular para el gobierno de un ordenador. |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2316272B1 (es) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4973149A (en) * | 1987-08-19 | 1990-11-27 | Center For Innovative Technology | Eye movement detector |
| US5471542A (en) * | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
| US6243076B1 (en) * | 1998-09-01 | 2001-06-05 | Synthetic Environments, Inc. | System and method for controlling host system interface with point-of-interest data |
| SE524003C2 (sv) * | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
| US7365738B2 (en) * | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
-
2007
- 2007-02-16 ES ES200700409A patent/ES2316272B1/es not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| ES2316272A1 (es) | 2009-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11852461B2 (en) | Generation of one or more edges of luminosity to form three-dimensional models of objects | |
| ES2352300T3 (es) | Sistema para detectar vehículos. | |
| ES2909057T3 (es) | Seguimiento ocular que utiliza la posición del centro del globo ocular | |
| ES2830178T3 (es) | Iluminador de modo dual para formación de imágenes bajo diferentes condiciones de iluminación | |
| CN103748598B (zh) | 用于识别视线跟踪场景参考位置的系统和方法 | |
| ES2327633T3 (es) | Instalacion para ver y seguir un ojo y la direccion de la mirada del mismo. | |
| ES2858370T3 (es) | Sistema de vigilancia y procedimiento para controlar un sistema de vigilancia | |
| ES2824825T3 (es) | Sistema combinado de captura de objetos y dispositivo de visualización y método asociado | |
| ES2922136T3 (es) | Determinación de la apertura ocular con un dispositivo de seguimiento ocular | |
| ES2754310T3 (es) | Procedimiento de ayuda para la determinación de parámetros de visión de un sujeto | |
| CA2988683C (en) | Apparatus and method for inspecting skin lesions | |
| RU2015142278A (ru) | Система и способ определения информации об основных показателях состояния организма | |
| CN103429141B (zh) | 用于确定优势眼的方法 | |
| ES2848078T3 (es) | Dispositivo de visión nocturna | |
| ES2329396T3 (es) | Metodo y sistema para medir el fluido lagrimal. | |
| CN111803025A (zh) | 便携式角膜地形图采集系统 | |
| ES2316272B1 (es) | Sistema de seguimiento ocular para el gobierno de un ordenador. | |
| CN209358681U (zh) | 一种应用于手术室内的裸眼3d人眼追踪设备 | |
| ES2460367B1 (es) | Dispositivo detector electroóptico | |
| WO2009125358A2 (es) | Dispositivo para el seguimiento temporal de alteraciones en superficies y procedimiento asociado | |
| JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
| KR20170091467A (ko) | 시선 추적 장치 및 시선 추적 방법 | |
| ES2921299T3 (es) | Método y sistema para la identificación de reflejos/reflexiones | |
| JP2002017677A (ja) | 輻輳角測定装置 | |
| CN110251073A (zh) | 一种智能筛查斜视及屈光度的诊断装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EC2A | Search report published |
Date of ref document: 20090401 Kind code of ref document: A1 |
|
| FG2A | Definitive protection |
Ref document number: 2316272B1 Country of ref document: ES |
|
| FD2A | Announcement of lapse in spain |
Effective date: 20180912 |