ES2262788T3 - Informacion de seguimiento ocular combinada en un sistema de realidad ampliada. - Google Patents
Informacion de seguimiento ocular combinada en un sistema de realidad ampliada.Info
- Publication number
- ES2262788T3 ES2262788T3 ES02712754T ES02712754T ES2262788T3 ES 2262788 T3 ES2262788 T3 ES 2262788T3 ES 02712754 T ES02712754 T ES 02712754T ES 02712754 T ES02712754 T ES 02712754T ES 2262788 T3 ES2262788 T3 ES 2262788T3
- Authority
- ES
- Spain
- Prior art keywords
- information
- eyes
- unit
- image
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 25
- 230000005236 sound signal Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 150000001768 cations Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Sistema, que está constituido por - una unidad de registro de imágenes (2), que detecta el campo de visión de un usuario, para el registro de informaciones de vídeo (29) y para la conversión de estas informaciones de vídeo (29) en señales de vídeo (12), - un sistema de seguimiento ocular (1) para la detección de una posición de los ojos (30) del usuario y para la generación de una información local (10), que indica la dirección de la visión del usuario, a través de la posición de los ojos (30), en el que la información local (10) se indica en forma de coordenadas de un sistema de coordenadas que está estacionario con relación a la unidad de registro de imágenes (2) y en el que la información local (10) indica el punto fijado por el usuario en el campo de visión de la unidad de registro de imágenes (2), caracterizado porque el sistema - presenta un sistema de anotación (6) para la combinación de las informaciones locales (10) a través de la posición de los ojos (30) con las señales de vídeo(12) y para la generación de datos (14, 15, 17, 18) como resultado de esta combinación, estando prevista una señal inicial para la activación del sistema de anotación, y - uno o varios sistemas (7, 9, 20, 16) para el procesamiento posterior y/o para la activación de los datos (14, 15, 17, 18), especialmente para la creación de documentación.
Description
Información de seguimiento ocular combinada en
un sistema de realidad ampliada.
La invención se refiere a un sistema así como a
un procedimiento dentro de un sistema de realidad aumentada para la
combinación de informaciones de seguimiento ocular con informaciones
de vídeo y/o de audio, así como a un producto de programa de
ordenador para la realización del procedimiento.
Un sistema y un procedimiento de este tipo se
emplean, por ejemplo, en el sector de la técnica de automatización,
en las máquinas de producción y máquinas herramientas, en los
sistemas de soporte de diagnosis/soportes de servicios, como por
ejemplo en vehículos y en máquinas e instalaciones industriales.
Se conocen a partir del documento WO 00/52537 un
sistema y un procedimiento para la utilización de conocimientos
expertos en un lugar remoto, en los que se transmiten desde un
primer lugar con técnico con la ayuda de medios de realidad
aumentada a un experto remoto en otro lugar datos de información,
por ejemplo en forma de imágenes de vídeo y en los que el experto
remoto transmiten al técnico en el primer lugar datos de información
adicionales en forma de informaciones de realidad aumentada.
Se conoce a partir de la solicitud de patente
europea EP 0 865 207 un sistema de telecomunicación, en el que se
simplifica la comprensión mutua entre un operador en el lugar y un
experto remoto. En este caso, se transmiten desde el operador en el
lugar hacia el experto datos de imágenes en tiempo real y, a la
inversa, se preparan instrucciones desde el experto para el
operador. Los datos de imágenes a transmitir son estabilizados en el
sistema.
La invención tiene el cometido de indicar un
sistema y un procedimiento, que mejoran en un sistema de realidad
aumentada la asociación de informaciones a objetos reales.
El cometido se soluciona a través de un sistema
con las características indicadas en la reivindi-
cación 1.
cación 1.
Este cometido se soluciona, además, a través de
un procedimiento con las características indicadas en la
reivindicación 14.
El sistema de acuerdo con la invención permite
la combinación de informaciones obtenidas a través de vías
independientes entre sí. A tal fin, se detecta la posición ocular de
un usuario con un sistema de seguimiento ocular habitual en el
comercio. Éste genera como resultado una información local sobre la
posición ocular (designada también como información de seguimiento
ocular), que está presente en forma de coordenadas cartesianas o de
coordenadas polares. Por lo demás, con una unidad de detección de
imágenes, por ejemplo con una cámara de vídeo, se detecta una
imagen del entorno del usuario. Esta unidad de detección de imágenes
está fijada de una manera ventajosa en la cabeza del usuario, de
manera que está estacionario con relación a los ojos del usuario.
El ángulo de visión de la unidad de detección de imágenes se cruza
con el ángulo de visión del usuario, en el caso ideal de tal forma
que el campo de visión completo del usuario es detectado por la
unidad de detección de imágenes. Los datos suministrados por la
unidad de detección de imágenes son combinados entre sí en el
sistema de anotación. El sistema de anotación está realizado, por
ejemplo, en un ordenador móvil llevado consigo por el usuario.
También sería concebible la transmisión sin hilos de los datos a un
sistema de ordenador estacionario. Los datos combinados por el
sistema de anotación se pueden enviar o conducir ahora para el
procesamiento posterior o para el archivo e otras unidades.
Una ampliación especialmente conveniente del
sistema es una unidad de detección de sonido para el registro de
informaciones acústicas y para la conversión de estas informaciones
acústicas en señales de audio. En este caso, el sistema de
anotación sirva para la combinación de las informaciones locales
sobre la posición de los ojos con las señales de vídeo y con las
señales de audio y para la generación de datos como resultado de
esta combinación. Los datos visuales son ampliados de esta manera
con datos de audio. En principio, el sistema está previsto para la
combinación de dados de vídeo y datos de audio opcionales, de una
manera más ventajosa estos datos se basan, sin embargo, en
informaciones de imágenes, informaciones locales e informaciones
acústicas. El sistema combina entonces datos, que se basan en
informaciones, tanto de forma espacial como también temporal. Esta
combinación conversa de esta manera una relación, que se pierde
propiamente a través de las vías de detección separadas.
Para posibilitar una utilización orientada a las
necesidades del sistema, de una manera más ventajosa se lleva a
cabo una activación del sistema de anotación en función de un
resultado de una evaluación de las informaciones acústicas
detectadas. Solamente cuando está presente una información acústica,
por ejemplo cuando el usuario dice algo, se activa la anotación. En
otro caso, el sistema se encuentra en el modo de espera. Esta forma
de configuración se ofrece cuando el sistema se emplea para la
documentación, para la descripción de errores o para la explicación
de un objeto en el campo visual del usuario. La activación del
sistema de anotación podría llevarse a cabo también a través de
señales configuradas de otra manera, por ejemplo a través de la
pulsación de una tecla, a través de mímica o a través de gestos del
usuario.
Las informaciones registradas por el sistema son
convertidas de una manera más ventajosa, para facilitar el
procesamiento posterior, en informaciones digitales, las
informaciones acústicas son convertidas en una corriente de audio
digital y las informaciones de imágenes son convertidas en una
corriente de vídeo digital. Después de la combinación de estas
informaciones en el sistema de anotación, los datos están presentes
como corriente de datos o bien como fichero. Estos están
disponibles para el archivo o para el procesamiento posterior
directo. En una configuración ventajosa de la invención, los datos
combinados son reproducidos en un sistema remoto, es decir, en un
sistema alejado. Un usuario del sistema remoto, un experto remoto,
tiene a su disposición entonces todas las informaciones relevantes
para detectar la situación en el lugar del usuario. El experto
remoto ve lo que ve el usuario, escucha lo que dice el usuario y
reconoce incluso lo que el usuario precisamente fija. Esta
información local sobre la posición ocular está presente en este
caso de una manera más ventajosa en forma de un objeto gráfico
animado.
A continuación se describe y explica en detalle
la invención con la ayuda del ejemplo de realización representado en
las figuras.
En este caso:
La figura 1 muestra un diagrama de bloques de un
ejemplo de realización de un sistema para la combinación de
informaciones de seguimiento ocular con informaciones de vídeo y/o
informaciones de audio.
La figura 2 muestra un escenario típico de
aplicación de este sistema y
La figura 3 muestra una forma de realización del
sistema remoto.
La figura 1 muestra un diagrama de bloques de un
ejemplo de realización del sistema para la combinación de
informaciones de seguimiento ocular con informaciones de vídeo y/o
de audio dentro de un sistema de realidad aumentada. El componente
central del sistema es un sistema de anotación 6, que está
realizado, por ejemplo, en un ordenador móvil. El sistema de
anotación 6 está conectado en el lado de entrada con un sistema de
seguimiento ocular 1, una unidad de detección de imágenes 2 y una
unidad de detección de tono 3. El sistema de seguimiento ocular 1
recibe informaciones de calibración 8 y detecta una posición angular
30. Transmite una información local 10 al sistema de anotación 6.
La unidad de detección de imágenes 2 contiene una cámara de vídeo
2a, que detecta informaciones de imágenes 29 y transmite datos de
imágenes analógicas 11 a la unidad de procesamiento de imágenes 2b.
Ésta transmite una corriente de vídeo digital 12 al sistema de
anotación 6. En la unidad de detección de tono 3 están contenidos
un micrófono 3a y una unidad de procesamiento de audio 3b. El
micrófono 3a detecta informaciones de tono 28 y transmite datos de
audio analógicos 13 a la unidad de procesamiento de audio 3b, que
emite una corriente de audio digital 14 al sistema de anotación 6.
Adicionalmente, se transmite un resultado de una evaluación 27 al
sistema de anotación 6. Las informaciones combinadas en el sistema
de anotación 6 son transmitidas en el ejemplo o bien como fichero
19 o como corriente de datos 15, 17, 18. A continuación del sistema
de anotación 6 están conectadas una unidad de archivo 20, una unidad
de archivo 9, un sistema remoto 7 y una unidad de reproducción
16.
A continuación se explican con la ayuda de la
figura 1 el modo de funcionamiento de principio del sistema. En el
estado de partida, el sistema de anotación 6 se encuentra en una
especie de modo de espera. Solamente cuando está presente una señal
inicial 27, se activa el sistema de anotación 6. La señal inicial
27 es generada a través de la unidad de detección de tono 3. En el
ejemplo, el sistema de anotación 6 debe ser iniciado a través de
una instrucción de voz 28. A tal fin, se recibe la instrucción de
voz 28 desde el micrófono y se transmite como señal de audio
analógica 13 a la unidad de procesamiento de audio 3b. Si se
activase la unidad de procesamiento de audio 3b, entonces se evalúa
la señal de audio 13 y se decide, con la ayuda de determinados
criterios, si estaba presente una instrucción de voz o no y se
transmite en función de ello una señal inicial 27 al sistema de
anotación 6. De esta manera, en el caso de la presencia de una
instrucción de voz 28 correspondiente, se activa el sistema de
anotación 6. A continuación, se convierte la señal de audio 13 en
una corriente de audio 14 y se transmite al sistema de anotación 6.
El sistema de anotación activado 6 combina ahora la información
local 10, la corriente de vídeo digital 12 y la corriente de audio
digital 14. El sistema de seguimiento ocular 1 ha sido calibrado con
anterioridad con la ayuda de una información de calibración 8.
Sirve para la detección de una posición angular 30 y para la
generación de una información local 10 correspondiente sobre esta
posición ocular 30. La información local 10 es transmitida, por
ejemplo, en forma de coordenadas cartesianas o de coordenadas
polares al sistema de anotación 6. Estas coordenadas están
presentes en un sistema de coordenadas, que está estacionario con
relación a la cabeza del usuario 26 y, por lo tanto, también con
relación a la cámara de vídeo 2a. Paralelamente en el tiempo, la
unidad de detección de imágenes 2 detecta a través de la cámara de
vídeo 2a una información de imágenes 29 y transmite una corriente
de vídeo digital 12 correspondiente al sistema de anotación 6.
Además, se detectan de nuevo en paralelo en el tiempo informaciones
de voz 28 a través de la unidad de detección acústica 3 y se
transmiten como corriente de audio digital 14 al sistema de
anotación 6. El sistema de anotación 6 combina entonces las
informaciones calculadas en paralelo en el tiempo, y agrupa la
posición ocular 30 calculada actualmente del sistema de seguimiento
ocular calibrado 1, la corriente de audio 14 y la corriente de
vídeo digital 12. Como resultado de esta combinación se generan
uno o varios ficheros 19, por ejemplo con la ayuda del formato SMIL
y de documentos individuales o en el formato MPEG4. Estos ficheros
19 son transmitidos a una unidad de archivo 20. Las informaciones
combinadas se pueden enviar o bien transmitir, sin embargo, también
como corriente de datos, por ejemplo en el formato MPEG7, a otros
sistemas. Esta corriente de datos se puede activar ahora de la misma
manera en una unidad de archivo 9 o se pueden utilizar para la
representación en un sistema remoto 7 o bien en una unidad de
reproducción 16. Si se reconoce por la unidad de procesamiento de
audio 3b que no se lleva a cabo ningún registro de voz, entonces se
desactiva el sistema de
\hbox{anotación 6.}
La figura 2 muestra un usuario 26 en un
escenario típico junto con un objeto 25 en su entorno. El usuario
26 lleva una cámara de vídeo 2a, que está fijada en su cabeza, y un
sistema de seguimiento ocular 1, que sigue el movimiento de sus
ojos. Emite instrucciones de voz 28 por el micrófono 3a de unos
auriculares. Con el signo de referencia 24 se identifica la
dirección de la visión del usuario 26. Fija un punto en el objeto
del entorno 25.
El usuario 26 es, por ejemplo, un técnico, que
inspecciona en el lugar una máquina herramienta. Descubre un
componente defectuoso en la máquina herramienta 25, pero por sí solo
no puede analizar cómo debe evaluar este daño. Por lo tanto,
establece contacto con un experto remoto, que está en condiciones de
evaluar el defecto. Para poder transmitir a este experto remoto las
informaciones necesarias, el usuario 26 activa el sistema de
anotación que lleva consigo 6, emitiendo una instrucción de voz 28
correspondiente a través del micrófono de los auriculares 3a. Con
la cámara de vídeo 2a en la cabeza del usuario 26 se registra el
campo de visión del usuario. Adicionalmente se registra a través del
sistema de seguimiento ocular 1 la dirección de la visión del
usuario y se combina la información obtenida de esta manera con la
señal de vídeo de la cámara 2a. Puesto que los datos combinados son
transmitidos a una pantalla en un sistema remoto 7, el experto
remoto tanto puede ver los que el usuario 26 ve, como también
reconocer qué punto de la máquina herramienta 25 fija el usuario 26
en el momento. Con las informaciones de voz 28, combinadas junto con
las informaciones de imágenes, el usuario 26 puede transmitir al
experto remoto otras informaciones. La combinación de estas
informaciones y su transmisión termina cuando el usuario 26 emite
una instrucción 28 correspondiente o cuando no se recibe ninguna
información de voz durante un periodo de tiempo prolongado.
La figura 3 muestra una pantalla, en la que se
representan la máquina herramienta 25 y el objeto gráfico 22, y el
altavoz 23 del sistema remoto 7. El experto remoto mencionado
anteriormente reconoce en su pantalla tanto la máquina herramienta
25 y, por lo tanto, el campo de visión del usuario 26, como también
el foco de visión del usuario 26. A tal fin, la posición de los
ojos 30 ha sido convertida previamente, por ejemplo, en un objeto
gráfico animado 22 (por ejemplo círculo o flecha) y ha sido
sincronizado en el tiempo con la corriente de audio y de vídeo (14,
12). Las informaciones acústicas 28 incorporadas en los datos
combinados son transmitidas en el sistema remoto 7 a través del
altavoz 23.
La utilidad especial del sistema descrito reside
en que las observaciones sobre el campo de visión actual o bien
sobre la situación de trabajo actual del usuario 26 pueden ser
registradas después de la activación del sistema de anotación 6 sin
mando adicional del usuario 26, con el fin de archivarlas o de
transmitirlas, con la ayuda de un sistema de transmisión, por
ejemplo, a un experto remoto. La ventaja decisiva frente a los
sistemas convencionales consiste en que adicionalmente se hacen
visibles el foco o bien la dirección de la visión 24 del usuario.
Se pueden concebir múltiples campos de aplicación de este sistema,
por lo que se podría utilizar para la creación de documentación o
también para la ampliación automática de una documentación a través
de fuerzas técnicas, un técnico podría explicar con la ayuda del
sistema la función de un grupo estructural, y un técnico de servicio
podría describir una imagen de error.
En resumen, la invención se refiere, por lo
tanto, a un sistema así como a un procedimiento dentro de un
sistema de realidad aumentada para la combinación de informaciones
de seguimiento ocular con informaciones de vídeo y/o de audio, que
mejora la posibilidad de la asociación de informaciones a objetos
reales. El sistema está constituido por un sistema de seguimiento
ocular 1 para la detección de una posición de los ojos 30 y para la
generación de una información local 10 a través de la posición de
los ojos 30, por una unidad de registro de imágenes 2 para la
detección de informaciones de vídeo 29 y para la conversión de estas
informaciones de vídeo 29 en señales de vídeo 12, por un sistema de
anotación 6 para la combinación de las informaciones locales 10 a
través de la posición de los ojos 30 con las señales de vídeo 12 y
para la generación de datos 14, 15, 17, 18 como resultado de esta
combinación y por uno o varios sistemas 7, 9, 20, 16 para el
procesamiento y/o archivo de los datos 14, 15, 17, 18.
Claims (26)
1. Sistema, que está constituido por
- -
- una unidad de registro de imágenes (2), que detecta el campo de visión de un usuario, para el registro de informaciones de vídeo (29) y para la conversión de estas informaciones de vídeo (29) en señales de vídeo (12),
- -
- un sistema de seguimiento ocular (1) para la detección de una posición de los ojos (30) del usuario y para la generación de una información local (10), que indica la dirección de la visión del usuario, a través de la posición de los ojos (30), en el que la información local (10) se indica en forma de coordenadas de un sistema de coordenadas que está estacionario con relación a la unidad de registro de imágenes (2) y en el que la información local (10) indica el punto fijado por el usuario en el campo de visión de la unidad de registro de imágenes (2),
caracterizado porque el
sistema
- -
- presenta un sistema de anotación (6) para la combinación de las informaciones locales (10) a través de la posición de los ojos (30) con las señales de vídeo (12) y para la generación de datos (14, 15, 17, 18) como resultado de esta combinación, estando prevista una señal inicial para la activación del sistema de anotación, y
- -
- uno o varios sistemas (7, 9, 20, 16) para el procesamiento posterior y/o para la activación de los datos (14, 15, 17, 18), especialmente para la creación de documen- tación.
2. Sistema de acuerdo con la reivindicación 1,
caracterizado porque la unidad de registro acústico (3) está
prevista para la detección de informaciones acústicas (28) y para
la conversión de estas informaciones acústicas (28) en señales de
audio (14) y porque el sistema de anotación (6) está previsto para
la combinación de las informaciones locales (10) a través de la
posición de los ojos (30) con las señales de vídeo (12) y con las
señales de audio (14) y para la generación de datos (14, 15, 17, 18)
como resultado de esta combinación.
3. Sistema de acuerdo con la reivindicación 1,
caracterizado porque el sistema de anotación (6) está
previsto para la combinación de las informaciones locales (10) a
través de la posición de los ojos (30) con las señales de vídeo
(12), en el que las informaciones locales (10) a través de la
posición de los ojos (30) se basan en una posición detectada de
los ojos (30) y las señales de vídeo (12) se basan en informaciones
de imágenes (29) que son detectadas en paralelo en el tiempo.
4. Sistema de acuerdo con la reivindicación 2,
caracterizado porque el sistema de anotación (6) está
previsto para la combinación de las informaciones locales (10) a
través de la posición de los ojos (20) con las señales de vídeo
(12) y con las señales de audio (14), en el que las informaciones
locales (10) a través de la posición de los ojos (30) se basan en
una posición detectada de los ojos (30), las señales de vídeo (12)
se basan en informaciones de imágenes (29) detectadas en paralelo
en el tiempo y las señales de audio (14) se basan en informaciones
acústicas (28) detectadas en paralelo en el tiempo.
5. Sistema de acuerdo con la reivindicación 2 ó
4, caracterizado porque está prevista una activación del
sistema de anotación (6) en función de un resultado (27) de una
evaluación de las informaciones acústicas (28) registradas.
6. Sistema de acuerdo con una de las
reivindicaciones 2, 4 ó 5, caracterizado porque la unidad de
registro acústico (3) está constituida por una unidad de detección
acústica (3aa) para la detección de informaciones acústicas (28) y
por una unidad de procesamiento de audio (3b) para la conversión de
estas informaciones acústicas (28) en una corriente de audio digital
(14).
7. Sistema de acuerdo con una de las
reivindicaciones anteriores, caracterizado porque la unidad
de registro de imágenes (2) está constituida por una unidad de
detección de imágenes (2aa) para la detección de informaciones de
imágenes (29) y por una unidad de procesamiento de imágenes (2b)
para la conversión de estas informaciones de imágenes (29) en una
corriente de vídeo digital (12).
8. Sistema de acuerdo con una de las
reivindicaciones anteriores, caracterizado porque los datos
están presentes como primera, segunda y/o tercera corriente de
datos (15, 17, 18) y/o como ficheros (19).
9. Sistema de acuerdo con la reivindicación 8,
caracterizado porque está prevista una primera unidad de
activación (20) para el archivo de los ficheros (19).
10. Sistema de acuerdo con la reivindicación 8 ó
9, caracterizado porque está prevista una segunda unidad de
archivo (9) para el archivo de la tercera corriente de datos
(18).
11. Sistema de acuerdo con una de las
reivindicaciones 8, 9 ó 10, caracterizado porque está
previsto un sistema remoto (7) para el procesamiento posterior,
especialmente para la reproducción, de la primera corriente de datos
(15).
12. Sistema de acuerdo con una de las
reivindicaciones 8 a 11, caracterizado porque está prevista
una unidad de reproducción (16) para la reproducción de la segunda
corriente de datos (17).
13. Sistema de acuerdo con una de las
reivindicaciones anteriores, caracterizado porque la
información local (109 a través de la posición de los ojos (30) está
presente en forma de un objeto gráfico animado (22).
14. Procedimiento para la asociación de
informaciones (10, 29) a una posición de los ojos, en el que
- -
- se detectan las informaciones de imágenes (29) a partir del campo de visión de un usuario y se convierten en señales de vídeo (12),
- -
- con la ayuda de un sistema de seguimiento ocular (1) se detecta la posición de los ojos (30) del usuario y se genera una información local (10) que indica la dirección de la visión del usuario a través de la posición de los ojos (30), en el que la información local (10) es representada en forma de coordenadas de un sistema de coordenadas que está estacionario con relación a la unidad de registro de imágenes y en el que la información local (10) indica el punto fijado por el usuario en el campo de visión de la unidad de registro de imágenes,
caracterizado
porque
- -
- en un sistema de anotación (6) se combinan las informaciones locales (10) sobre la posición de los ojos (30) con las señales de vídeo (12) y se generan datos (14, 15, 17, 18) como resultado de esta combinación, en el que el sistema de anotación se activa cuando está presente una señal inicial, y
- -
- los datos (14, 15, 17, 18) son archivados especialmente para la creación de documentación y/o son procesados posteriormente.
15. Procedimiento de acuerdo con la
reivindicación 14, caracterizado porque se detectan
informaciones acústicas (28) y se convierten en señales de audio
(14) y porque en el sistema de anotación (6) se combinan las
informaciones locales (10) a través de la posición de los ojos (30)
con las señales de vídeo (12) y con las señales de audio (14) y se
generan datos (14, 15, 17, 18) como resultado de esta
combinación.
16. Procedimiento de acuerdo con la
reivindicación 14, caracterizado porque en el sistema de
anotación (6) se combinan las informaciones locales (10) a través
de la posición de los ojos (30) con las señales de vídeo (12), en
el que las informaciones locales (10) a través de la posición de los
ojos (30) se basan en una posición detectada de los ojos (30) y las
señales de vídeo (12) se basan en informaciones de imágenes
registradas en paralelo en el tiempo.
17. Procedimiento de acuerdo con la
reivindicación 15, caracterizado porque en el sistema de
anotación (6) se combinan las informaciones locales (10) a través
de la posición de los ojos (30) con las señales de vídeo (12) y con
las señales de audio (14), en el que las informaciones locales (10)
a través de la posición de los ojos (30) se basan en una posición
detectada de los ojos (30), las señales de vídeo (12) se basan en
informaciones de imágenes (29) detectadas en paralelo en el tiempo
y las señales de vídeo (14) se basan en informaciones acústicas (28)
detectadas en paralelo en el tiempo.
18. Procedimiento de acuerdo con la
reivindicación 15 ó 17, caracterizado porque la combinación
de las informaciones locales (10) a través de la posición de los
ojos (30) con las señales de vídeo (12) y con las señales de audio
se lleva a cabo en función de un resultado (27) de la evaluación de
las informaciones acústicas (28) detectadas.
19. Procedimiento de acuerdo con una de las
reivindicaciones 15, 17 ó 18, caracterizado porque las
informaciones acústicas (28) son detectadas a través de una unidad
de detección acústica (3aa) y son convertidas a través de una unidad
de procesamiento de audio (3b) en una corriente de audio digital
(14).
20. Procedimiento de acuerdo con una de las
reivindicaciones 14 a 19, caracterizado porque las
informaciones de imágenes (29) son detectadas a través de una
unidad de detección de imágenes (2aa) y son convertidas a través de
una unidad de procesamiento de imágenes (2b) en una corriente de
vídeo digital (12).
21. Procedimiento de acuerdo con una de las
reivindicaciones 14 a 20, caracterizado porque los datos
están presentes como primera, segunda y/o tercera corriente de datos
(15, 17, 18) y/o como ficheros (19).
22. Procedimiento de acuerdo con la
reivindicación 21, caracterizado porque los ficheros (19) se
archivan en una primera unidad de archivo (20).
23. Procedimiento de acuerdo con la
reivindicación 21 ó 22, caracterizado porque la tercera
corriente de datos (18) se archiva en una segunda unidad de archivo
(9).
24. Procedimiento de acuerdo con una de las
reivindicaciones 21, 22 ó 23, caracterizado porque la primera
corriente de datos (15) se procesa posteriormente, en particular se
reproduce, con un sistema remoto (7).
25. Procedimiento de acuerdo con una de las
reivindicaciones 21 a 24, caracterizado porque la segunda
corriente de datos (17) se reproduce con una unidad de reproducción
(16).
26. Procedimiento de acuerdo con una de las
reivindicaciones 21 a 25, caracterizado porque la información
local (10) a través de la posición de los ojos (30) se representa en
forma de un objeto gráfico animado (22).
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10108064 | 2001-02-20 | ||
| DE10108064A DE10108064A1 (de) | 2001-02-20 | 2001-02-20 | Verknüpfte Eye-Tracking-Information innerhalb eines Augmented-Reality-Systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2262788T3 true ES2262788T3 (es) | 2006-12-01 |
Family
ID=7674808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES02712754T Expired - Lifetime ES2262788T3 (es) | 2001-02-20 | 2002-02-07 | Informacion de seguimiento ocular combinada en un sistema de realidad ampliada. |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP1364260B1 (es) |
| AT (1) | ATE323900T1 (es) |
| DE (2) | DE10108064A1 (es) |
| ES (1) | ES2262788T3 (es) |
| WO (1) | WO2002067067A2 (es) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10159610B4 (de) | 2001-12-05 | 2004-02-26 | Siemens Ag | System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung |
| US20050213036A1 (en) * | 2003-06-19 | 2005-09-29 | Schneider Automation Inc. | System and method for ocular input to an automation system |
| US10039445B1 (en) | 2004-04-01 | 2018-08-07 | Google Llc | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| DE102004025999A1 (de) * | 2004-05-27 | 2005-12-15 | Quintis Gmbh | Vorrichtung zur berührungslosen, dreidimensionalen Erfassung der Augenposition insbesondere während einer Laser-basierten Augenoperation |
| DE102004044718A1 (de) * | 2004-09-10 | 2006-03-16 | Volkswagen Ag | Augmented Reality Autoren System |
| DE102004053774A1 (de) * | 2004-11-08 | 2006-05-11 | Siemens Ag | System zur Messung und Interpretation von Hirnaktivitäten |
| WO2009036782A1 (en) * | 2007-09-18 | 2009-03-26 | Vrmedia S.R.L. | Information processing apparatus and method for remote technical assistance |
| US8885877B2 (en) | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| US8911087B2 (en) | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
| DE102017116702A1 (de) | 2017-07-24 | 2019-01-24 | SMR Patents S.à.r.l. | Verfahren zum Bereitstellen einer Anzeige in einem Kraftfahrzeug, sowie Kraftfahrzeug |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4303394A (en) * | 1980-07-10 | 1981-12-01 | The United States Of America As Represented By The Secretary Of The Navy | Computer generated image simulator |
| US4634384A (en) * | 1984-02-02 | 1987-01-06 | General Electric Company | Head and/or eye tracked optically blended display system |
| SE466517B (sv) * | 1989-09-07 | 1992-02-24 | Goete Paalsgaard | Anordning foer av en persons blickriktning styrd inriktning av ett objekt relativt ett foeremaal |
| DE4119803A1 (de) * | 1991-06-15 | 1992-12-17 | Bernd Dipl Ing Kelle | Ein verfahren zur akustischen bedienerfuehrung an einer von hand zu bedienenden werkzeugmaschine im rahmen der werkstattorientierten programmierung |
| US5671158A (en) * | 1995-09-18 | 1997-09-23 | Envirotest Systems Corp. | Apparatus and method for effecting wireless discourse between computer and technician in testing motor vehicle emission control systems |
| DE50007902D1 (de) * | 1999-03-02 | 2004-10-28 | Siemens Ag | Augmented-reality-system mit einsatz mobiler geräte |
| WO2000055714A1 (en) * | 1999-03-15 | 2000-09-21 | Varian Semiconductor Equipment Associates, Inc. | Remote assist system |
-
2001
- 2001-02-20 DE DE10108064A patent/DE10108064A1/de not_active Ceased
-
2002
- 2002-02-07 DE DE50206468T patent/DE50206468D1/de not_active Expired - Lifetime
- 2002-02-07 ES ES02712754T patent/ES2262788T3/es not_active Expired - Lifetime
- 2002-02-07 AT AT02712754T patent/ATE323900T1/de not_active IP Right Cessation
- 2002-02-07 EP EP02712754A patent/EP1364260B1/de not_active Expired - Lifetime
- 2002-02-07 WO PCT/DE2002/000453 patent/WO2002067067A2/de active Search and Examination
Also Published As
| Publication number | Publication date |
|---|---|
| EP1364260B1 (de) | 2006-04-19 |
| WO2002067067A2 (de) | 2002-08-29 |
| DE50206468D1 (de) | 2006-05-24 |
| ATE323900T1 (de) | 2006-05-15 |
| WO2002067067A3 (de) | 2003-06-19 |
| DE10108064A1 (de) | 2002-09-05 |
| EP1364260A2 (de) | 2003-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2262788T3 (es) | Informacion de seguimiento ocular combinada en un sistema de realidad ampliada. | |
| CA3029123A1 (en) | Positional audio assignment system | |
| US20180150275A1 (en) | Augmented Reality Mixing for Distributed Audio Capture | |
| WO2009090885A1 (ja) | インストラクタ支援システム | |
| EP2737727A2 (en) | Method and apparatus for processing audio signal | |
| US20120169873A1 (en) | Audio/video monitoring system and method for simultaneously playing audio/video | |
| WO2019039591A4 (ja) | 読み上げシステム及び読み上げ方法 | |
| JP2010278960A (ja) | 映像処理装置 | |
| ATE460048T1 (de) | Synchronisierung einer stereoskopischen kamera | |
| JP2010002862A (ja) | 表示装置、及びその制御方法 | |
| CN112951236A (zh) | 一种语音翻译设备及方法 | |
| CN105474665A (zh) | 声音处理装置、声音处理系统及声音处理方法 | |
| US11109151B2 (en) | Recording and rendering sound spaces | |
| JP2019046482A (ja) | 音声映像追跡装置 | |
| KR101247513B1 (ko) | 수술 영상 저장 및 재생 방법 및 시스템 | |
| JP6733401B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| JP2020010132A (ja) | スピーカの位置判定方法、スピーカの位置判定システム、音響装置及びプログラム | |
| JP2014170087A (ja) | 楽譜表示装置および楽譜表示システム | |
| JP2009065490A (ja) | テレビ会議装置 | |
| JP6600186B2 (ja) | 情報処理装置、制御方法およびプログラム | |
| WO2018225368A1 (ja) | 医療用画像記録装置 | |
| JP4329300B2 (ja) | マルチウィンドウ表示方法 | |
| KR101729073B1 (ko) | 디스플레이 장치에 표시되는 영상의 방향 변화에 따라 소리의 위상을 전환시키는 방법 및 시스템 | |
| JP2010130568A (ja) | 防犯用画像保存システム | |
| JPWO2017187807A1 (ja) | 情報処理端末装置 |