ES2372830A1 - Procedimiento para la captura y seguimiento de objetos y dispositivo para llevar a cabo dicho procedimiento. - Google Patents
Procedimiento para la captura y seguimiento de objetos y dispositivo para llevar a cabo dicho procedimiento. Download PDFInfo
- Publication number
- ES2372830A1 ES2372830A1 ES200900538A ES200900538A ES2372830A1 ES 2372830 A1 ES2372830 A1 ES 2372830A1 ES 200900538 A ES200900538 A ES 200900538A ES 200900538 A ES200900538 A ES 200900538A ES 2372830 A1 ES2372830 A1 ES 2372830A1
- Authority
- ES
- Spain
- Prior art keywords
- frame
- contours
- capturing
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000013519 translation Methods 0.000 title abstract description 3
- 238000012544 monitoring process Methods 0.000 title description 2
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims description 2
- 230000001681 protective effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G06K9/00335—
-
- G06K9/60—
-
- G06T7/2006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Procedimiento y dispositivo para la captura y seguimiento de objetos en el rango lumínico infrarrojo de forma que se elimine la información irrelevante del entorno y facilite al software la detección de los mismos que básicamente comprende la adquisición (11) del "frame" o fotograma obtenido por los elementos hardware (6) que a su vez comprenden una cámara; un foco emisor de infrarrojos (1) y un filtro de luz visible (5), la segmentación (12) de dicho fotograma para facilitar la interpretación del posterior análisis de la imagen, independientemente de cuál sea la aplicación concreta para la que se defina el interfaz y la interpretación (13) de los datos obtenidos durante la segmentación (12), para enviar órdenes al sistema, y que será específica para cada aplicación de usuario.
Description
Procedimiento para la captura y seguimiento de
objetos y dispositivo para llevar a cabo dicho procedimiento.
La presente invención se refiere, como el propio
nombre indica, a un procedimiento y un dispositivo para la captura y
seguimiento de objetos que de forma económica reduce la limitación
que puede suponer el entorno, constituyendo un interfaz hombre -
máquina versátil y adaptable a múltiples aplicaciones.
Concretamente, el dispositivo y procedimiento de
la invención detecta, previa iluminación infrarroja, sólo los
objetos en el rango lumínico infrarrojo para así eliminar la
información irrelevante del entorno y facilitar al software la
detección de los mismos.
Actualmente existen numerosos interfaces
gráficos de usuario a través de los cuales interactuar con un
ordenador o similar. En ellos, el sistema es capaz de detectar la
presencia y/o movimientos de una persona u objeto movido por una
persona con el fin de trasladarlo al campo electrónico e interactuar
con un programa o aplicación a través de, por ejemplo, una
pantalla.
De esta forma, a partir de la información de la
imagen obtenida por diferentes medios es posible realizar infinidad
de tareas adaptadas para la interactuación entre el usuario y el
sistema.
Para ello, los sistemas o dispositivos
periféricos de interfaz gráfico hombre - máquina suelen incluir
tanto dispositivos hardware como un software específico.
Dentro de estos sistemas son conocidos aquellos
en los que las imágenes o "frames" son tomadas directamente por
la cámara, por lo que el hardware necesario es simple y barato. Sin
embargo, estos suelen presentar el inconveniente de que la cámara
recibe demasiada información no útil o ruido, el cual puede
confundir al programa, necesitándose complejos algoritmos y por lo
tanto una elevada carga computacional.
Con el fin de disminuir dicha carga
computacional en algunos sistemas se recurre a diseñar un entorno lo
más controlado posible en donde el objeto a seguir se defina
perfectamente, por ejemplo obligando a que el fondo sobre el cual se
mueve el objeto sea de un color determinado, típicamente blanco o
negro, y obligando a que dicho objeto sea, obviamente, de un color
distinto al del fondo. Esta solución, sin embargo, limita mucho el
campo de aplicación del sistema por ser demasiado rígido,
invalidándolo para todas aquellas aplicaciones en las que es
imposible que ésta se desarrolle en entornos controlados.
Existen también en el mercado controles remotos
que utilizan una cámara para capturar imágenes, pero por un lado
presentan el inconveniente de que necesitan un cable para poder
enviar toda la información de la captura, lo que limita mucho los
movimientos. Por el contrario, en aquellos casos en los que se
utiliza la tecnología Bluetooth® la cantidad de información que
puede enviarse está muy limitada debido al ancho de banda limitado
de esta tecnología, por lo que únicamente se puede recoger
información de unos pocos puntos.
Así pues en los dispositivos existentes hasta la
fecha, y de cara a lograr unos mejores resultados en la captura y
seguimiento de objetos, bien se filtran las imágenes obtenidas
mediante software, lo cual eleva considerablemente la carga
computacional y hace aumentar los errores del sistema al tener que
procesar información demasiado compleja, o bien se utilizan
dispositivos hardware sofisticados y potentes, lo que encarece
notablemente el coste final del
producto.
producto.
Un ejemplo conocido de estos primeros es el caso
del producto comercialmente conocido como CamSpace®, de la empresa
CamTrax Technologies, el cual presenta un interfaz
hombre-máquina enfocado al mundo de los
video-juegos. Dicho producto se basa en la
utilización de una cámara web y una aplicación software encargada de
realizar el análisis de seguimiento de objetos que se encuentran
caracterizados mediante un color llamativo. Sin embargo, el uso de
este tipo de interfaz presenta inconvenientes como por ejemplo el
hecho de que debe operarse en un entorno controlado. Es decir, no
puede haber en la escena bajo análisis ningún elemento con el mismo
color llamativo al objeto que se desea seguir. Esto es debido a que
al no realizar ningún filtrado de la información sensorial y
analizar la imagen dentro del espectro de la luz visible, el
software del sistema necesita ser más complejo, lo que redunda en
una bajada en la fiabilidad y la robustez ante cambios de
iluminación u otro tipo de ruidos
ambiente.
ambiente.
Otro ejemplo existente para el seguimiento de
objetos de interés es el del interfaz gráfico diseñado por
investigador Johnny Chung Lee de la Universidad Carnegie Mellon,
basado en el uso del popular mando de la consola Wii® de Nintendo
conocido como WiiMote®. El Wiimote incorpora un conjunto de
sensores, entre ellos una pequeña cámara. Delante de la cámara se ha
añadido un filtro de luz infrarroja con el objeto de dejar pasar
sólo este tipo de luz. La comunicación entre el mando WiiMote® y la
consola o equipo procesador se realiza utilizando tecnología
Bluetooth®. Sin embargo, con esta tecnología es inviable poder
enviar una imagen al sistema de procesamiento encargado de
interpretar los movimientos de los objetos de interés, por lo que
dicho mando posee la importante limitación de poder enviar
únicamente la posición relativa de los cuatro puntos más relevantes
(con mayor intensidad de luz) de la imagen captada por la cámara
incorporada en el mando al sistema encargado de movimiento. Con esta
limitación únicamente se podrá realizan un análisis interpretativo
con el movimiento relativo de cómo máximo esos cuatro puntos,
limitando de esta manera el desarrollo de interfaces más complejas
en las que puede ser necesario conocer más información, como por
ejemplo un mayor número de puntos de interés, formas y/o
tonalidades.
Así pues, actualmente, a la hora de determinar
que dispositivo utilizar se debe elegir entre realizar un análisis
de los frames o fotogramas en formato crudo (es decir, con toda la
información proveniente de la luz visible, con la consiguiente
"avalancha" de información), o bien realizar un filtrado para
detectar sólo los puntos relevantes de la imagen de forma que por un
lado la información sea fácilmente detectable y por otro se
simplifique la complejidad del software de seguimiento, obteniendo
así un sistema de seguimiento altamente fiable.
Sin embargo los sistemas actuales, aún teniendo
esto en cuenta, necesitan de un hardware bien demasiado caro o bien
ineficaz para propósitos generales cuya versatilidad les haga útiles
para ser aplicados a multitud de tareas y de esa forma puedan tener
un precio competitivo.
El procedimiento y dispositivo para la captura y
seguimiento de objetos descrito resuelve los inconvenientes antes
mencionados, constituyendo un medio económico, versátil e
independiente del entorno.
Concretamente, el dispositivo de la invención
básicamente comprende una cámara convencional, tipo web o similar,
un foco emisor de infrarrojos y un filtro de luz visible de tal
forma que la cámara sólo captura los elementos visibles en el rango
lumínico infrarrojo.
Por otro lado, el objeto a seguir se marca con
un elemento reflectante a la luz infrarroja de forma que pueda ser
captado por la cámara, facilitando al software la detección de los
elementos que se deseen y eliminando todo aquello irrelevante para
la captura.
Dentro de la interfaz de usuario se encuentra
corriendo la aplicación software del sistema cuyo objetivo es, junto
con otros elementos, el de interpretar la información obtenida de la
cámara y dar como salida órdenes que permiten la interacción hombre
- máquina.
De forma preferente, dicha aplicación software
comprende:
- Una primera etapa de adquisición encargada de
la captura del "frame" o fotograma y su procesamiento para su
entrega a la siguiente etapa.
- Una segunda etapa de segmentación,
entendiéndose este proceso como la división del fotograma en zonas
disjuntas e indivisibles, de tal forma que facilita la
interpretación del posterior análisis de la imagen,
independientemente de cuál sea la aplicación concreta para la que se
defina el interfaz; y
- Una tercera etapa de interpretación encargada
de, como su propio nombre indica, interpretar los datos obtenidos
durante el proceso de segmentación, para enviar órdenes al sistema,
y que será específica para cada aplicación de usuario.
De esta forma, teniendo en cuanta todo lo
anterior, tanto desde el punto de vista hardware como del programa o
software, el dispositivo de la invención aporta las siguientes
ventajas:
- Mayor distancia o campo de captación del
objeto debido a que la captura depende únicamente del área visible y
no está sujeta a restricciones como la longitud de cables o el
alcance de señales de radio. Esto permite una mayor flexibilidad a
la hora de diseñar diferentes interfaces hombre - máquina.
- Posibilidad de utilización de cámaras de bajo
coste, tales como Webcams, cámaras de vigilancia analógicas,
digitales, ip-cámaras, etc.
- No existe restricción en cuanto al número de
puntos a detectar y sus características (formas, texturas,
tonalidades, etc.) confiriendo una mayor capacidad interpretativa
del interfaz.
- No existe restricción en cuanto a la
naturaleza del material reflectante a emplear para la detección del
objeto.
- Permite el diseño y creación de
aplicaciones/software de análisis de seguimiento más sencillas y
eficaces al filtrar solo la información visual necesaria para
realizar el seguimiento y posterior análisis interpretativo.
- Permite el diseño y creación de
aplicaciones/software de análisis de seguimiento más robustas al
simplificar la información sensorial proveniente de las cámaras.
- Posibilidad de uso en entornos no controlados,
donde puedan existir variaciones de iluminación por fuentes de luz
externas e independientes de la gama de colores que pueda existir en
el entorno.
- Posibilidad de uso tanto en espacios
interiores como exteriores al ser independiente del sistema de
iluminación del entorno.
- Posibilidad de aumentar la capacidad
descriptiva de los elementos a seguir mediante el uso de distintas
tonalidades, formas y texturas.
Para complementar la descripción que se está
realizando y con objeto de ayudar a una mejor comprensión de las
características del invento, de acuerdo con un ejemplo preferente de
realización práctica del mismo, se acompaña como parte integrante de
dicha descripción, un juego de dibujos en donde con carácter
ilustrativo y no limitativo, se ha representado lo siguiente:
La figura 1.- Muestra una figura esquemática de
una posible realización del foco emisor de infrarrojos del
dispositivo de la invención.
La figura 2.- Muestra de forma esquemática el
circuito de conexión electrónico de un ejemplo de realización del
foco emisor del dispositivo de la figura anterior.
La figura 3.- Muestra un diagrama de bloques
esquemático de la arquitectura del interfaz del dispositivo.
La figura 4.- Muestra un flujograma esquemático
de las principales etapas realizadas durante el procedimiento de la
invención, Adquisición, Segmentación e Interpretación.
La figura 5.- Muestra un diagrama de estados de
una posible realización práctica del dispositivo de la invención,
concretamente cuando dicho dispositivo emula el comportamiento de un
ratón de ordenador.
La figura 6.- Muestra la visualización en
pantalla de la imagen captada por la cámara en la etapa de
adquisición y su correspondiente transformación en contornos durante
la etapa de segmentación, la cual será posteriormente interpretada
por el sistema para decidir la acción a realizar.
Según una posible realización de la invención y
tal y como puede verse en la figura 1, los elementos hardware (6)
del dispositivo de la invención comprenden una cámara convencional,
no representada, tipo web o similar, un foco emisor de infrarrojos
(1) y un filtro de luz visible (5).
El foco emisor estará constituido, por ejemplo,
por un determinado número de diodos LED infrarrojos (2) (IRLED), que
en un posible ejemplo de realización de la invención podrían ser
100, colocados en una matriz de 10 x 10 según se muestra en la
figura 2.
Eligiendo según las curvas del fabricante la
disipación más adecuada para dichos diodos (2) según cada caso se
tendría que, por ejemplo, si se define que a cada diodo (2) se le
debe suministrar 1,2 V y 50 mA, al estar colocados en filas de 10 y
aplicando las leyes de Kirchoff se obtendría la tensión de
alimentación, que para este caso concreto sería de 12 V, en donde en
cada rama se hace necesaria la utilización de una resistencia (3) de
1 ohmio.
La placa con los componentes electrónicos se
monta finalmente sobre un zócalo o similar el cual incorpora el
cableado de alimentación necesario, contando además dicho zócalo, de
forma opcional, con un elemento protector (4) susceptible de contar
con medios de fijación a la cámara.
En cuanto a la arquitectura del interfaz de
usuario del dispositivo, ésta puede verse de forma esquemática en la
figura 3, en donde se observa cómo dicha interfaz encargada de
interpretar la información obtenida de la cámara y que permite la
interacción hombre - máquina del dispositivo de la invención,
comprende la aplicación software (10), la cual se sitúa como la
última capa de un conjunto constituido por los propios elementos
hardware (6), el sistema operativo (7), un gestor de eventos (8) y
una librería de visión artificial (9) con funciones orientadas a la
captación y procesamiento de imágenes en tiempo real como puede
\hbox{ser, por ejemplo, la librería multiplataforma Open CV® de
Intel™.}
Más concretamente, según un ejemplo de
realización del procedimiento llevado a cabo por el software de la
invención mostrado en la figura 4, éste comprende las etapas de:
1.- Adquisición (11), encargada de la captura
del "frame" o fotograma y su procesamiento para hacerlo apto
para la etapa de segmentación (12) que comprende al menos las etapas
de:
- 1.1
- Captura del fotograma (11a). En esta etapa se solicita el servicio de la librería de visión artificial para la captura de las imágenes; y
- 1.2
- Transformación a escala de grises (11b). A partir del fotograma obtenido se transforma y se pasa a escala de grises ya que el color es irrelevante en este caso.
2.- Segmentación (12), encargada de facilitar la
interpretación del posterior análisis de la imagen,
independientemente cuál sea la aplicación concreta para la que se
defina el interfaz, y que a su vez comprende al menos las etapas
de:
- 2.1
- Filtración de umbral y detección de contornos (12a): En esta etapa, a partir de la imagen de escala de grises proporcionada por la etapa de adquisición (11), se procesa la imagen a través del uso de un filtro umbral de separación con respecto a la luminosidad original de la imagen definiendo la imagen en dos colores: o blanco o negro, obteniendo así una imagen que simplifica proceso de segmentación. A continuación, se calculan los contornos (18), cuántos hay y su tamaño, entendiendo dichos contornos (18) como la delimitación entre las zonas de color blanco del fondo negro, o dicho de otra forma, la poligonal de n lados que define el perímetro de un objeto. Una simplificación a esta poligonal es el círculo o la elipse que circunscribe a dicha poligonal.
- Tanto si el objeto es muy pequeño como demasiado grande la imagen del objeto queda descartada. En una posible realización de la invención dichos márgenes se establecen cuando el objeto es menor del 2% del total de la imagen o superficie de cuadro capturada por la cámara y el 20% respectivamente. En el primer caso por ser difícilmente detectable y parametrizable y en el segundo por reservar espacio para otros objetos y por eliminar errores. Concretamente, tanto si el objeto es mayor que la superficie de captura como si se encuentra desplazada fuera de dicha superficie de captura no se detectaría la posición real, pues el sistema sólo tendría en cuenta el trozo captado, calculando los parámetros como si dicho trozo fuese el objeto completo.
- De forma general, el sistema acepta la imagen de cualquier objeto siempre que éste se pueda mover de forma holgada y clara por el área capturada por la cámara.
- 2.2
- Cálculo de las características (12b): En función de las necesidades interpretativas del interfaz que estemos diseñando, entre otras se calculan las siguientes características:
- -
- Número de contornos (18).
- -
- Para cada contorno (18): Área, forma, perímetro, tonalidad (aunque se ha transformado la imagen a grises todavía se cuenta con la imagen inicial para extraer información sobre la tonalidad), texturas, etc.
- En este módulo se establecen además los valores mínimos que deben cumplir los contornos (18) para ser considerados como tal.
- 2.3
- Filtrado de la información (12c): Con el número de contornos (18) capturados y sus características se decide si se acepta interpretar la imagen o no hay información suficiente para la interpretación (13) y se decide pasar al siguiente fotograma.
3.- Interpretación (13), encargada de
interpretar los datos obtenidos durante el proceso de segmentación
(12), para enviar órdenes al sistema y que es específica para cada
aplicación de usuario, comprendiendo al menos las
sub-etapas de:
- 3.1
- Organización de los puntos relevantes (13a) de forma relativa caracterizados por el centroide de un contorno (18). Para ello se fija como referencia, por ejemplo, el primer contorno (18) que se encuentre empezando a "leer" desde más arriba a la izquierda. De esta forma, los demás contornos se localizan como una distancia relativa de este primer contorno (18). Las posiciones relativas son trasladadas a la resolución de la pantalla que esté usando en ese momento el usuario. Esta información es utilizada para la interpretación del movimiento junto con el número de contornos (18) que hay en el fotograma. De cada contorno (18) se posee información de todas sus características (posición, tamaño, forma, textura, etc.).
- 3.2
- Estudio de las acciones anteriores (13b). Para determinar qué orden se ejecuta es necesario saber qué se ha ejecutado antes; y por último.
- 3.3
- Toma de decisión (13c) de la acción a llevar a cabo. Una vez obtenida tanto la nueva orden como la información de las anteriores se analizan, enviándose a continuación una orden al sistema.
\vskip1.000000\baselineskip
A modo de ejemplo de realización de la invención
en la figura 5 se muestra un diagrama de estados de la realización
práctica consistente en simular un ratón de ordenador, siendo los
eventos posibles a realizar, además del movimiento de mismo, el de
pulsar el botón derecho, pulsar el izquierdo o hacer girar la rueda
de desplazamiento verti-
cal.
cal.
Como puede verse, cada uno de estos eventos se
corresponde con un número de contornos (18), de 0 a 4 tal y como
puede apreciarse en la figura 6, de forma que en función del número
de éstos que sea detectado por el sistema se asociará la acción
necesaria a realizar para dicho evento, por ejemplo:
- 0 contornos (18) detectados: En espera
(14).
- 1 contorno (18) detectado: Pulsado del botón
Izquierdo (15) y movimiento del ratón.
- 2 contornos (18) detectados: movimiento del
ratón (no representado).
- 3 contornos (18) detectados: Pulsado del botón
derecho (16) y movimiento del ratón.
- 4 contornos (18) detectados: Accionamiento de
la rueda (17).
\vskip1.000000\baselineskip
Volviendo al diagrama de estados de la figura 5
que recoge las 5 posibles situaciones anteriores, se tiene que, de
forma más concreta en él se representa lo siguiente:
- Si el programa no detecta contornos (18) se
mantiene en espera.
- Si se detectan contornos (18) se activa y
empieza a mover el puntero.
- Si se detecta un solo contorno (18) durante un
cierto número de fotogramas o "frames" consecutivos se ejecuta
la acción equivalente a pulsar el botón izquierdo del ratón (15),
pero si se detecta que no se mantiene ese contorno de manera
consecutiva se ejecuta la acción equivalente a soltar el botón
izquierdo del ratón.
- Si se detectan tres contornos (18) un cierto
número de fotogramas o "frames" consecutivos se ejecuta la
acción equivalente a pulsar el botón derecho del ratón (16), pero si
se detecta que no se mantienen esos números de forma consecutiva se
ejecuta la acción equivalente a soltar el botón derecho del
ratón.
- Si se detectan cuatro contornos (18) durante
un cierto número de fotogramas o "frames" consecutivos, según
se muestra en la figura 6, se ejecuta la acción equivalente al
bloqueo del movimiento del cursor o puntero del ratón en la
pantalla, pasándose al estado "rueda", es decir, ejecutando la
acción equivalente al accionamiento de la rueda del ratón (17). Si
por el contrario dejan de detectarse los cuatro contornos (18) de
forma consecutiva se ejecuta la acción equivalente contraria, es
decir, la de liberación del cursor y desactivación de la rueda del
ratón.
\vskip1.000000\baselineskip
De esta forma, asociando mediante software
diversas acciones al número de contornos, forma, dimensiones etc. se
pueden implementar numerosas acciones, lo que supone una enorme
versatilidad de cara a diseñar diferentes aplicaciones según la
necesidad.
A modo de ejemplo, otra aplicación que podría
implementarse sería la de un lápiz para presentaciones en la que
únicamente fuesen necesarios dos estados. Uno para la simulación de
la acción de movimiento de dicho lápiz y otro para la simulación de
la acción de hacer "clic" o pulsar sobre un punto.
Otra aplicación podría ser la de, simplemente,
utilizar un reflectante infrarrojo pegado o sujeto a un objeto como
si de una etiqueta identificativa se tratase de forma que la cámara,
por ejemplo una cámara web, del sistema pueda detectarla y con ello
detectar también la presencia del objeto.
Otra aplicación es la de capturar siluetas sobre
un fondo reflectante al infrarrojo, o incluso la de capturar
directamente objetos si están próximos al foco emisor de
infrarrojos, pudiendo incluso detectarse los movimientos, tales como
los de, por ejemplo, una mano moviéndose o un gesto, lo que tiene
aplicación dentro del campo de identificación de personas mediante
datos biométricos o incluso en un sistema de interpretación gestual
para el desarrollo de una interfaz hombre - máquina de múltiples
aplicaciones.
En lo que se refiere a las ventajas del
procedimiento y dispositivo de la invención, una de las principales
es que no necesita calibrado previo. Esto es así debido a que el
sistema se orienta haciendo una traslación de coordenadas, es decir,
un contorno detectado en la imagen tendrá su posición relativa en la
pantalla y todos los movimientos se realizan respecto a la posición
en el fotograma anterior. De esta forma, quien maneja el dispositivo
sabe que cuando el cursor está en una esquina, es que está apuntando
al límite de donde puede capturar la cámara y viceversa esto tiene
la ventaja de que se maximiza el área de trabajo.
Dicho de otra forma, si por ejemplo la
resolución del monitor es el doble que la resolución de la imagen
(es decir 1:2) y en la imagen el centro del objeto está en el punto
(20, 30), el cursor en la pantalla estaría en (40, 60). Como la
resolución de la cámara es siempre constante y los sensores que
generan la imagen cambian, no se necesita calibrar nada. Lo único
que se necesita es la relación de aspecto entre la imagen obtenida y
la resolución del monitor, que es una información que ya proporciona
el sistema.
Claims (6)
1. Procedimiento para la captura y seguimiento
de objetos en el rango lumínico infrarrojo caracterizado
porque comprende las etapas de:
- Adquisición (11) del "frame" o fotograma
y procesamiento para su para su entrega a la siguiente etapa; la
cual a su vez comprende las etapas de:
- -
- 1.1 Captura del "frame" o fotograma (11a) con la ayuda de una librería de visión artificial para la captura de las imágenes; y
- -
- 1.2 Transformación a escala de grises (11b) de dicho "frame" o fotograma capturado.
- Segmentación (12) del "frame" o fotograma
para facilitar la interpretación del posterior análisis de la
imagen, independientemente de cuál sea la aplicación concreta para
la que se defina el interfaz, la cual a su vez comprende al menos
las etapas de:
- -
- Filtración de umbral y detección de contornos (12a)
- -
- Cálculo de las características (12b) de los contornos (18) en función de las necesidades interpretativas del interfaz a diseñar y establecimiento de los valores mínimos que deben cumplir dichos contornos (18) para ser considerados como tal; y
- Filtrado de la información (12c) para decidir
si los contornos (18) capturados y sus características son
suficientes para interpretar la imagen o no y pasar al siguiente
fotograma.
- Interpretación (13) de los datos obtenidos
durante la segmentación (12), para enviar órdenes al sistema, y que
será específica para cada aplicación de usuario, que a su vez
comprende las etapas de:
- -
- Organización de los puntos relevantes (13a) realizado de forma relativa a partir del centroide de un contorno (18) fijando como referencia el primer contorno (18) que se encuentra empezando a "leer" desde más arriba a la izquierda, localizando los demás contornos (18) como una distancia relativa de este primer contorno (18);
- -
- Estudio de las acciones anteriores (13b); y
- -
- Toma de decisión (13c) de la acción a llevar a cabo y envío de la orden al sistema.
\vskip1.000000\baselineskip
2. Dispositivo para la captura y seguimiento de
objetos según el procedimiento de la reivindicación 1,
caracterizado porque comprende:
- -
- unos elementos hardware (6) que a su vez comprenden una cámara; un foco emisor de infrarrojos (1) constituido por diodos LED infrarrojos (2); un filtro de luz visible (5) para que dicha cámara sólo capture objetos visibles en el rango lumínico infrarrojo;
- -
- una interfaz de usuario que comprende el sistema operativo (7), un gestor de eventos (8), una librería de visión artificial (9) con funciones orientadas a la captación y procesamiento de imágenes en tiempo real y como última capa sobre las anteriores una aplicación software (10); y
- -
- un interfaz software.
\vskip1.000000\baselineskip
3. Dispositivo para la captura y seguimiento de
objetos según reivindicación 2, caracterizado porque el foco
emisor de infrarrojos (1) esta constituido por 100 diodos LED
infrarrojos (2) colocados en una matriz de 10 x 10.
4. Dispositivo para la captura y seguimiento de
objetos según reivindicación 2, caracterizado porque la placa
con los componentes electrónicos se monta finalmente sobre un zócalo
que a su vez cuenta con un elemento protector (4) susceptible de
contar con medios de fijación a la cámara.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200900538A ES2372830B1 (es) | 2009-02-26 | 2009-02-26 | Procedimiento para la captura y seguimiento de objetos y dispositivo para llevar a cabo dicho procedimiento. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200900538A ES2372830B1 (es) | 2009-02-26 | 2009-02-26 | Procedimiento para la captura y seguimiento de objetos y dispositivo para llevar a cabo dicho procedimiento. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2372830A1 true ES2372830A1 (es) | 2012-01-27 |
| ES2372830B1 ES2372830B1 (es) | 2012-11-30 |
Family
ID=45446397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES200900538A Active ES2372830B1 (es) | 2009-02-26 | 2009-02-26 | Procedimiento para la captura y seguimiento de objetos y dispositivo para llevar a cabo dicho procedimiento. |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2372830B1 (es) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002019698A2 (en) * | 2000-08-31 | 2002-03-07 | Rytec Corporation | Sensor and imaging system |
| WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
| EP1589485A2 (en) * | 2004-04-20 | 2005-10-26 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
| TWI246626B (en) * | 2004-11-17 | 2006-01-01 | Miwa Technology Co Ltd | Protecting cover device of monitoring video camera |
| US20060268116A1 (en) * | 2001-11-21 | 2006-11-30 | Thales Avionics, Inc. | Universal security camera |
| US20080212849A1 (en) * | 2003-12-12 | 2008-09-04 | Authenmetric Co., Ltd. | Method and Apparatus For Facial Image Acquisition and Recognition |
-
2009
- 2009-02-26 ES ES200900538A patent/ES2372830B1/es active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002019698A2 (en) * | 2000-08-31 | 2002-03-07 | Rytec Corporation | Sensor and imaging system |
| US20060268116A1 (en) * | 2001-11-21 | 2006-11-30 | Thales Avionics, Inc. | Universal security camera |
| WO2004029659A2 (en) * | 2002-06-14 | 2004-04-08 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
| US20080212849A1 (en) * | 2003-12-12 | 2008-09-04 | Authenmetric Co., Ltd. | Method and Apparatus For Facial Image Acquisition and Recognition |
| EP1589485A2 (en) * | 2004-04-20 | 2005-10-26 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
| TWI246626B (en) * | 2004-11-17 | 2006-01-01 | Miwa Technology Co Ltd | Protecting cover device of monitoring video camera |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2372830B1 (es) | 2012-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9692990B2 (en) | Infrared tracking system | |
| KR102142190B1 (ko) | 광학 마커를 갖는 전자 디바이스 | |
| JP4764832B2 (ja) | 光入力デバイス用の装置及びその方法 | |
| US9285893B2 (en) | Object detection and tracking with variable-field illumination devices | |
| US20060148563A1 (en) | Gaming peripheral apparatus for a gaming computing device | |
| CN109416572A (zh) | 启用眼睛跟踪的可穿戴设备 | |
| JP2011524034A (ja) | 対話型入力装置と、該装置のための照明組み立て品 | |
| CN107077258B (zh) | 投射型影像显示装置以及影像显示方法 | |
| KR20160108386A (ko) | 3d 실루엣 감지 시스템 | |
| JP5740822B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20110300940A1 (en) | Generating Position Information Using a Video Camera | |
| US20140225826A1 (en) | Method for detecting motion of input body and input device using same | |
| CN105593786A (zh) | 对象位置确定 | |
| JP2009505305A (ja) | 自由空間のポインティング及び手書き手段 | |
| JP2015526927A (ja) | カメラ・パラメータのコンテキスト駆動型調整 | |
| CN103299259A (zh) | 检测装置、输入装置、投影机以及电子设备 | |
| KR20170107357A (ko) | 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법 | |
| Sato et al. | Spectrans: Versatile material classification for interaction with textureless, specular and transparent surfaces | |
| CN105874409A (zh) | 信息处理系统、信息处理方法及程序 | |
| Tsun et al. | A human orientation tracking system using Template Matching and active Infrared marker | |
| JP2020057371A (ja) | リモートデバイス及びディスプレイと対話するための帽子、システム及びプログラム | |
| KR101105872B1 (ko) | 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치 | |
| ES2372830A1 (es) | Procedimiento para la captura y seguimiento de objetos y dispositivo para llevar a cabo dicho procedimiento. | |
| JP2021028733A (ja) | 物体識別装置及び物体識別システム | |
| Diaz et al. | Multimodal sensing interface for haptic interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG2A | Definitive protection |
Ref document number: 2372830 Country of ref document: ES Kind code of ref document: B1 Effective date: 20121130 |