ES2543038B2

ES2543038B2 - Método y sistema de localización espacial mediante marcadores luminosos para cualquier ambiente

Info

Publication number: ES2543038B2
Application number: ES201500011A
Authority: ES
Inventors: Eugenio Villar Bonet; Patricia Mª MARTÍNEZ MEDIAVILLA; Francisco José ALCALÁ GALÁN; Pablo Pedro SÁNCHEZ ESPESO; Víctor FERNÁNDEZ SOLORZANO
Original assignee: Universidad de Cantabria
Current assignee: Universidad de Cantabria
Priority date: 2014-12-23
Filing date: 2014-12-23
Publication date: 2015-11-26
Anticipated expiration: 2034-12-23
Also published as: WO2016102721A1; ES2543038A1

Abstract

Método y sistema de localización espacial de un objetivo (10) en un entorno (11) tridimensional que comprende al menos un marcador luminoso comprendiendo:#- una cámara estéreo (12) para capturar una primera trama de imagen en un instante actual y una segunda trama de imagen en un instante anterior;#- un dispositivo de medida de ángulos (13) para obtener un ángulo de giro del objetivo (10);#- un procesador de señales (14) con acceso a una memoria (15) que almacena entre otros un radio del, al menos un, marcador detectado en un instante de tiempo actual n y en un instante de tiempo anterior n-1 configurado para calcular unas coordenadas (x{sub,i}, y{sub,i}) del objetivo (10) en un instante de tiempo i como sigue:#- si el ángulo de giro en el instante de tiempo actual y en el instante de tiempo anterior son distintos, (x{sub,n}, y{sub,n}) = (x{sub,n-1}, y{sub,n-1);#- si las dos tramas de imagen son iguales, (x{sub,n}, y{sub,n}) = (x{sub,n-1}, y{sub,n-1});#- en otro caso:#- si los radios son iguales y hay varios marcadores, (x{sub,n}, y{sub,n}) se calculan mediante triangulación usando ambas tramas de imagen;#- si los radios son distintos y hay varios marcadores, (x{sub,n}, y{sub,n}) se calculan mediante triangulación usando una sola trama de imagen;#- si los radios son distintos y hay un único marcador, (x{sub,n}, y{sub,n}) se calculan mediante geometría estéreo;#- si los radios son iguales y hay un único marcador, (x{sub,n}, y{sub,n}) se calculan usando coordenadas de imagen del marcador en el instante actual y en el anterior.

Description

Método y Sistema de Localización espacial mediante Marcadores Luminosos para cualquier ambiente

OBJETO DE LA INVENCiÓN

La presente invención pertenece a los campos de la electrónica y las telecomunicaciones. Concretamente, la presente invención se aplica al área industrial que recoge las técnicas de detección de puntos de referencia para la localización y posicionamiento de un objetivo (una

persona, animal o un objeto) en entornos controlados.

Más particularmente, la presente invención se refiere a un método y sistema para obtener, a partir del uso de marcadores luminosos, la posición y orientación de un objeto o sujeto, aplicable a cualquier tipo de ambiente, interior o exterior.

ANTECEDENTES DE LA INVENCiÓN

En los últimos años, está habiendo un creciente interés en aquellos sistemas o productos relacionados con la localización de objetos en tres dimensiones (3D). los sectores que cubren esta tecnología son muy amplios, como robótica, medicina o videojuegos, entre otros.

Concretamente, el seguimiento de objetos está estrechamente relacionado con la realidad aumentada, donde el conocimiento de la posición del individuo es fundamental. Esta tecnología mezcla elementos virtuales con imágenes reales, permitiendo al usuario ampliar su información del mundo real o interactuar con él. La realidad virtual sin embargo, sustituye la realidad física con datos informáticos. Los sistemas de realidad aumentada pueden utilizar como dispositivos de visualización Cdisplays' en inglés) una pantalla óptica transparente (por ejemplo, Google Glass) o una pantalla de mezcla de imágenes (por ejemplo, la de un teléfono móvil inteligente, 'smartphone' en inglés). Además para poder conocer la posición del individuo con precisión, pueden basarse en el uso de cámaras, sensores ópticos, acelerómelros, giroscopios, GPS , etc. En el caso de que se empleen sistemas de visión, es necesario realizar un preprocesado de la región de interés donde se sitúa el individuo, utilizando algoritmos de imagen que permiten detectar esquinas, bordes o marcadores de referencia; para después, con estos datos obtener las coordenadas 3D reales del entorno. Estos sistemas requieren el uso de una CPU y memoria RAM con suficiente capacidad de

cómputo, para poder procesar las imágenes de las cámaras a tiempo real y con la menor latencia posible.

Cuando únicamente se pueda visualizar un marcador de referencia, se tiene que recurrir al uso de cámaras estéreo y geometría epipolar. La caracterización de un punto en el espacio tridimensional requiere el conocimiento de sus coordenadas (x, y, z) dentro del entorno donde éste se encuentre, respecto a una posición de referencia. La técnica más común está basada en el uso de dos o más cámaras calibradas, que proporcionan una imagen izquierda y derecha de la misma escena. Para obtener las coordenadas 3D del punto u objeto a caracterizar, se aplica correspondencias estéreo (buscar un mismo punto en ambas imágenes) y se calcula la geometría proyectiva o epipolar (describe la relación existente entre los planos de la imagen de las cámaras y el punto).

En el caso de tener más de un marcador o patrón disponible, se pueden aplicar otras técnicas para localizar el objeto en el escenario. A través de triangulación, conociendo la distancia real entre marcadores, es posible con sólo dos marcadores y una sola cámara obtener los parámetros para conseguir la profundidad al objetivo y posicionarlo en el entorno. Esta práctica simplifica el coste computacional, al no tener que analizar dos imágenes y sus correspondencias; pero requiere mayor precisión a la hora de detectar los marcadores. A pesar de eso, algunos autores ("Qptical tracking using projective invariant marker pattern propierties", R. van Uere et al. , Proceedings of the IEEE Virtual Reality Conference 2003, 2003) consideran que, para poder realizar un mejor seguimiento del objeto, es necesario que el objeto tenga cuatro o más marcadores y que además se utilice visión estéreo; para conseguir un sistema más preciso pero más lento.

Uno de los problemas que se han encontrado en otros estudios (US 7,231,063 82, "Fudicial Detection System", L Naimark et al.) a la hora de utilizar marcadores, es la luminosidad que tiene el ambiente donde van a ser tomadas las imágenes. Los puntos a detectar pueden perderse en la escena por falta de luz. Esto limita las aplicaciones que usan este sistema en ambientes interiores o con luminosidad controlada. Además, se hace necesario el uso de algoritmos de realce de contraste y/o el uso de marcadores específicos guardados en una base de datos, lo que incrementa sustancialmente el tiempo de cómputo de estos sistemas. Además de limitar considerablemente la distancia entre los marcadores impresos y el usuario del sistema, a no ser que su tamaño sea lo suficientemente grande para que lo capte el sensor de imagen. En algunos casos (WO 2013/120041 A 1, "Method and apparatus for 3D spatial localization and tracking of objects using active optical illumination and sensing") se han propuesto este tipo de fuentes de luz con luminancia variable o luz pulsada, lo que puede ocasionar fallos de sincronización. Aun así, el uso de marcadores luminosos puede plantear problemas, concretamente en ambientes donde hay fuentes de luz con una luminancia mucho mayor que el propio marcador (en el peor caso, luz solar) o fuentes que emiten radiación en la misma dirección; en esas situaciones, el sensor de imagen no es capaz de diferenciar una fuente de luz de otra, por lo que obligará tal y como ocurría anteriormente, a utilizar esta tecnología en entornos luminosos sin grandes fuentes de luz en él.

La idea de detectar y posicionar los marcadores sirve para caracterizar los objetos o individuos que hay en él, de esa forma se localizan en el espacio. En el artículo "Wide area optical tracking in unconstrained indoor environments" (de A. Mossel et al., 23rd Internacional Conference on Artificial Reality and Telexistence (ICAT), 2013) se propone incorporar marcadores luminosos infrarrojos en una cinta situada en la cabeza del usuario. Para ello, colocan en el escenario dos cámaras independientes, que requieren un proceso de sincronización para realicen el disparo simultáneamente, situadas a una distancia igual a la longitud de la pared de la habitación donde se va a probar. El algoritmo empleado, para hacer una estimación de la posición, se basa en la búsqueda de correspondencias estéreo. Uno de los inconvenientes que presenta es que no se puede implementar para sistemas de realidad aumentada o simulada, porque las cámaras no muestran lo que ve el usuario, además de estar restringido a ambientes interiores con dimensiones limitadas.

Otros estudios como "Tracking of user position and orientation by stereo measurement of infrared markers and orientation sensing" (de M. Maeda, et aL , Proceeding of the 8th. International Symposium on Wearable Computers (ISWC'04), 2004) plantean el uso de marcadores infrarrojos situados en la pared de una habitación, para localizar al usuario. Concretamente, proponen el uso de dos tipos de marcadores: activos y pasivos. Los marcadores activos están formados por un conjunto de tres LEOs infrarrojos y un emisor de señales, que envía datos de su posición real a un decodificador de señales que porta el usuario, por lo que una vez que los detecta conocen su posición absoluta. Los marcadores pasivos son únicamente una fuente de luz infrarroja, a partir de los cuales obtienen la posición relativa del usuario. Además de basarse en la recepción de señales de los marcadores activos, calculan la distancia relativa al marcador a partir de visión estéreo. El uso de esta técnica, al igual que ocurría en 105 casos explicados anteriormente, está limitado a espacios interiores.

Existen otros métodos, que no requieren la visión directa de una o más cámaras con los marcadores de referencia, para sistemas de localización y seguimiento del usuario. Las técnicas de radiofrecuencia consisten en medir distancias, de objetos estáticos o móviles, a partir de la emisión de pulsos electromagnéticos que son reflejados en un receptor. Estas ondas electromagnéticas se reflejarán cuando haya cambios significativos en la densidad atómica entre el entorno y el objeto, por lo que funcionan particularmente bien en los casos de materiales conductores (metales). Son capaces de detectar objetos a mayor distancia que otros sistemas basados en luz o sonido, sin embargo son bastante sensibles a interferencias o ruido. Además es complicado medir objetos que se encuentren entre sí a diferentes distancias al emisor, debido a que la frecuencia del pulso variará (más lento cuanto más lejos y viceversa). Aun así, hay estudios experimentales como uRADAR: an inbuilding RF-based user location and tracking system" (de P. Bahl et al., Proceedings of IEEE INFOCOM 2000, Tel-Aviv, 2000) que demuestran su uso para estimar la localización del usuario con un alto nivel de precisión. Esta técnica no resulta apropiada en aplicaciones de realidad aumentada.

Otro ejemplo de soluciones existentes son los sistemas LlDAR, que calculan la distancia a través del tiempo que tarda un pulso luminoso en reflejarse en un objeto o superficie, utilizando un dispositivo con un láser pulsado como emisor de luz y un fotodetector como receptor de la señal reflejada. La ventaja de estos sistemas es la precisión que logran a largas distancias (utilizando láseres con longitud de onda >1000 nm) y la posibilidad de mapear grandes extensiones, mediante barridos de pulsos luminosos. Sus inconvenientes son la necesidad de efectuar el análisis y procesado de cada punto, así como la dificultad de reconstruir automáticamente imágenes tridimensionales.

El problema técnico objetivo que se presenta es pues proporcionar un sistema para la detección de la posición y de la orientación de un individuo u objeto en cualquier tipo de ambiente, interior o exterior, con cualesquiera que sean sus condiciones de iluminación.

DESCRIPCiÓN DE LA INVENCiÓN

La presente invención sirve para solucionar los problemas mencionados anteriormente, resolviendo los inconvenientes que presentan las soluciones comentadas en el estado de la técnica, proporcionando un sistema que, a partir del uso de uno o más marcadores luminosos de referencia y una única cámara estéreo, permite localizar espacialmente objetos o individuos en un escenario bajo cualquier condición ambiental y con distancias mayores entre el usuario y el marcador. El sistema se basa principalmente en el uso de marcadores luminosos para calcular posiciones relativas del objeto/individuo, una cámara estéreo para visualizar esos marcadores en la imagen del escenario y un dispositivo electrónico de medida de ángulos, tal como puede ser un giroscopio o brújula electrónica, para proporcionar ángulos de giro del usuario objetivo (objeto, persona o animal).

La presente invención permite detectar marcadores luminosos de referencia en cualquier tipo de ambientes, independientemente de las fuentes de luz que determinan las condiciones ambientales.

Un aspecto de la invención se refiere a un método para posicionar o localizar un objetivo mediante el uso de marcadores de referencia en cualquier entorno 3D que, a partir de una primera trama de imagen en un instante de tiempo actual y una segunda trama de imagen en un instante de tiempo anterior capturadas mediante una cámara estéreo, imágenes en las que se detecta al menos un marcador, obtiene las coordenadas (xn, Yn) del objetivo en el instante de tiempo actual n, para lo que realiza los siguientes pasos:

-: obtener un ángulo de giro del objetivo en el instante de tiempo actual y en el instante de tiempo anterior; -si el ángulo de giro en el instante de tiempo actual y el ángulo de giro en el instante de tiempo anterior son distintos, calcular las coordenadas (xn , Yn) del objetivo en el instante actual n igualándolas a las coordenadas (Xn.1, Yn. 1) del objetivo en el instante anterior n-1 ; -si la primera trama de imagen y la segunda trama de imagen son iguales, calcular las coordenadas (xn, Yn) del objetivo en el instante actual igualándolas a las coordenadas (Xn_l, Yn-l ) del objetivo en el instante anterior;-si no, en otro caso, obtiene las coordenadas de imagen de, al menos un marcador detectado, y su radio, para comparar los radios en el instante de tiempo actual n y en el instante de tiempo anterior n-1 y:

-: si los radios son iguales y hay una pluralidad de marcadores, las coordenadas (Xn. Yn) del objetivo en el instante actual se obtienen mediante triangulación usando la primera trama de imagen y la segunda trama de imagen;

-: si los radios son distintos y hay también más de un marcador, las coordenadas (xn, Yn) del objetivo en el instante actual se obtienen mediante triangulación pero usando una sola trama de imagen, la captada en el instante actual;

-: si los radios son distintos y hay un único marcador detectado, las coordenadas (xn, Yn) del objetivo en el instante actual se obtienen mediante el algoritmo de geometría estéreo conocido en el estado de la técnica;

-: si los radios son iguales y hay un único marcador detectado, las coordenadas (xn, Yn) del objetivo en el instante actual se obtienen mediante un algoritmo que recuerda al de geometría estéreo pero usando las coordenadas de imagen del marcador en el instante de tiempo actual y en el instante de tiempo anterior, en vez de una imagen izquierda y derecha del mismo instante de tiempo

Otro aspecto de la invención se refiere a un sistema para localizar un objetivo, que puede ser un objeto o un individuo, a partir de al menos un marcador de referencia en un espacio o entorno 3D, que comprende los siguientes medios:

una cámara estéreo para captar tramas de imagen en las que se detectan uno o más marcadores;

un dispositivo medidor de ángulos para obtener el ángulo de giro del objetivo en cada instante de tiempo; un procesador de señales, con acceso a un dispositivo de almacenamiento (una memoria), configurado para realizar los pasos del método anteriormente descrito para obtener a su salida las coordenadas (Xn, Yn) del objetivo calculadas en el instante de tiempo actual, usando, según cada caso arriba indicado, los datos obtenidos en el instante de tiempo anterior almacenados en la memoria.

Como marcador de referencia se utiliza una fuente luminosa, identificable en el entorno de utilización.

En un posible campo de aplicación, la invención que se describe puede emplearse para aplicaciones de Realidad Simulada. Para ello, se incorpora al sistema unas gafas de

Realidad Virtual. Tanto la cámara estéreo como las gafas pueden formar parte de un casco

o equipo de sujeción que va colocado en la cabeza del usuario y conexionando la cámara con las gafas. El sistema puede incorporar de forma adicional un aceleró metro, que mide el desplazamiento realizado en un tiempo finito, lo que reduciría los errores acumulativos.

La presente invención posee una serie de características diferenciadoras con respecto a las soluciones existentes comentadas en el estado de la técnica anterior que presentan ventajas técnicas como las que siguen:

Con respecto a US 7,231 ,063 82, la presente invención resuelve el problema del tiempo de cómputo de sistemas existentes como el descrito en US 7,231,063 82, debido a que se requieren algoritmos de realce de contraste y/o de marcadores específicos guardados en una base de datos, porque en la presente invención se utilizan marcadores luminosos que trabajan en el espectro visible o infrarrojo, como pueden ser los diodos emisores de luz (LEOs Con respecto a WO 2013/120041 A1 , una de las diferencias de la presente invención es que utiliza fuentes luminosas fijas y viene a resolver el problema que se da en ambientes donde hay fuentes de luz con una luminancia mucho mayor que el propio marcador. Para solucionar este problema, la presente invención usa un elemento que evita que las condiciones lumínicas de un entorno afecten de forma significativa como es el uso de un fondo tras la fuente de luz.

BREVE DESCRIPCiÓN DE LAS FIGURAS

A continuación se pasa a describir de manera muy breve una serie de dibujos que ayudan a comprender mejor la invención y que se relacionan expresamente con una realización de dicha invención que se presenta como un ejemplo no limitativo de ésta.

FIGURA 1.-Muestra un diagrama de bloques esquemático del sistema de localización espacial de individuos u objetos, según una realización preferente de la invención.

FIGURA 2.-Muestra una representación simplificada de un tipo de marcador luminoso, que puede usar el sistema de la Figura 1.

•

FIGURA 3.-Muestra un entorno de uso de los marcadores de la Figura 2 y en el que es aplicable el sistema de la Figura 1, según una posible realización.

FIGURAS 4A-4B.-Muestran un esquema de los marcadores y parámetros que usa el sistema para localizar en el entorno individuos u objetos que se desplazan verticalmente y cuando sólo se detecta un único marcador.

FIGURAS 5A-5B.-Muestran un esquema de los marcadores y parámetros que usa el sistema para localizar en el entorno individuos u objetos que se desplazan verticalmente y cuando se detecta más de un marcador.

FIGURA 6A.-Muestra un esquema de los marcadores y parámetros que usa el sistema para localizar en el entorno individuos u objetos que se desplazan horizontalmente y cuando sólo se detecta un único marcador.

FIGURA 68.-Muestra un esquema de los marcadores y parámetros que usa el sistema para localizar en el entorno individuos u objetos que se desplazan horizontalmente y cuando se detecta más de un marcador.

FIGURA 7.-Muestra un esquema del funcionamiento del método, es meramente un ejemplo de flujo de datos.

REALIZACiÓN PREFERENTE DE LA INVENCiÓN

A continuación, se proponen posibles modos de realización del sistema de obtención, a partir del uso de uno o varios marcadores luminosos, de la posición y orientación de un usuario, en diferentes posibles ambientes, que pueden ser en interior o exterior, dentro de un escenario controlado.

La Figura 1 muestra un diagrama esquemático de la arquitectura de bloques del sistema para localizar en el espacio los objetos o individuos que constituyen un objetivo (10) en un entorno tridimensional (11) bajo cualquier condición ambiental definida por un número m~1

de fuentes de luz (fLt, fL2, fL3, ... , fLm), disponiendo de uno o más marcadores luminosos (20) como los mostrados en las Figuras 2-3, 4A-4B, 5A-58 Y 6A-6B. El sistema comprende una cámara estéreo (12) para detectar los marcadores luminosos (20) y un dispositivo electrónico de medida de ángulos (13), por ejemplo, un giroscopio o brújula electrónica, con el que se obtienen los ángulos de giro del objetivo (10). Además, el sistema comprende un procesador digital de señales (14) que calcula las coordenadas de posición en el espacio de cada marcador luminoso (20) en el tiempo y las almacena en una memoria o dispositivo de almacenamiento (15). El procesador digital de señales (14) utiliza las coordenadas almacenadas y los parámetros de salida que obtiene de la cámara estéreo (12) y del dispositivo medidor de ángulos (13) para determinar a su salida (16) la posición del usuario objetivo (10).

En la Figura 2 se muestra un tipo de marcador de referencia (20) de los utilizados, que es un marcador luminoso y comprende dos elementos principales: una fuente de luz (21) Y una superficie de contraste (22). La fuente de luz (21) preferente es un diodo LEO que emite en el rango visible: 400-700 nm. Este tipo de fuente es una fuente de luz puntual que logra alcances mayores a 50 m para potencias mayores de 1 W. Además, un diodo LEO se puede considerar como un producto no peligroso debido las potencias ópticas en las que trabaja y a que en el peor de los casos el tiempo de exposición es muy bajo (tiempo de reacción de aversión= -250 ms). Aun así, el sistema puede usar marcadores (20) luminosos con otro tipo de fuentes de luz (21), debido a que el dispositivo que detecta el marcador luminoso (20), es decir, la cámara estéreo (12) que se usa como receptor de la luz, detecta tanto fuentes de luz (21 ) que trabajan en el espectro visible como infrarrojo. El sensor de imagen de la cámara estéreo (12) tiene una curva espectral que, para la longitud de onda del LEO que se usa, indica una respuesta espectral con un valor superior a 0.005 ANV. Las bombillas de filamento son otro ejemplo de fuentes de luz (21), aunque son fuentes difusas con potencias ópticas emitidas inferiores a las alcanzables con un diodo LEO. Otra pOSible fuente de luz (21) puede ser un diodo láser, aunque se trata de una fuente colimada capaz de focalizar la luz sobre un punto muy pequeño y, para la mayoría de los casos, todas aquellas potencias ópticas superiores a 1 mW pueden ser peligrosas. El último tipo de fuente de luz (21) que puede emplearse es un diodo LEO infrarrojo, aunque debido al alcance que presenta, el inconveniente es que el usualio no es capaz de percibirlo y podría ocasionarle daños oculares. Por otra parte, la superficie de contraste (22) es de un color -por ejemplo, negra-y dimensiones que permiten distinguir entre el marcador luminoso (20) y cualquier fuente de luz externa. La pantalla o superficie de contraste (22) permite aplicar el

método aquí propuesto en ambientes con poca o mucha luminosidad, y a grandes distancias. La forma de la superficie de contraste (22) puede ser cualquiera, por ejemplo, cuadrada como en la Figura 2. las dimensiones de la superficie de contraste (22) dependen de las condiciones lumínicas del entorno (11), del flujo luminoso de la fuente de luz (21) Y de la distancia máxima que vaya a haber entre el objetivo (10) y los marcadores luminosos (20). La plantilla o superficie de contraste (22) se sitúa en la parte externa de la fuente de luz (21), concretamente en la posterior, quedando la fuente de luz (21) a la vista del usuario. En el caso que el ambiente o el fondo que haya detrás de la fuente de luz (21) sea lo suficientemente oscuro, no es necesario añadir la superficie de contraste (22). El sistema admite el uso de otro tipo de marcadores luminosos (20), como pueden ser marcadores impresos blancos con un reborde negro, aunque éstos no pueden emplearse en cualquier tipo de ambiente.

La Figura 3 muestra un posible escenario de aplicación del sistema, en el que la distribución de los marcadores (20). Sin embargo, Los marcadores (20) pueden situarse a diferentes distancias los unos de los otros, que el sistema ha de conocer de antemano. La altura entre cada marcador luminoso (20) y el suelo no está prefijada, pero es recomendable que sea aquella que permite visión directa entre la cámara estéreo (12) y las fuentes luminosas (fL" fb, f~, ..., fLn) de los marcadores (20) luminosos. En el caso de ambientes exteriores, los marcadores (20) se sitúan en soportes verticales para conseguir la altura necesaria. En el caso de ambientes interiores, los marcadores luminosos (20) pueden ir también en soportes verticales o sujetos en las paredes u objetos del entorno. La relación que hay entre el número m de marcadores (20) y la distancia entre ellos (d" d2) depende del ángulo de apertura (2<p) de la cámara estéreo (12), del ángulo de emisión (29) de la fuente de luz (21), por ejemplo el LEO, del marcador (20) luminoso y de la distancia mínima (L) que tiene que haber entre el objetivo (10), usuario del sistema, y las fuentes luminosas (fL" fL2, fL3, .. , tLm),

i.e. , los LEOs, para que puedan visualizarse como mínímo una pareja de fuentes; según queda reflejado en la siguiente en la ecuación m/d ~ _ 1_.

tg9~L

El escenario donde se aplica el método no presenta ninguna característica predefinida con respecto a distribución, planta, obstáculos, de forma que el sistema se adapta a él. El tipo de ambiente, como se ha explicado anteriormente, puede ser interior o exterior. La única restricción que tíene es las dimensiones máximas de este entorno, estando limitadas por el alcance de las fuentes luminosas (fL" fL2, fL3,... , fLn) elegidas. Dicho alcance, se mide en función de la intensidad y flujo luminoso de las fuentes de luz (fL" fL2, fL" .. , fLm) Y de la sensibilidad del sensor de imagen de la cámara estéreo (12). A partir de las imágenes capturadas por la cámara estéreo (12) y de las coordenadas de imagen de los marcadores luminosos (20) calculadas en una captura anterior, como más adelante se describe, por el procesador digital de señales (14) del sistema, este sistema permite localizar en la imagen unos puntos de referencia especificos mediante un algoritmo de detección de marcadores luminosos (20), como el que se describe seguidamente. El método que se va a describir no es único, pueden usarse otras variantes, devolviendo como parámetros de salida las coordenadas de imagen (u,v) y el diámetro de los marcadores luminosos (20) detectados. En las coordenadas de imagen (u,v) en 2 dimensiones, la primera coordenada u denota la coordenada según un eje horizontal y la segunda coordenada v denota la coordenada según un eje vertical, en el plano 2D de la imagen donde se detectan los movimientos. La detección de marcadores luminosos (20) se divide en los siguientes pasos:

Conversión de imagen a escala de grises para reducir considerablemente el tamaño de la imagen, ya que asi se pasa de tener tres canales, rojo, verde y azul, a sólo uno blanco y negro. Es decir, cada pixel de la imagen reduce su valor de 3 byles a 1 byle. Filtrado de eliminación de ruido para eliminar los pixeles erróneos y ruido de las imágenes captadas por las cámaras. El tipo de filtro depende de lo nítidas que se deseen las imágenes y del tiempo de retraso que se pueda introducir en el sistema. Localización de pixeles vecinos con fuertes contrastes, analizando la imagen por ventanas y buscando aquellas regiones donde los contrastes entre píxeles vecinos son mayores. Este algoritmo tiene sentido porque las fuentes de luz (21) tienen valores de pixel en la imagen en torno a 255 y la plantilla (22) negra tiene valores en torno a O. Obtención de las coordenadas de los marcadores luminosos (20), una vez localizadas las regiones que pueden corresponder a fuentes de luz (21), verificando que realmente lo sean. Lo primero que se comprueba es la forma de la fuentes de luz (21), que se aproxime a una circunferencia o elipse , y se obtienen las coordenadas imagen (u,v), de su punto central así como su radio. Además se han de contrastar dichas regiones entre sí, verificando que todas se encuentran en filas de píxeles muy similares y que tienen valores de intensidad

"

similares, ya que se asume que todas son fuentes de luz (21) con la misma luminancia. Verificación final, comparando las coordenadas de los marcadores luminosos (20) calculadas con las obtenidas es una captura anterior. Una vez obtenidas las regiones que se han comprobado corresponden a marcadores luminosos (20), se procede a una última comprobación. En este caso, cotejando las posiciones de los marcadores actuales con los de un instante anterior; teniendo en cuenta que al ser momentos consecutivos, las coordenadas no cambian de forma muy significativa de un sitio a otro.

Para localizar en la imagen de un entorno (11) los puntos de referencia que dan la localización del usuario objetivo (10), es necesario conocer la siguiente infonnación: a) las coordenadas de imagen (u, v) y radio de cada marcador (20) detectado por el algoritmo de obtención de marcadores anteriormente descrito a partir de la imagen capturada por la cámara estéreo (12); b) el valor en grados é, del giro del usuario objetivo, devuelto por el dispositivo de medida de ángulos (13), en el momento de la captura por la cámara estéreo (12) de cada imagen; y c) los datos guardados en la memoria (15) como son: posición anterior, distancia real entre marcadores, distancia focal de las cámaras, ángulo de apertura de la cámara, distancia entre cámaras ('baseline', en inglés), trama de imagen ('frame', en inglés) anterior, radio anterior de los marcadores, vectores de posición anteriores de los marcadores y ángulo de giro anterior.

Considerando el caso particular de un entorno (11) continuo, sin obstáculos y de fonna cuadrada, por ejemplo, como el escenario representado en la Figura 3, la posición del usuario objetivo (10) depende de los giros y el tipo de movimientos que realice -vertical: arriba o abajo, horizontal: izquierda o derecha-; o de si no realiza ningún movimiento.

Los métodos para el cálculo de la posición que se describen a continuación se resumen en la Figura 7, se implementan de diferentes maneras, ilustradas en las Figuras 4A-48, 5A-58 Y 6A-68, dependiendo de la clase de desplazamiento que se haya registrado y del número de marcadores detectados, siendo validos para cualquier tipo de marcador, tanto luminoso como impreso.

Como muestra la Figura 7, lo primero es comprobar el valor, en grados, devuelto por el dispositivo de medida de ángulos (13) para determinar si existe un giro significativo, lo cual ocurre en caso de ser el ángulo obtenido en el instante actual ~(n) distinto al del instante anterior i"i(n-1); sin embargo, si i5(n) = 0(n-1) indica que el usuario objetivo (10) no ha girado. Si hay giro, las coordenadas de usuario son las mismas a pesar de que las imagenes capturadas por la cámara estéreo (12) cambien. Cuando el ángulo de giro, obtenido por el dispositivo de medida de ángulos (13), es constante en el tiempo, se compara la trama imagen capturada en el instante actual, frame (n), con la inmediatamente anterior frame (n1) Y si coinciden se interpreta como que no ha habido ningún movimiento del usuario. En el

caso de que no haya desplazamiento, el método devuelve las mismas coordenadas de usuario que en el momento anterior (:<n.l, Yn.l); en caso contrario, se calcula la posición con toda la información, a)-c), mencionada anteriormente. De este modo, se evitan operaciones redundantes e innecesarias. Cuando se detecta cambio de posición, se aplica el algoritmo de detección de marcadores. Conociendo los valores de los radios de los marcadores detectados en el instante actual, r(n) y los del instante anterior r(n-1), se puede identificar el tipo de desplazamiento del usuario objetivo (10):

Si esoS radios son distintos, r(n-1) t r(n), el desplazamiento es hacia arriba o

abajo. Para conocer la posición del objetivo (10) es necesario saber la distancia

entre él y los marcadores, es decir, conocer el desplazamiento realizado

verticalmente.

Si esos radios son iguales, r(n-1) = r(n), desplazamiento es a derecha o

izquierda. Para conocer la posición del objetivo (10) es necesario saber cuánto se

ha movido horizontalmente. Una vez identificado el tipo de movimiento realizado por el objetivo (10), Se le puede localizar en el entorno (11) según los siguientes métodos, que dependen del tipo de movimiento y del número m de marcadores (20) detectados.

Las Figuras 4A-4B muestran el caso en que se ha determinado que existe un movimiento vertical del objetivo (10) y cuando sólo se detecta un único marcador (20) en la imagen (40) binocular captada por la cámara estéreo (12). En este caso, no se puede usar un algoritmo de triangulación, debido a que no se puede relacionar los píxeles con una distancia real; por ello se tiene que recurrir a la técnica de visión estéreo y se necesitan los siguientes pará metros:

la disparidad binocular ('disparity', en inglés) de la visión estéreo dada por las

coordenadas Ul y UR, rectificadas y sin distorsión respectivamente, del marcador

(20) obtenido de las dos componentes de imagen, izquierda (41) Y derecha (42), captadas por la cámara estéreo (12); los valores de distancia baseline B y distancia focal focaLlength f de la cámara estéreo (12); y el ángulo de giro (C:» del usuario objetivo (10).

Para poder transformar las coordenadas de imagen a la profundidad, se calcula la geometría proyectiva en el instante actual n según la ecuación:

10 Una vez calculada la distancia Lmarcador(n) que hay entre el objetivo (10) y el marcador (20), se puede obtener su posición dentro escenario. Como se ha desplazado verticalmente, lo único que aparentemente ha cambiado es su coordenada y, pero es necesario tener en cuenta el ángulo de giro li para obtener las coordenadas

15 absolutas. Las coordenadas (xn• Yn) en el instante actual son igual a las coordenadas en el instante anterior (Xn.1, Yn.,) mas la suma del desplazam¡ento realizado:

Si r(n-1) < r(n) = x n_ 1 + sin(ó') '# IL mcr,aaor n -L m.crccdor I

xn

;¡ _-;¡

20 Las Figuras 5A-5B muestran el caso en que se ha determinado que existe un movimiento vertical del objetivo (10) Y se detectan dos o más marcadores (20, 20', 20") en la imagen

(50) captada por la cámara estéreo (12). En este caso, se puede aplicar triangulación, puesto que se dispone de más de un marcador, de la distancia real (d/m) entre marcadores (20, 20', 20"), del ángulo de giro (é), del ángulo de apertura (2",) de la cámara (12) y del

25 número de píxeles (AxB) de la imagen (50). Conociendo las coordenadas hor¡zontales u de imagen de los marcadores (20, 20', 20"), se calcula, en píxeles, la distancia en píxeles q entre ellos, q :;;: U2-U1 , que en el mundo real es igual a d/m metros, siendo m el número de

marcadores, Por lo tanto los metros reales de distancia Lmarcador(n) que hay entre el objetivo

(10) y uno de los marcadores, marcador (20), en el instante actual n es:

L marcCdor (n) = lA

tg(2", * 2-·u,)

5 En las Figuras 4A-4B y 5A-5B, se representa el ángulo el> que se refiere a la mitad del ángulo de apertura (2q» de la cámara (12). Conocida la distancia al marcador y la distancia que había en el instante anterior n-1, se calculan los metros recorridos como la diferencia entre ambos. A partir de ese valor y de la posición anterior del usuario, coordenadas del objetivo (10) en el instante anterior (Xn_1, Yn_,),

10 se pueden calcular sus nuevas coordenadas (><o, Yn) en el instante actual:

En este caso también se puede usar visión estéreo para obtener la profundidad a los marcadores. Pero es necesario aplicar correspondencias estéreo, es decir, relacionar los

15 marcadores de la imagen izquierda con sus equivalentes de la imagen derecha. Obtenidas las correspondencias, se puede aplicar geometría proyectíva, como en el caso de un único marcador para obtener la distancia real a cada marcador.

Las Figuras 6A~6B muestran el caso en que se ha determinado que existe un movimiento 20 horizontal del objetivo (10).

La Figura 6A se refiere al caso en que sólo se detecta un único marcador (20) en la imagen (61 , 62). Se aplica un algoritmo que puede recordar al de geometría estéreo, pero en este caso no se utilizan dos imágenes del mismo instante tomadas desde dos ángulos diferentes, 25 sino que se utilizarán dos imágenes de instantes contiguos y misma perspectiva: la imagen captada en el instante actual (61) Y la capturada en un instante inmediatamente anterior 62).

Asimismo, se cuenta con las coordenadas horizontales del marcador en el instante actual (un) y las que se obtuvieron del frame anterior (Un_,), así como la distancia anterior entre el marcador y el usuario (Lmarcador) y la distancia focal (focaLlength) de la cámara (12), para calcular el desplazamiento (D) horizontal realizado por el usuario objetivo (10) según la

5 siguiente expresión:

D = Lmo.rcac.orn_~ * !U :ocI_t -un I

f ocaCleng ht

Una vez conocido el desplazamiento D, en metros, que ha realizado el usuario objetivo (10),

10 se pueden obtener sus coordenadas reales, que dependen de su posición en el instante anterior n-1 y del tipo de desplazamiento, izquierda o derecha, realizado:

Si Un-l < Un: x~ = } ' = PI X n -1 -cosCó) "" D V ....... s in(ó) '" D ~ PI -1 "

: v.. = .' .. V _ -sin(o)"-D . n 1

15 La Figura 68 se refiere al caso en que se detecta más de un marcador (20, 20', 20") en la imagen. Se emplea una técnica similar a la de triangulación explicada en el caso de un movimiento vertical del usuario con una pluralidad de marcadores detectados, pero en este caso se usan dos imágenes (63, 64) capturadas por el mismo sensor de imagen de forma consecutiva en el tiempo, teniendo la imagen actual (63) y la imagen captada en el instante

20 anterior (64). Conociendo la distancia real entre marcadores y los pixeles que hay entre ellos, p pixeles en el instante actual n y q pixeles en el instante anterior n~1, se puede extrapolar a la longitud que se ha desplazado el usuario. Para ello se requiere conocer, además de la distancia entre marcadores (d/m), el ángulo de giro (15 ) y las coordenadas de imagen (Un.') de los marcadores (20, 20', 20") en la imagen anterior (64).

25 d q d IU-u,

D ::: cos Có') * _ Jio._ = cos( ó') *_ ;,.' 1 n-~ "-1

m p m 1"2,, -ud

Al igual que ocurría en el caso de un único marcador, una vez conocido el desplazamiento O se pueden obtener las coordenadas reales del usuario objetivo (10):

x ,., = X . .,_l -cosCS) ... D YIl = )''' -1 i-5111(0) ~ D

)',., = )',.,-1 -sin(ó) .;:. D

En este caso también se puede aplicar el caso anterior de un único marcador detectado para obtener el desplazamiento (O) realizado por el usuario objetivo (10). Es decir, a partir de las coordenadas del mismo marcador en dos imágenes contiguas, despreciando el resto de los marcadores detectados, y con la distancia anterior entre el marcador y el usuario,

10 calcular el desplazamiento D.

Claims

REIVINDICACIONES

1. Método para la localización espacial de un objetivo (10) usando al menos un marcador

(20)

luminoso identificable en el entorno de utilización de referencia, que en un instante de tiempo i calcula unas coordenadas (Xi, y¡) del objetivo (10), caracterizado por que comprende: -capturar mediante una cámara estéreo (12) una primera trama de imagen en un instante de tiempo actual y una segunda trama de imagen en un instante de tiempo anterior, detectando en la primera y segunda trama de imagen al menos un marcador (20); -obtener un radio en un instante de tiempo actual y un radio en el instante de tiempo anterior del, al menos un, marcador (20) detectado en la primera trama de imagen y segunda trama de imagen; -obtener un ángulo de giro del objetivo (10) mediante un dispositivo de medida de ángulos

(13)

en el instante de tiempo actual y en el instante de tiempo anterior; -si el ángulo de giro en el instante de tiempo actual y el ángulo de giro en el instante de tiempo anterior son distintos, calcular las coordenadas (Xn , Yn) del objetivo (10) en el instante actual igualándolas a las coordenadas (Xn_l, Yn-l) del objetivo (10) en el instante anterior; -si la primera trama de imagen y la segunda trama de imagen son iguales, calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual igualándolas a las coordenadas (Xn.l, Yn-l) del objetivo (10) en el instante anterior; -si no, comparar los radios en el instante de tiempo actual y en el instante de tiempo anterior del, al menos un, marcador (20) detectado y:

-

si los radios son iguales y hay más de un marcador (20, 20', 20n ) detectado, las coordenadas (xn, Yn) del objetivo (10) en el instante actual se obtienen mediante triangulación usando la primera trama de imagen y la segunda trama de imagen;

-

si los radios son distintos y hay más de un marcador (20, 20', 20") detectado, las coordenadas (Xn, Yn) del objetivo (10) en el instante actual se obtienen mediante triangulación usando una sola trama de imagen que es la primera trama de imagen;

-

si los radios son distintos y hay un único marcador (20) detectado, las coordenadas (Xn, Yn) del objetivo (10) en el instante actual se obtienen mediante geometria estéreo;

-

si los radios son iguales y hay un único marcador (20) detectado, las coordenadas (xo, Yn) del objetivo (10) en el instante actual se obtienen calculando unas coordenadas de imagen del marcador (20) en el instante de tiempo actual en la primera trama de imagen y unas coordenadas de imagen del marcador (20) obtenidas en el instante de tiempo anterior en la segunda trama de imagen.
2.

Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por que usa un marcador (20) luminoso que comprende una fuente de luz (21) y una superficie de contraste (22).
3.

Método de localización espacial, de acuerdo con la reivindicación 2, caracterizado por que usa un marcador (20) luminoso que comprende una fuente de luz (21 ) que es un diodo LEO.
4.

Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por

10 que, si los radios son iguales y hay más de un marcador (20, 20', 20") detectado, obtener las coordenadas (xn, Yn) del objetivo (10) en el instante actual comprende: -para cada marcador (20, 20', 20"), obtener en la primera trama de imagen unas coordenadas horizontales Un de imagen en el instante de tiempo actual y en la segunda trama de imagen obtener unas coordenadas horizontales Un.l de imagen en el instante de

15 tiempo anterior; -medir un desplazamiento O de cada marcador (20, 20', 20ft mediante la expresión:

)

D ~ 005(0) ,'!: .'I ~ 00. (0) . ,!: . 1-u1, . -ud

m p m lu," -u, I

.,

donde p es un número de píxeles en el instante actual n y q es un número de píxeles en el instante anterior n-1 , m es un número total de marcadores, d/m es una distancia real

20 entre marcadores (20, 20', 20") y' es el ángulo de giro del objetivo (10) obtenido; -calcular las coordenadas (X n, Yn) del objetivo (10) en el instante actual mediante la ecuación:

x" -:'1:"_1 -cosCó') ,. D )''1 = )"" 1 -:-sin (o) ,.. D

Si Un-l> Un

X1'l -X )I _1 +cosCó) .. D \' = \ ' _, -sin (6) " D_ n ~ n

25 5. Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por que, si los radios son iguales y hay un único marcador (20) detectado, obtener las coordenadas (xn• Yn) del objetivo (10) en el instante actual comprende:

-

para el marcador (20) obtener en la primera trama de imagen unas coordenadas

horizontales Un de imagen en el instante de tiempo actual y en la segunda trama de imagen

obtener unas coordenadas horizontales Un_1 de imagen en el instante de tiempo anterior;

-

medir un desplazamiento O del objetivo (10) mediante la expresión:

L mercador '"' 1"1.l"_1 -tLn l

D = 1I-!

focal _lel1g ht

donde la cámara (12) tiene una distancia focal focaL/ength y Lmarcadorn_l es una distancia entre el marcador (20) y el objetivo (10) medida en el instante de tiempo anterior, -calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual mediante la ecuación:

\t = ~ )'¡

v ...l..Sí71(6). D . ' 1'! -1

_'t0 ,., _ v = • 1'1

X,, _l +cosCo) • D y -s¡.n(8) '" D1'1 -1
6. Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por que, si los radios, que son el radio en el instante actual r(n) y el radio en el instante anterior r(n-1), son distintos y hay más de un marcador (20, 20', 20") detectado, obtener las

15 coordenadas (xn, yo) del objetivo (10) en el instante actual comprende: -obtener en la primera trama de imagen unas primeras coordenadas horizontales Ul de imagen de un primer marcador (20, 20', 20H Y unas segundas coordenadas horizontales U2

)

de imagen de un segundo marcador (20') -medir en el instante de tiempo actual una distancia Lmarcadofn entre el objetivo (10) Y el 20 primer marcador (20) mediante la expresión:

:1-u I ,", .E!. .. CO S O" 1

1Z 'm lu, u,l

Lmo.r~Cl.t!Dr(n) = lA I

tg(2",. 2" -",)

donde la cámara (12) tiene un ángulo de apertura 2q>, AxB es un número de pixeles de imagen bidimensional en el instante actual, m es un número total de marcadores, d/m es una distancia real entre los marcadores (20, 20') Y o es el ángulo de giro del objetivo (10)

25 obtenido;

-obtener una distancia Lmarcadorn_, medida en el instante de tiempo anterior entre el objetivo (10) y el primer marcador (20); -calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual mediante la ecuación:

Si r(n-1 ) < r(n)

Si r(n-1) > r(n) x" -x"_~ -sin ( ó') ,-ILmarccdOr:"i._ <' -Lmarcador~. 1
7. Método de locallzación espacial, de acuerdo con la reivindicación 1, caracterizado por que. si los radios, que son el radio en el instante actual r(n) y el radio en el instante anterior r(n-1 ), son distintos y hay un único marcador (20) detectado, obtener las coordenadas (Xn,

10 y,) del objetivo (10) en el instan1e actual comprende: -obtener unas coordenadas del marcador (20) rectificadas UL y UR respectivamente en una

componente de imagen izquierda (41 ) Y una componente de imagen derecha (42) captadas

por la camara estéreo (12), una disparidad binocular

-

medir en el instante de tiempo actual una distancia Lmarcadorn entre el objetivo (10) y el 15 marcador (20) mediante la expresión:

8 >¡

Lmercadcr(n) =.-,,--"-

L UR

donde la camara estéreo (12) tiene una disparidad binocular igual a UL -U R" una

distancia de referencia B y una distancia focal f, -obtener una distancia Lmarcadorn_l medida en el instante de tiempo anterior entre el

20 objetivo (10) y el marcador (20); -calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual mediante la ecuación, donde <5 es el angulo de giro del objetivo (10) obtenido en el instante actual:

Si r(n-1 ) < r(n) XII -X" _ 1 + sin (ó) ·I¿'marca.:!orn_~ -L rnarcadl"'n I y", = .....''''-1. + cosCó) ~ ILmarc ..dOr1:_~ -Lmarcc. c.or,,1
8.-Sistema de localización espacial de un objetivo (10) en un entorno (11) tridimensional que comprende al menos un marcador (20) luminoso de referencia y un procesador digital de señales (14) para calcular unas coordenadas (Xi, y¡) del objetivo (10) en un instante de tiempo i, caracterizado por que comprende: -una cámara estéreo (12) para capturar una primera trama de imagen en un instante de tiempo actual y una segunda trama de imagen en un instante de tiempo anterior; -un dispositivo de medida de ángulos (13) para obtener un ángulo de giro del objetivo (10) en el instante de tiempo actual y en el instante de tiempo anterior; -el procesador de señales (14) con acceso a una memoria (15) que almacena un radio en un instante de tiempo actual y en un radio en el instante de tiempo anterior del, al menos un, marcador (20) detectado en la primera trama de imagen y segunda trama de imagen; el procesador de senales (14) configurado para:

-

si el ángulo de giro en el instante de tiempo actual y el ángulo de giro en el instante de tiempo anterior son distintos, calcular las coordenadas (x", Yn) del objetivo

(10) en el instante actual igualándolas a las coordenadas (Xn_1, Yn-1) del objetivo (10) en el instante anterior;

-

si la primera trama de imagen y la segunda trama de imagen son iguales, calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual igualándolas a las coordenadas (Xn_1, Yn_1 ) del objetivo (10) en el instante anterior;

-

si no, comparar los radios en el instante de tiempo actual y en el instante de tiempo anterior del, al menos un, marcador (20) detectado y:

-

si los radios son iguales y hay más de un marcador (20, 20', 20") detectado, calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual mediante triangulación usando la primera trama de imagen y la segunda trama de imagen;

-

si los radios son distintos y hay más de un marcador (20, 20', 20") detectado, calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual mediante triangulación usando una sola trama de imagen que es la primera trama de imagen;

-

si los radios son distintos y hay un único marcador (20) detectado, calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual mediante geometría estéreo;

-

si los radios son iguales y hay un único marcador (20) detectado, calcular las

5 coordenadas (Xn, Yn) del objetivo (10) en el instante actual usando unas coordenadas de imagen del marcador (20) en el instante de tiempo actual en la primera trama de imagen y unas coordenadas de imagen del marcador (20) obtenidas en el instante de tiempo anterior en la segunda trama de imagen.

10 9.-Sistema de localización espacial de acuerdo con la reivindicación 8, caracterizado por que el marcador (20) luminoso comprende una fuente de luz (21) que es un diodo LEO.
10.-Sistema de localización espacial de acuerdo con cualquiera de las reivindicaciones 8-9, caracterizado por que el marcador (20) luminoso que incluye una superficie de contraste 15 (22)
11.-Sistema de localización espacial de acuerdo con cualquiera de las reivindicaciones 810, caracterizado por que el entorno (11) es interior.

20 12.-Sistema de localización espacial de acuerdo con cualquiera de las reivindicaciones 810, caracterizado por que el entorno (11 ) es exterior.