ES2478091B2 - Dispositivo y método para la detección de obstáculos aéreos para invidentes - Google Patents

Abstract

Método para la detección de obstáculos aéreos para invidentes en un dispositivo electrónico portátil que comprende una doble cámara con capacidad de filmado en estéreo; donde dicho método comprende una etapa de obtención de datos 3D mediante visión estéreo, una etapa de establecimiento de un histograma de distancias a través de los datos 3D, y una etapa de detección de obstáculos a partir del histograma de distancias.

Description

DISPOSITIVO Y MÉTODO PARA LA DETECCiÓN DE OBSTÁCULOS AÉREOS PARA INVIDENTES

Objeto de la invención

El objeto de la presente invención es un sistema y un método para la detección de obstáculos aéreos para invidentes como complemento no sustitutivo del bastón o del perro guía. Por obstáculos aéreos se entienden todos aquellos obstáculos que no tienen proyección contra el suelo, tal como ramas de árboles, toldos y similares.

Estado de la técnica

La ceguera es considerada la mayor de las minusvalfas sensoriales, ya que se estima que el 80% de la información sensorial humana proviene de la visión. Esta carencia de información condiciona en gran medida la vida del individuo, su interacción con el entorno y con la sociedad, su aprendizaje, etc. Según datos de la Organización Mundial de la Salud en su informe publicado en enero de 2012 {S.P. Mariotti, "Global dala on visual impairments 2010': World Health Organization, Januray 2012) en 2010 se contabilizaron 285 millones de personas con discapacidad visual. Dicho dato abarca todos los grados de discapacidad visual, siendo el grado más severo el que comúnmente se denomina ceguera y que formalmente se atribuye a las personas con una agudeza visual inferior al 5%. Estos últimos representan alrededor del 13,6% de los discapacitados visuales (unos 39 millones de personas a nivel mundial).

Uno de los retos diarios a los que se enfrenta una persona ciega es el del desplazamiento autónomo. En cuanto a la orientación global, existen diferentes sistemas basados en GPS con cartografías específicas para peatones y adaptados para ciegos mediante interfaces de voz, que suplen en gran medida este problema. Es el caso de conocido sistema KAPTEN®, desarrollado por la empresa Kapsys, cuyo uso está ampliamente extendido entre la comunidad de ciegos.

Sin embargo, en cuanto a la detección y evitación de obstáculos, son los sistemas clásicos como el bastón o el perro guía los más utilizados. Aunque existen desarrollos tecnológicos y prototipos más avanzados en este terreno (por ejemplo, el documento US6671226 o el US2008309913 que emplea un sistema de radar tridimensional), no han conseguido hasta el momento convertirse en una herramienta cotidiana para esta comunidad. Esto se debe a varias razones. En primer lugar, porque tienden a intentar

ES 2 478 091 Al

5

sustituir al bastón o al perro guía, sistemas que pese a ser clásicos, cumplen sobradamente su cometido. Por otro lado, y no menos importante, se trata de sistemas bastante voluminosos y bastante incómodos, como grandes cascos con cámaras, sonares repartidos por todo el cuerpo, unidades de cómputo voluminosas, entre otros, que llaman mucho la atención y dificultan en gran medida la integración social a los usuarios.

10

Además, en muchas ocasiones se tiende a traducir los obstáculos en señales acústicas que se envían al usuario a través de auriculares. lo cual le priva del sonido, su principal fuente de información.

Explicación de la invención

15 20

Es un objeto de la presente invención un dispositivo que actúe como complemento no sustitutivo del bastón o del perro guía que viene a resolver el principal problema de estos sistemas, esto es, la incapacidad para detectar obstáculos aéreos. Estos obstáculos se caracterizan por no tener proyección contra el suelo (típicamente ramas de árboles, toldos, etc.). En el caso de los bastones, la limitación citada es obvia. En el caso de los perros guía, la capacidad de estos animales impide su adiestramiento para detectar este tipo de obstáculos, ya que no son conscientes de la diferencia de altura entre ellos mismos y el humano al que guían.

2S 30

Una ventaja de la presente invención es su integración en un teléfono inteligente (Smartphone), sin ningún tipo de hardware adicional, por lo que resuHa cómodo y discreto para el usuario, facilitando su integración social. Por otro lado, la invención es capaz de avisar de los obstáculos mediante señales acústicas (a través del altavoz del teléfono, nunca a través de auriculares) o vibraciones, utilizando el sistema de vibración propio del teléfono. Esta última opción hace que el sistema sea aún más discreto, ya que sólo el usuario percibe el aviso y no priva al usuario de la audición, sentido principal para un ciego.

3S

Para la detección de obstáculos, la invención es capaz de tomar medidas del entorno a varios metros. Esto no es posible con el hardware que integran la mayoria de los teléfonos inteligentes, pero si con la doble cámara que incorporan algunos modelos denominados ~teléfonos 3D". Estos terminales incorporan una doble cámara trasera con el fin de filmar la escena en estéreo, para lo cual necesitan dos objetivos. La razón por la que los fabricantes incorporan esta opción tan singular en sus dispositivos es

para recrear un efecto denominado ~3D sin gafas", esto es, la visualización de la

escena estéreo a través de una pantalla basada en parallex-barrier, lo que provoca la

ilusión óptica similar a la visualización de la escena en tres dimensiones. El dispositivo

de la invención es aplicable en cualquier dispositivo con doble cámara trasera.

S

Dispositivos comerciales de este tipo son el LG Optimus 300 y el HTC Evo 300. No

obstante, la presente invención no está restringida a los teléfonos 3D con dos

cámaras, ya que cualquier teléfono con una sola cámara puede adaptarse con un

sistema catadióptrico basado en espejos para dividir la señal de imagen y obtener así

dos observaciones del entorno separadas.

10

Además de la doble cámara, el sistema utiliza algunos sensores comunes en este tipo

de dispositivos, como es el magnetómetro y el acelerómetro, para detectar la

orientación global del dispositivo y estimar con ella la dirección en la que se mueve el

usuario.

15

La presente invención resuelve la problemática descrita mediante el método descrito

en la primera reivindicación. Otros aspectos de la invención están descritos en el juego

de reivindicaciones que acompaña a la presente memoria descriptiva.

20

A lo largo de la descripción y las reivindicaciones la palabra "comprende" y sus

variantes no pretenden excluir otras características técnicas, aditivos, componentes o

pasos. Para los expertos en la materia, otros objetos, ventajas y características de la

invención se desprenderán en parte de la descripción y en parte de la práctica de la

invención. Los siguientes ejemplos y dibujos se proporcionan a modo de ilustración, y

25

no se pretende que restrinjan la presente invención. Además, la presente invención

cubre todas las posibles combinaciones de realizaciones particulares y preferidas aquí

indicadas.

Breve descripción de las figuras

30

A continuación se pasa a describir de manera muy breve una serie de dibujos que

ayudan a comprender mejor la invención y que se relacionan expresamente con una

realización de dicha invención que se presenta como un ejemplo no limitativo de ésta.

35

FIG.1 Muestra un esquema geométrico del método de detección de obstáculos de

acuerdo con la presente invención.

FIG.2 Muestra un diagrama de bloques del método de detección de obstáculos de acuerdo con la presente invención.

Exposición detallada de una realización de la invención

El funcionamiento del dispositivo que implementa el método objeto de la presente invención está relacionado directamente con su portabilidad por parte del usuario, ya que el dispositivo debe colgarse del cuello, con la cámara mirando hacia delante y la pantalla del dispositivo apoyada contra el pecho para activar el método de detección de obstáculos. Una vez se detecte mediante el sensor de proximidad del dispositivo que se ha colocado en dicha posición, el dispositivo queda bloqueado y comienza la detección de obstáculos. La detección se desactivará girando el dispositivo, ° simplemente separándolo del pecho.

La detección de obstáculos se realizará hasta una distancia de cuatro metros en la dirección de avance del usuario, teniendo en cuenta el espacio que ocupa su torso, estimándose un volumen de O,5xO,5x4,O metros. El dispositivo incorpora un algoritmo para corregir el movimiento de basculación producido al caminar, que produce que la cámara no esté mirando siempre en la dirección real de avance, sino que girará continuamente de izquierda a derecha. Con esta corrección, los obstáculos se buscarán en la dirección en la que estamos avanzando, y no hacia donde mira la cámara en cada momento.

Los obstáculos se avisan cuando están a dos metros de distancia en la dirección de avance del usuario. Una vez se encuentre un obstáculo, el sistema avisará mediante vibración o pitido, siendo más intensa y/o frecuente según se acerque el usuario al obstáculo.

El dispositivo comprende una interfaz táctil que utiliza la propia pantalla del dispositivo y que está creada para usuarios ciegos. Dicho interfaz tiene por objetivo proporcionar al usuario la posibilidad de configurar distintos aspectos del sistema. El control de interfaz se basa en tres gestos: arrastre vertical para cambiar el Item del menú, arrastre horizontal para preseleccionar la opción del ítem actual del menú y pulsación para seleccionar la opción actual. Tras cada gesto, y a través del altavoz del dispositivo, se vocaliza el ítem del menú y la opción actual, con el objetivo de que el usuario esté permanentemente informado de las acciones que está realizando. El dispositivo de la invención es aplicable en cualquier dispositivo con doble cámara trasera. Dispositivos comerciales de este tipo son el LG Optimus 300 y el HTC Evo

300. No obstante, la presente invención no está restringida a los teléfonos 3D con dos cámaras, ya que cualquier teléfono con una sola cámara puede adaptarse con un sistema catadióptrico basado en espejos para dividir la señal de imagen y obtener así dos observaciones del entorno separadas, tal y como se ha indicado anteriormente.

La aplicación se compone de los siguientes ftems:

Modo, en donde se estable el modo de funcionamiento del dispositivo y donde las opciones son:

o Obstáculos, donde se equilibra la observación en función de la orientación del dispositivo, como se ha explicado con anterioridad, y está pensado para la evitación de obstáculos mientras se camina.

o Telémetro, en este modo no se equilibra la observación, y se extiende la distancia mínima de aviso a cuatro metros. Este modo sirve para explorar libremente el entorno próximo al usuario.

o Pausa, en este modo se detiene la detección de obstáculos. Avisos, en el que se establece el tipo de aviso para los obstáculos. Las opciones son señal acústica y/o vibración. Volumen, en el que se establece el volumen tanto de la señal acústica como de la vocalización del menú. Las opciones son muy alto, alto, medio y bajo. Voz, en ra que se establece la velocidad de vocalización der menú. Las opciones son muy rápida, rápida y normal. Idioma, en el que se establece el idioma de la aplicación. Acerca de, en el que se vocaliza al usuario un mensaje con los créditos de la aplicación. Salir, para salir y cerrar la aplicación.

Como se ha indicado, el dispositivo y objeto de la invención utiliza la información 3D del entorno para detectar los obstáculos presentes en el mismo. Dicha información se obtiene a través de un conjunto de algoritmos y procedimientos relacionados con la visión estereoscópica. El método comprende una etapa de obtención de datos 3D mediante visión estéreo, una etapa de establecimiento de un histograma de distancias a través de los datos 3D, y una etapa de detección de obstáculos a partir del histograma de distancias.

Obtención de datos 3D mediante visión estéreo

A partir de un par de imágenes uf,ln obtenidas de la camara estéreo del dispositivo en el instante t, el objetivo es obtener un conjunto de puntos 3D de la escena Pt = 5 (pl.P;z, ... ,PN1. donde Pi = (x¡,y¡,z¡) en coordenadas métricas con referencia en el centro óptico de la cámara izquierda del dispositivo.

Para ello, es necesario establecer una correspondencia entre los píxeles de las imágenes, lo que nos proporciona una imagen de disparidad Dto Para realizar dicha 10 correspondencia se utiliza el algoritmo descrito en [K. Konolige, "Small vision systems: hardware and implementationn, Infemational Symposium on Robotics Research, 1997].

Dicha correspondencia se puede realizar directamente, ya que las imágenes se encuentran rectificadas y pre-alineadas, luego la línea epipolar de cualquier píxel en una imagen coincide con la misma fiJa en la otra imagen (dicho alineamiento ya lo

15 realiza el sistema original ya que es necesario para conseguir el efecto "3D sin gafas" de estos dispositivos). Una vez obtenida la correspondencia, y utilizando los datos extrínsecos de las cámaras (distancia focal y distancia entre cámaras), obtenidos del propio dispositivo, se realiza la reconstrucción 3D, obteniendo una nube de puntos Pt = (Pl,PZ, ...,PN} de la escena porcada par de imágenes ur,ln.

20 Histograma de distancias a partir de los datos 3D

A partir de los datos 3D obtenidos de la cámara estéreo (con sistema de referencia en el objetivo izquierdo), es necesario obtener una descripción de los objetos en la

25 dirección en la que se mueve el usuario V;, para determinar los posibles obstáculos (ver figura 1).

Para determinar dicha dirección, se debe tener en cuenta que, para detectar los obstáculos, el dispositivo móvil se coloca sobre el esternón, con la doble cámara hacia 30 afuera, colgado del cuello a modo de medallón. Por un lado, el ángulo at en el eje horizontal ox (también llamado pitch en el sistema de navegación de Tait-Bryan) que adopta el móvil es el del propio esternón, que difiere de unas personas a otras. Por otro lado, el movimiento basculante del cuerpo mientras se camina, que se transfiere al dispositivo, hace que ángulo del móvil Pt sobre el eje en vertical OY (también 35 llamado yaw en el sistema Tait-Bryan) esté cambiando continuamente. Es por ello que

la dirección real de movimiento del usuario V; dispositivo y debe estimarse.

no es constante con respecto al

5 10

El vector Vt puede estimarse a partir de los dos ángulos citados anteriormente (at,Pt) . El valor de at viene determinado directamente por el dispositivo, que combina los datos del aceler6metro C; y el del magnetómetro -¡¡; para obtener la rotación global del dispositivo con respecto a los tres ejes (af,pf,yf) (pitch , yaw y roll o rotación sobre OX, OY y OZ respectivamente). El pitch global coincide con el primer ángulo que debemos usar at +-af , para que Vt sea paralelo al plano real por el que camina el usuario.

15

Si el movimiento del usuario estuviese ausente de basculación (es el caso de otros modelos de movimiento como por ejemplo la trayectoria de un automóvil) bastaría con at para calcular la dirección del movimiento Vt . Sin embargo, la basculación propia del torso del usuario mientras camina se proyecta sobre el dispositivo, haciendo que pf presente continuos cambios a lo largo del tiempo. Por esta razón , Pt se debe estimar a partir de un conjunto N medidas anteriores del yaw global {pf,N-., ... ,N-N l.

20 2S

La idea es tomar Pt como la diferencia entre pf y el valor esperado de sus medidas anteriores, pero hay que tener en cuenta que la distribución de las mismas es bimodal. Para separar la distribución en los dos subconjuntos que la componen, se utiliza un algoritmo de k-medias [J.A. Harliga, M.A. Wong, "Algorilhm AS 136: A K-Means Cluslering Algorilhm", Joumal of Ihe Royal Slatislical Sociely, 1979J con k = 2, con lo que se obtienen dos subconjuntos que dividen a la distribución original pA u pB = {pf,pf-l' ... ,N-Nl.

Realizando la media entre el valor esperado de ambos conjuntos y restándola al valor anterior de N se obtiene la estimación de p" esto es: p, = pf (E(fJA) +E(fJ8)) j 2.

30 35

Una vez obtenidos los valores de (at,pt) se compone V; que simboliza la dirección hacia donde se mueve el usuario. Sobre el eje determinado por el centro de referencia del sistema y dicho vector, situamos un paralelepípedo de tamaño 0,5 x 0,5 x 4,0 m que simboliza la proyección del torso del usuario sobre su dirección de movimiento. Dicho paralelepipedo se utiliza para recoger el subconjunto de puntos 3D P; obtenidos de la observación actual Pt = (Pl,P2" ."PN) que se encuentran en la dirección de

movimiento del usuario y que inlerseclan con la proyección de su torso, con lo que representan posibles obstáculos.

P¡ es una nube de puntos distribuida a lo largo de un paralelepípedo de 4 metros de longitud. Para interpretar los obstáculos, en primer lugar traducimos dicha nube de puntos en un histograma de volación He. Cada celda del histograma He[t) recoge el

número de puntos del paralelepípedo que se encuentran entre los planos O,OSi"V; y O,05(i + 1)"V;. Dicho de otro modo, se divide el paralelepípedo en sectores de O,OSm en profundidad y se recoge el número de puntos de cada sector en el histograma. H, representa una distribución unidimensional de los obstáculos en la dirección de avance del usuario.

Hay que tener en cuenta que Pt Y por consiguiente Pro presentan una naturaleza proyectiva, ya que provienen de un sistema estereoscópico. Esto implica que los puntos presentarán un grado de dispersión mayor cuanto mayor sea la distancia a la que son observados. En concreto, dicha diferencia de dispersión sigue una tendencia exponencial con respecto a la distancia. Esto implica que las celdas del histograma Hc[i] presentaran una densidad decreciente conforme aumenta i, la cual es producto de la naturaleza de la distribución y no de los obstáculos que describe. Para eliminar este problema, formamos un cuadrado unitario C¡ por cada celda del histograma Ht[l] situado a la misma distancia a la que se encuentra dicha celda del origen, esto es

O,OSiVc' A continuación, se mide el área de cada cuadrado proyectado sobre la imagen de referencia Si' El tamaño de dichas áreas sigue una distribución con la misma naturaleza proyectiva que Ht[i] pero siguiendo un orden inverso, luego basta con dividir ambas distribuciones para obtener una versión linearizada del histograma libre del efecto de la proyección Hi[i] <-H, [il/S,.

Detección de obstáculos a partir del histograma de distancias

Cada obstáculo viene representado por una o varias celdas próximas en H;. Además, es posible encontrar varios obstáculos a distintas distancias en una sola observación luego H; es una distribución multimodal. Para detectar las distintas distribuciones que la componen utilizamos el algoritmo Mean-Shift [Y. Cheng, "Mean Shift, Mode Seeking, and Clusteringn, IEEE Transactiens en Pattern Analysis and Machine Intelligence (IEEE), August 1995], con un núcleo uniforme de 4 unidades. Del conjunto de centros obtenidos con este procedimiento se tienen en cuenta s610 los más significativos Ot = {OV02, ""ON} Yque representan los posibles obstáculos.

Debido al ruido presente en la estimación de los puntos 3D a partir del sistema de visión estéreo, el conjunto inicial de posibles obstáculos Ot puede contener una cierta proporción de obstáculos fantasma, que aparecen y desaparecen de una observación a otra. Para obtener un subconjunto robusto de obstáculos O;, se realiza un procedimiento de seguimiento, de forma que solamente consideraremos un obstáculo cuando se repita a lo largo del tiempo en al menos las 4 iteraciones anteriores. Para ello, O; se forma como los obstáculos de Ot que se repiten, al menos, en los conjuntos (Ot-3' Ot_Z' 0t_t> 0t}. Consideraremos que un obstáculo o¡ E Du coincide con otro obstáculo de otro conjunto o) E 017 cuando se encuentren a una distancia en

celdas sobre el histograma inferior a 4 unidades. Dicho tamaño viene en consonancia con el tamaf'ío utilizado en el algoritmo Mean-Shift, que asegura que no hay dos núcleos en la distribución a una distancia inferior.

Una vez obtenido el conjunto robusto de obstáculos O;, seleccionamos el obstáculo 0k con menor índice del conjunto, que representa el más cercano al usuario. Si la distancia asociada a dicho obstáculo d(o;J = O,OSk es inferior a 2 metros, generamos el aviso al usuario, que puede ser una señal acústica o una vibración, dependiendo de la configuración seleccionada. La frecuencia a la que se emite dicha señal se hace inversamente proporcional a la distancia al obstáculo d(o;J, de forma que obstáculos más cercanos provocan una frecuencia de aviso mucho mayor que obstáculos más lejanos.

Claims (5)

1. REIVINDICACIONES

   1, Método para la detección de obstáculos aéreos para invidentes en un dispositivo electrónico portátil que comprende una doble cámara con capacidad de filmado en estéreo; donde dicho método comprende una etapa de obtención de datos 3D mediante visión estéreo a partir de un par de imágenes y que se caracteriza porque comprende:

   (a)una etapa de establecimiento de un histograma de distancias a través de los datos 3D y que consiste en

   a.

   estimar la dirección real del movimiento del usuario a partir del ángulo formado por el dispositivo en el eje horizontal y del ángulo del dispositivo sobre el eje vertical;

   b.

   recoger el subconjunto de puntos 3D obtenidos de la observación actual que se encuentran en la dirección de movimiento del usuario y que intersectan con la proyección del torso del usuario definido como un paralepípedo; y donde el subconjunto de puntos 3D está definido como una nube de puntos distribuida a lo largo de dicho paralepípedo;

   c.

   establecer un histograma de tal forma que se divide el paralelepípedo en sectores y se recoge el número de puntos de cada sector en el histograma, de tal forma que dicho histograma representa una distribución unidimensional de los obstáculos en la dirección de avance del usuario;

   d.

   linearizar el histograma formando un cuadrado unitario por cada celda del histograma situado a la misma distancia a la que se encuentra dicha celda del origen y midiendo el área de cada cuadrado proyectado sobre una imagen de referencia y dividiendo el histograma por dicha imagen de referencia;

   (b)una etapa de detección de obstáculos, representados estos por una o varias celdas próximas en el histograma linearizado, y generando un aviso al usuario en forma de señal acústica o vibración, si la distancia al obstáculo identificado es igualo menor a dos metros.

2. 2.

   Método de acuerdo con la reivindicación 1 donde para detectar las distintas distribuciones que componen el histograma linearizado se emplea un algoritmo Mean -Shift con un núcleo uniforme de cuatro unidades, de tal forma que Del conjunto de centros obtenidos con este procedimiento se tienen en cuenta s610 los más significativo y que representan los posibles obstáculos.

3. 3.

   Método de acuerdo con cualquiera de las reivindicaciones 1 y 2 donde Para obtener un subconjunto robusto de obstáculos se realiza un procedimiento de seguimiento, de forma que solamente se considera un obstáculo cuando se repita a lo largo del tiempo en al menos las cuatro iteraciones anteriores, seleccionando el

   5 obstáculo con menor índice del conjunto y que representa el más cercano al usuario, de tal forma que si su distancia asociada es inferior a dos metros se genera el aviso.
4. 4. Método de acuerdo con cualquiera de las reivindicaciones 1 a 3 donde el paralepípedo es de O,5xO,5x4,O metros.
5. 5. Dispositivo para la detección de obstáculos aéreos para invidentes que se

   10 caracteriza porque comprende una doble cámara con capacidad de filmado en estéreo y/o con un sistema catadióptrico basado en espejos para dividir la señal de imagen y obtener así dos observaciones del entorno separadas; y que se caracteriza porque comprende medios para el procesamiento y ejecución del método de las reivindicaciones 1 a 4.

   15 6. Producto informático para la detección de obstáculos aéreos para invidentes que se caracteriza porque comprende una pluralidad de instrucciones conteniendo el método de las reivindicaciones 1 a 4 para su ejecución por un teléfono móvil.