ES2883277T3 - Cambio adaptativo entre una estimación de pose de cámara inercial asistida con visión y una estimación de pose de cámara basada solo en visión - Google Patents

Abstract

Un método que comprende: realizar el seguimiento (202) de una pose relativa entre una cámara (108) y un objetivo (101) utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión, estando basadas las mediciones basadas en visión en imágenes del objetivo (101) capturado por la cámara (108); en donde la contribución de las mediciones de sensor inercial es una contribución ponderada y la contribución de las mediciones basadas en visión es una contribución ponderada; detectar (204) movimiento del objetivo (101); y reducir (208) la contribución ponderada de las mediciones de sensor inercial para realizar el seguimiento de la pose relativa entre la cámara (108) y el objetivo (101) cuando se detecta movimiento del objetivo (101); el método caracterizado por que la ponderación de la contribución de las mediciones de sensor inercial se varía en función de una confianza en la detección de movimiento del objetivo.

Description

DESCRIPCIÓN

Cambio adaptativo entre una estimación de pose de cámara inercial asistida con visión y una estimación de pose de cámara basada solo en visión

Referencia cruzada con solicitud(es) relacionada(s)

La presente solicitud reivindica prioridad de la solicitud de los EE.UU. n.° 13/523.634, presentada el 14 de junio de 2012, y titulada "Adaptive Switching Between Vision Aided INS and Vision Only Pose", la cual se asigna al cesionario de la misma.

Antecedentes

Antecedentes del campo

Las realizaciones de la materia objeto descrita en el presente documento están relacionadas con la determinación de la pose y, más particularmente, el uso de técnicas basadas en la visión para la determinación de la pose.

Antecedentes relevantes

En aplicaciones de tipo realidad aumentada (RA), se determina y se realiza un seguimiento de la pose (traslación y actitud) de la cámara con respecto al entorno de la imagen. En un enfoque de pose de solo visión, la pose de la cámara con respecto a un objetivo rico en características en el entorno se determina y se realiza el seguimiento utilizando imágenes capturadas, por ejemplo, fotogramas de vídeo. La pose de solo visión se estima, por ejemplo, en cada fotograma y se utilizan modelos estadísticos para predecir la pose en el siguiente fotograma, proporcionando un punto de inicialización para el algoritmo de refinamiento de pose.

Los dispositivos modernos, tales como los teléfonos móviles, suelen estar equipados con sensores inerciales que son capaces de medir la velocidad de cambio en la pose del dispositivo en relación con el fotograma inercial, que se conoce como sistema de navegación inercial (INS, por sus siglas en inglés). La información proporcionada por el INS se puede utilizar para mejorar estimaciones de la pose con solo visión de la cámara en relación con el objetivo porque la pose absoluta, es decir, la pose del dispositivo con respecto al fotograma inercial, y las poses relativas, es decir, la pose de la cámara con respecto a un objetivo, se diferencian por una transformación constante. La combinación de pose de solo visión e INS se denomina generalmente INS asistida por visión (VINS, por sus siglas en inglés).

El enfoque de VINS utiliza más información que la pose de solo visión o el INS por separado y, por lo tanto, en general, el VINS funciona mejor que cualquier método solo. Sin embargo, en determinadas circunstancias, el enfoque de VINS funciona mal en comparación con el enfoque de solo visión. Además, el rendimiento del enfoque de VINS puede degradarse en función de condiciones externas al dispositivo móvil y, por tanto, la degradación puede ser impredecible.

El documento US 6.064.749 A describe sistemas, métodos y productos de programas informáticos que tienen la precisión de registro de los sistemas de seguimiento basados en visión y la solidez de los sistemas de seguimiento magnético. El seguimiento por vídeo de puntos de referencia se utiliza como método principal para determinar la posición y orientación de la cámara, pero se mejora mediante el movimiento y la orientación magnéticos u de otras formas de seguimiento físico de la cámara. Un seguidor físico reduce el área de búsqueda de puntos de referencia en las imágenes, lo que acelera el proceso de búsqueda de puntos de referencia. La información del seguidor físico también se puede utilizar para seleccionar una de varias soluciones de una ecuación no lineal resultante del seguidor basado en visión. El seguidor físico también puede actuar como seguidor principal si el analizador de imágenes no puede ubicar suficientes puntos de referencia para proporcionar un registro adecuado, evitando así la pérdida completa del registro.

El documento US 2011/206236 A1 desvela un sistema de guiado automático para un fotograma móvil. El sistema de guiado automático tiene un sistema de imágenes dispuesto en el fotograma; un sistema de detección de movimiento acoplado al fotograma y configurado para detectar el movimiento del fotograma; y un procesador conectado de forma comunicable al sistema de visión para recibir datos de imagen del sistema de visión y generar flujo óptico a partir de los datos de imagen del fotograma de alrededor. El procesador está conectado de forma comunicable al sistema de detección de movimiento para recibir datos de movimiento del fotograma desde el sistema de detección de movimiento. El procesador está configurado para determinar, desde la corrección de flujo óptico denso asistido cinemáticamente hasta errores cinemáticos de fotograma, debido a errores en los datos de movimiento del sistema de detección de movimiento.

Resumen

De acuerdo con la presente invención, se proporciona un método tal como se establece en la reivindicación 1, un dispositivo móvil como se establece en la reivindicación 10 y un medio legible por ordenador como se establece en la reivindicación 15. Las realizaciones de la invención se reivindican en las reivindicaciones dependientes.

Un dispositivo móvil realiza un seguimiento de una pose relativa entre una cámara y un objetivo utilizando el sistema de navegación inercial asistida por visión (VINS), que incluye una contribución de las mediciones del sensor inercial y una contribución de las mediciones basadas en visión. Cuando el dispositivo móvil detecta el movimiento del objetivo, se reduce o elimina la contribución de las mediciones del sensor inercial para realizar un seguimiento de la pose relativa entre la cámara y el objetivo. El movimiento del objetivo puede detectarse comparando las mediciones de solo visión de las imágenes capturadas y las mediciones basadas en la inercia para determinar si existe una discrepancia que indique que el objetivo se ha movido. De forma adicional o alternativa, el movimiento del objetivo puede detectarse utilizando proyecciones de vectores de características extraídas de imágenes capturadas.

En una implementación, un método incluye realizar el seguimiento de una pose relativa entre una cámara y un objetivo utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión; detectar movimiento del objetivo y reducir la contribución de las mediciones del sensor inercial para realizar uel seguimiento de la pose relativa entre la cámara y el objetivo cuando se detecta el movimiento del objetivo.

En una implementación, un dispositivo móvil incluye una cámara capaz de capturar imágenes de un objetivo; sensores inerciales y un procesador acoplado para recibir imágenes capturadas del objetivo y acoplado para recibir señales de los sensores inerciales, el procesador configurado produce mediciones basadas en la visión utilizando las imágenes capturadas del objetivo y las mediciones del sensor inercial utilizando las señales de los sensores inerciales, estando configurado el procesador para realizar el seguimiento de una pose relativa entre la cámara y el objetivo utilizando una contribución de las mediciones del sensor inercial y una contribución de las mediciones basadas en visión, estando configurado adicionalmente el procesador para detectar el movimiento del objetivo y reducir la contribución de las mediciones del sensor inercial para realizar el seguimiento de la pose relativa entre la cámara y el objetivo cuando se detecta movimiento del objetivo.

En una implementación, un dispositivo móvil incluye medios para realizar el seguimiento de una pose relativa entre una cámara y un objetivo utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión; medios para detectar el movimiento del objetivo y medios para reducir la contribución de las mediciones del sensor inercial para realizar el seguimiento de la pose relativa entre la cámara y el objetivo cuando se detecta movimiento del objetivo.

En una implementación, un medio legible por ordenador no transitorio que incluye código de programa almacenado en el mismo, incluye código de programa para realizar el seguimiento de una pose relativa entre una cámara y un objetivo utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión; código de programa para detectar el movimiento del objetivo y código de programa para reducir la contribución de las mediciones del sensor inercial para realizar el seguimiento de la pose relativa entre la cámara y el objetivo cuando se detecta movimiento del objetivo.

Breve descripción del dibujo

La figura 1 ilustra un dispositivo móvil capaz de detectar y realizar el seguimiento de un objetivo cambiando de forma adaptativa entre un enfoque de seguimiento de VINS y un enfoque de seguimiento de solo visión.

La figura 2 ilustra una vista superior de un objetivo fijo y un dispositivo móvil en movimiento en diferentes momentos y poses generadas utilizando un enfoque de solo visión y un enfoque de VINS.

La figura 3 es similar a la figura 2, pero ilustra una vista superior de un dispositivo móvil en movimiento y un objetivo en movimiento en diferentes momentos y poses generadas utilizando un enfoque de solo visión y un enfoque de VINS.

La figura 4 es un diagrama de flujo que ilustra un método de detección y seguimiento de un objetivo cambiando de forma adaptativa entre un enfoque de VINS cuando el objetivo se está fijo y un enfoque de solo visión cuando el objetivo se está moviendo.

La figura 5 es un diagrama de flujo que ilustra un método para determinar si un objetivo se está moviendo utilizando al menos una parte de las poses determinadas por las mediciones basadas en la visión y las mediciones del sensor inercial.

La figura 6 es un diagrama de flujo que ilustra otro método para determinar si un objetivo se está moviendo utilizando vectores de características proyectadas.

La figura 7 es un diagrama de bloques del dispositivo móvil capaz de detectar y realizar un seguimiento de un objetivo cambiando de forma adaptativa entre un enfoque de VINS y un enfoque de solo visión.

Descripción detallada

La figura 1 ilustra un dispositivo móvil 100 capaz de detectar y realizar el seguimiento de un objetivo 101 cambiando de forma adaptativa entre un enfoque de VINS cuando el objetivo 101 está fijo y un enfoque de solo visión cuando el objetivo se está moviendo. En algunas implementaciones, el dispositivo móvil 100 puede reducir sustancialmente las contribuciones de las mediciones del sensor inercial cuando se detecta movimiento del objetivo 101 en lugar de eliminar por completo las contribuciones de las mediciones del sensor inercial.

Tal como se utiliza en el presente documento, un dispositivo móvil se refiere a cualquier dispositivo electrónico portátil, tal como un teléfono móvil u otro dispositivo de comunicación inalámbrico, dispositivo de sistema de comunicación personal (PCS, por sus siglas en inglés), dispositivo de navegación personal (PND, por sus siglas en inglés), asistente digital personal (PDA, por sus siglas en inglés) u otro dispositivo móvil adecuado, incluidos dispositivos de comunicación inalámbricos, ordenadores, ordenadores portátiles, tabletas, etc., que sean capaces de capturar imágenes del entorno, que pueden utilizarse en el seguimiento basado en visión o VINS. El dispositivo móvil puede ser capaz de recibir comunicaciones inalámbricas y/o señales de navegación, tales como señales de posicionamiento de navegación. El término "dispositivo móvil" también incluye los dispositivos que se comunican con un dispositivo de navegación personal (DNP) como, por ejemplo, mediante conexión inalámbrica, infrarroja, por cable de corto alcance u otra conexión, independientemente de si la recepción de la señal satelital o la recepción de datos de asistencia y/o el procesamiento relacionado con la posición se produce en el dispositivo o en el DNP. El dispositivo móvil 100 incluye una pantalla 102, que puede ser una pantalla táctil. El dispositivo móvil 100 incluye una cámara 108 orientada hacia adelante para obtener imágenes del entorno tal como el objetivo 101, que se ilustra como que se muestra en la pantalla 102. Las imágenes o fotogramas producidos por la cámara 108 se utilizan por el módulo de pose de visión 112 para generar una pose basada en visión por ordenador. Debe entenderse que la cámara 108 puede capturar imágenes y/o fotogramas de vídeo, y que los términos imagen y fotograma se utilizan aquí de forma intercambiable. El dispositivo móvil 100 también incluye sensores inerciales 110, tales como acelerómetros, giroscopios o similares, que pueden utilizarse para ayudar a determinar la pose del dispositivo móvil 100. La emisión de los sensores inerciales 110 se utiliza por un módulo de sistema sensorial inercial (INS, por sus siglas en inglés) 114 para determinar un cambio de pose del dispositivo móvil y puede producir una pose de INS. El dispositivo móvil 100 incluye además un módulo de VINS 116 que combina la pose del módulo de pose basada en visión 112 y la pose del módulo del INS 114. Si bien el módulo del INS 114 y el módulo del VINS 116 se ilustran por separado, debe entenderse que el módulo del INS 114 puede ser parte del módulo del VINS 116. En funcionamiento, el dispositivo móvil 100 utiliza el módulo del VINS 116 para determinar la pose con respecto al objetivo 101 cuando el objetivo 101 está fijo, es decir, en relación con el fotograma de referencia inercial, y cambia al módulo de pose basada en visión 112 para determinar la pose relativa al objetivo 101 cuando el objetivo 101 se está moviendo.

El dispositivo móvil 100 también puede incluir otras características que no son relevantes para la presente divulgación, tales como un altavoz 104 y un micrófono 106, por ejemplo, si el dispositivo móvil 100 es un teléfono móvil.

La figura 2 ilustra una vista superior de un objetivo 101 fijo y un dispositivo móvil 100 en movimiento en el primer tiempo t1 y un segundo tiempo t2, tal como se identifica mediante los números de referencia 100t1 y 100t2. En el primer tiempo t-i, el módulo de pose basada en visión 112 del dispositivo móvil 100 produce una primera pose C(t-i) con respecto al objetivo 101. En el segundo tiempo t2, el módulo de pose basada en visión 112 del dispositivo móvil 100 genera una segunda pose C(t2) con respecto al objetivo 101. Entre el primer tiempo t1 y el segundo tiempo t2, el dispositivo móvil 100 se mueve como se ilustra por la trayectoria G(ti, t2). El módulo del INS 114 utiliza señales maestreadas de los sensores inerciales 110 para medir el cambio en la posición G(ti, t2) del dispositivo móvil. Como se ilustra con la línea discontinua en la figura 2, cuando se combinan el cambio en la posición G(t1, t2) y la primera pose C(ti), es decir, G(ti,t2) * C(t1), lo cual se puede realizar por el módulo del INS 114 o el módulo del VINS 116, el resultado es idealmente el mismo que el de la segunda pose C(t2). El módulo del VINS 116 combina los resultados de la pose C(t2) del módulo de pose basada en visión 112 y la pose G(t1, t2) * C(ti) resultante del módulo del INS 114, por ejemplo, utilizando un filtro de Kalman extendido, para producir una pose final. Debe entenderse que el uso de un filtro de Kalman extendido es simplemente uno de los posibles estimadores de pose y que, si se desea, se pueden utilizar otros estimadores de pose.

La figura 3 es similar a la figura 2, pero ilustra una vista superior de un dispositivo móvil 100 en movimiento y un objetivo 101 en movimiento en el primer tiempo t1 y el segundo tiempo t2, tal como se identifica mediante los números de referencia. El módulo de pose basada en visión 112 estima la pose relativa entre el objetivo 101 y la cámara 108, mientras que el módulo del INS 114 muestrea señales de los sensores inerciales 110 para medir la velocidad de cambio de pose entre los sensores inerciales 110 y el fotograma inercial. Si el objetivo 101 está fijo con respecto al fotograma inercial, las mediciones del sensor inercial pueden, en principio, seguir la velocidad de cambio de la pose de la cámara 108 con respecto al objetivo 101, tal como se ilustra en la figura 2. Sin embargo, si el objetivo 101 se mueve, entonces el movimiento del objetivo 101 afecta al módulo de pose basada en visión 112, pero no al módulo del INS 114. Así, tal como se ilustra en la figura 3, debido a que el objetivo 101 se ha movido entre el tiempo t1 y el tiempo t2, el módulo de pose basada en visión 112 producirá una pose C'(t2), que es distinta de la pose C(t2) generada para un objetivo 101 fijo tal como se muestra en la figura 2. El módulo del INS 114, sin embargo, utiliza solo señales muestreadas de los sensores inerciales 110 y, por lo tanto, produce el cambio de pose G(t1, t2) del dispositivo móvil, que es independiente del cambio de posición del objetivo 101. Tal como se ilustra por la línea discontinua en la figura 3, la pose resultante G(t1, t2) * C(ti) del módulo del INS 114 es relativa a la posición del objetivo 101 en el tiempo t1 y, por lo tanto, será diferente a la pose basada en visión C'(t2), que es relativa al objetivo 101 en el tiempo t2 después de haberse movido. El módulo del VINS 116 combina los resultados de la pose C'(t2) del módulo de pose basada en visión 112 y la pose G(t1, t2) * C ti) resultante del módulo del INS 114, para producir una pose combinada 118 que es imprecisa. Por tanto, se puede observar que cuando el objetivo 101 se está moviendo, la pose producida por el módulo de pose basada en visión 112 por sí mismo es más precisa que la pose producida por el módulo del VINS 116. Por consiguiente, cuando el objetivo 101 se está moviendo con respecto al sistema inercial, la pose del módulo de pose basada en visión 112 debería utilizarse como la pose más precisa.

La figura 4 es un diagrama de flujo que ilustra un método de detección y seguimiento de un objetivo cambiando de forma adaptativa entre un enfoque de VINS cuando el objetivo se está fijo y un enfoque de solo visión cuando el objetivo se está moviendo. Tal como se ilustra, se realiza un seguimiento de una pose relativa entre una cámara y un objetivo utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión (202). En otras palabras, el VINS se realiza para realizar el seguimiento de la pose entre la cámara y el objetivo. El VINS abordado se describe en general anteriormente haciendo referencia a las figuras 2 y 3 y es bien conocido por los expertos en la técnica. En general, el enfoque de VINS puede estimar una pose combinando la pose determinada utilizando técnicas basadas en visión y una pose generada utilizando sensores inerciales. Si se desea, las poses de las diferentes técnicas pueden ponderarse para generar la pose de VINS estimada. A modo de ejemplo, utilizando los parámetros de las figuras 2 y 3, la pose del VINS se puede determinar de la siguiente manera, donde W1 y W2 son factores de ponderación ajustables.

Si el objetivo no se mueve (204), continúa utilizándose el enfoque del VINS (206). Por otro lado, si se determina que el objetivo se está moviendo (204), se reduce la contribución de mediciones del sensor inercial para seguir la pose relativa entre la cámara y el objetivo (208). A modo de ejemplo, la contribución de las mediciones del sensor inercial puede eliminarse de modo que solo se utilice el seguimiento basado en visión cuando se detecte movimiento del objetivo. El uso de seguimiento basado en visión se describe en general anteriormente haciendo referencia a las figuras 2 y 3 y es bien conocido por los expertos en la técnica. Debe entenderse que la presente divulgación contempla reducir sustancialmente, pero no necesariamente eliminar completamente, la contribución de las mediciones del sensor inercial, por ejemplo, ajustando los factores de ponderación en la ecuación 1 para eliminar un efecto significativo de la influencia de la pose generada utilizando sensores inerciales. La ponderación se varía en función de la confianza en la detección de movimiento del objetivo. La variación en la confianza puede ser el resultado de, por ejemplo, la calidad de los fotogramas de la imagen, el ruido, etc. Por ejemplo, si la detección de movimiento indica que el objetivo 101 se está moviendo, pero con una confianza muy baja, el peso de la pose basada en la inercia, por ejemplo, w1 en la ecuación 1, puede ser mayor que 0, por ejemplo, w1 = 0,3. Si, por otro lado, si la confianza en la detección es alta, entonces el peso de la pose basada en la inercia puede ser más cercano o igual a cero. Cuando se detecta que el movimiento del objetivo se ha detenido, el dispositivo móvil puede volver al enfoque de VINS, en el que se utiliza la contribución de las mediciones del sensor inercial para realizar el seguimiento de la pose relativa entre la cámara y el objetivo.

Además, tal como se ilustra, la detección del movimiento del objetivo (204) puede realizarse solo cuando se determina que la cámara está fija (203), es decir, ignorando los pequeños movimientos causados por la fluctuación de la mano o similar. Se puede determinar que la cámara está fija o en movimiento basándose en mediciones de los sensores inerciales 110. Por ejemplo, la desviación estándar de la norma de mediciones de los sensores inerciales 110, que pueden ser, por ejemplo, giroscopios, puede calcularse durante un período de tiempo predeterminado y si la desviación estándar está por encima de un cierto umbral, entonces se puede concluir que el dispositivo móvil está en movimiento. Si se determina que el dispositivo móvil 100 se está moviendo, entonces continúa utilizándose el VINS (206). Si se determina que el dispositivo móvil 100 está fijo, entonces el dispositivo móvil 100 puede proceder a evaluar si el objetivo se está moviendo (204) tal como se ha analizado anteriormente. Determinar que el dispositivo móvil 100 está fijo resulta útil ya que las estimaciones de pose basadas en visión son más precisas en general cuando el dispositivo móvil está fijo, ya que se mitigan los artefactos de movimiento como el desenfoque por movimiento y el efecto de persiana enrollable. Por tanto, la robustez aumenta y existe una menor probabilidad de detección falsa del movimiento del objetivo.

Hay varias formas de detectar el movimiento del objetivo (204). Tal como se ha analizado anteriormente, cuando el objetivo 101 está fijo, la estimación de pose producida utilizando mediciones de sensor inercial será aproximadamente la misma que la estimación de pose producida utilizando técnicas basadas en visión. Por otro lado, cuando el objetivo 101 se mueve, el movimiento del objetivo afectará a la estimación de pose producida utilizando técnicas basadas en visión, pero no a la estimación de pose producida utilizando mediciones de sensor inercial. Por tanto, la discrepancia en las estimaciones de pose o en determinados cambios en las poses puede utilizarse para determinar si el objetivo 101 está fijo o en movimiento.

La figura 5 es un diagrama de flujo que ilustra un método para determinar si un objetivo se está moviendo utilizando al menos una parte de las poses determinadas por las mediciones basadas en visión y las mediciones del sensor inercial. Tal como se ilustra, se determina al menos una parte de una pose basada en visión para la cámara con respecto al objetivo (302). A modo de ejemplo, si se desea, solo se puede determinar la actitud basada en visión, por ejemplo, del módulo de pose basada en visión 112, detectando de este modo la rotación del objetivo con respecto a la cámara. De modo alternativo, se puede utilizar el vector de traslación, en lugar de la actitud. Un cambio en al menos una parte de la pose de la cámara basada en la inercia se determina basándose en mediciones del sensor inercial (304). De nuevo, si se desea, solo se puede determinar la actitud basada en la inercia, por ejemplo, del módulo del INS 114. De modo alternativo, se puede utilizar el vector de traslación, en lugar de la actitud. El cambio en al menos una parte de la pose basada en la inercia puede determinarse, por ejemplo, integrando las señales de muestras de los sensores inerciales 110 durante una ventana de tiempo predeterminada. La cantidad de tiempo, es decir, el intervalo de integración, debe ser lo suficientemente pequeño como para limitar los efectos de la integración de los sesgos del sensor y los componentes de la gravedad que resultan de los errores de actitud, pero lo suficientemente largo para que los efectos del movimiento del objetivo sean de forma detectable distintos del ruido de fondo del sensor. Debe entenderse que el uso del vector de traslación y la actitud para detectar movimiento es matemáticamente equivalente al uso de aceleración de traslación, velocidad de traslación, aceleración angular y velocidad angular.

La al menos una parte de la pose basada en visión y el cambio en la al menos una parte de la pose basada en la inercia se utilizan para detectar el movimiento del objetivo (306). En un ejemplo, la pose basada en visión puede compararse con una pose basada en la inercia, determinada utilizando el cambio en la pose basada en la inercia, que se compara con un umbral para determinar si se ha movido el objetivo. En otro ejemplo, un cambio en la pose basada en la inercia se puede comparar con un cambio en la pose basada en visión, determinada utilizando poses basadas en visión múltiple, que se compara con un umbral para determinar si se ha movido el objetivo. Las diferencias entre las poses o los cambios en las poses pueden determinarse como la norma de la diferencia de pose o el cambio de pose escalada para el ruido de medición del sensor de inercia. Los umbrales utilizados deben ser lo suficientemente pequeños para detectar movimientos pequeños, pero lo suficientemente grandes como para excluir movimientos involuntarios, como el temblor de la mano.

En el ejemplo en el que la pose basada en visión se compara con una pose basada en la inercia, se determina al menos una parte de una pose basada en la inercia utilizando el cambio en al menos la parte de la pose basada en la inercia. A modo de ilustración, el cambio en una actitud basada en la inercia puede combinarse con una actitud basada en la visión anterior para determinar una actitud basada en la inercia actual. Se puede determinar una diferencia entre al menos la parte de la pose basada en visión y al menos la parte de la pose basada en la inercia y compararla con un umbral para determinar que se ha movido el objetivo.

En el ejemplo en el que el cambio en la pose basada en la inercia se compara con un cambio en la pose basada en visión, se puede determinar un cambio en al menos una parte de la pose basada en visión basándose en la al menos una parte de la pose basada en visión y la al menos una parte de una pose anterior basada en visión. A modo de ilustración, una primera actitud basada en visión puede compararse con una segunda actitud basada en visión para determinar el cambio en la actitud basada en visión. Se puede determinar una diferencia entre el cambio en la al menos una parte de la pose basada en la inercia y el cambio en la al menos una parte de la pose basada en visión y compararlo con un umbral para determinar si se ha movido el objetivo.

De modo adicional o alternativo, el movimiento del objetivo 101 puede detectarse proyectando vectores de características en las imágenes capturadas cuando se usa un enfoque de VINS estrechamente acoplado. La figura 6 es un diagrama de flujo que ilustra el uso de vectores de características proyectadas para detectar el movimiento del objetivo. Tal como se ilustra, las características se extraen de las imágenes capturadas (402). Las características se pueden extraer utilizando características robustas aceleradas (SURF, por sus siglas en inglés), transformación de características invariantes de escala (SIFT, por sus siglas en inglés) o cualquier otra técnica de extracción de características deseada. La proyección de los vectores de características se predice basándose en las mediciones de los sensores inerciales (404). Las proyecciones predichas de los vectores de características se comparan con las características extraídas en una imagen capturada posteriormente (406). La diferencia, que puede ser una diferencia promedio u otra métrica estadística, se compara con un umbral para determinar si el objetivo se está moviendo (408).

La figura 7 es un diagrama de bloques del dispositivo móvil 100 capaz de detectar y realizar el seguimiento de un objetivo 101 cambiando de forma adaptativa entre un enfoque de VINS y un enfoque de solo visión cuando el objetivo se está moviendo utilizando el proceso descrito. El dispositivo móvil 100 incluye la cámara 108, que captura imágenes del objetivo 101, por ejemplo, como fotogramas de vídeo, y sensores inerciales 110. Los sensores inerciales 110 pueden ser, por ejemplo, acelerómetros, giroscopios o similares. El dispositivo móvil 100 puede incluir una interfaz de usuario 120 que incluye la pantalla 102 y un teclado 122 u otro dispositivo de entrada a través del cual el usuario puede introducir información en el dispositivo móvil 100. La interfaz de usuario 120 también puede incluir el altavoz 104 y el micrófono 106, por ejemplo, cuando el dispositivo móvil es un teléfono móvil o similar. Por supuesto, el dispositivo móvil 100 puede incluir otros elementos no relacionados con la presente divulgación.

El dispositivo móvil 100 también incluye una unidad de control 150 que está conectada y se comunica con la cámara 108 y los sensores inerciales 110. La unidad de control 150 se puede proporcionar por un bus 150b, un procesador 152 y la memoria asociada 154, y puede incluir hardware 156, software 158 y firmware 160. La unidad de control 150 puede incluir un módulo de pose basada en visión 112, que determina la pose de la cámara 108 y, por lo tanto, el dispositivo móvil 100, con respecto a un objetivo utilizando imágenes capturadas por los sensores inerciales 110. La unidad de control 150 puede incluir además un módulo de INS 114, que determina el cambio de pose del dispositivo móvil basándose en señales muestreadas de los sensores inerciales 110. El módulo de INS 114 puede determinar la pose del dispositivo móvil con respecto al objetivo utilizando el cambio de pose determinado a partir de los sensores inerciales y una pose previamente determinada del dispositivo móvil a partir del módulo de pose basada en visión 112. La unidad de control 150 además del módulo del VINS 116 que combina la pose del módulo de pose basada en visión 112 y la pose (o cambio de pose) del módulo del INS 114. La unidad de control 150 incluye adicionalmente un módulo de detección de movimiento del objetivo 162, que detecta si el objetivo se está moviendo como se ha analizado anteriormente.

Las diversas unidades de procesamiento, por ejemplo, el módulo de pose basada en visión 112, el módulo del INS 114, el módulo del VINS 116 y el módulo de detección de movimiento del objetivo 162, se ilustran por separado entre sí y del procesador 152 para mayor claridad, pero pueden combinarse juntos, por ejemplo, el módulo del INS 114 puede ser parte del módulo del VINS 116 y/o parte del procesador 152 o implementarse en el procesador basándose en instrucciones en el software 158 que se ejecuta en el procesador 152. Se comprenderá tal como se utiliza en el presente documento que el procesador 152, y/o las diversas unidades de procesamiento, pueden, pero no necesariamente, incluir uno o más microprocesadores, procesadores integrados, controladores, circuito integrado para aplicaciones específicas (ASIC, por sus siglas en inglés), procesadores de señales digitales (DSP, por sus siglas en inglés) y similares. El término procesador está destinado a describir las funciones implementadas por el sistema en lugar de hardware específico. Además, tal como se utiliza en el presente documento, el término "memoria" se refiere a cualquier tipo de medio de almacenamiento informático, incluida la memoria a largo plazo, a corto plazo u otra memoria asociada con el dispositivo móvil, y no se limita a ningún tipo particular de memoria o número de memorias o tipo de medio en el que se almacena la memoria.

Las metodologías descritas en el presente documento pueden implementarse por diversos medios dependiendo de la aplicación. Por ejemplo, estas metodologías pueden implementarse en hardware 156, firmware 160, software 158 o cualquier combinación de los mismos. Para una implementación de hardware, las unidades de procesamiento se pueden implementar dentro de uno o más circuitos integrados para aplicaciones específicas (ASIC), procesadores de señales digitales (DSP), dispositivos de procesamiento de señales digitales (DSPD, por sus siglas en inglés), dispositivos lógicos programables (PLD, por sus siglas en inglés), matrices de puertas lógicas programable en campo (FPGA, por sus siglas en inglés), procesadores, controladores, microcontroladores, microprocesadores, dispositivos electrónicos, otras unidades electrónicas diseñadas para realizar las funciones descritas en el presente documento, o una combinación de los mismos.

Para una implementación de firmware y/o software, se pueden implementar las metodologías con módulos (por ejemplo, procedimientos, funciones, etc.) que realizan las funciones descritas en el presente documento. Se puede utilizar cualquier medio legible por máquina que incorpore de forma tangible instrucciones para implementar las metodologías descritas en el presente documento. Por ejemplo, los códigos de software pueden almacenarse en la memoria 154 y ser ejecutados por el procesador 152. La memoria puede implementarse dentro o fuera del procesador 152. Si se implementa en firmware y/o software, las funciones pueden almacenarse como una o más instrucciones o códigos en un medio legible por ordenador. Los ejemplos incluyen medios legibles por ordenador no transitorios codificados con una estructura de datos y medios legibles por ordenador codificados con un programa de ordenador. Los medios legibles por ordenador incluyen medios físicos de almacenamiento de ordenador. Un medio de almacenamiento puede ser cualquier medio disponible al que se pueda acceder mediante un ordenador. A modo de ejemplo, y no de limitación, dichos medios legibles por ordenador pueden comprender RAM, ROM, EEPROM, CD-ROM u otro almacenamiento en disco óptico, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que pueda utilizarse para almacenar código de programa deseado en forma de instrucciones o estructuras de datos y al que se puede acceder mediante un ordenador; disco (disk) y disco (disc), tal como se emplea en el presente documento, incluye disco compacto (CD), disco láser, disco óptico, disco versátil digital (DVD), disquete y disco Blu-ray donde los discos (disks) generalmente reproducen datos magnéticamente, mientras que los discos (discs) reproducen datos ópticamente con láser. Las combinaciones de los anteriores también deben incluirse dentro del alcance de los medios legibles por ordenador.

En una implementación, el dispositivo móvil incluye un medio para realizar el seguimiento de una pose relativa entre una cámara y un objetivo utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión, que puede ser, por ejemplo, el módulo del VINS 116 o el procesador 152. El dispositivo móvil puede incluir además un medio para detectar movimiento del objetivo, que puede ser el módulo de detección de movimiento del objetivo 162 o el procesador 152. El dispositivo móvil puede incluir además un medio para reducir la contribución de mediciones de sensor inercial para realizar el seguimiento de la pose relativa entre la cámara y el objetivo cuando se detecta el movimiento del objetivo, que puede ser el módulo del VINS 116, el módulo de pose basada en visión 112, o el procesador 152. Además, los medios para detectar movimiento del objetivo pueden incluir los medios para determinar al menos una parte de una pose basada en visión de la cámara en relación con el objetivo, que puede ser, por ejemplo, el módulo de pose basada en visión 112 o el procesador 152; medios para determinar un cambio en al menos una parte de una pose basada en la inercia de la cámara en base a las mediciones del sensor de inercia, que puede ser el módulo del INS 114 o el procesador 152, y un medio para utilizar al menos la parte de la pose basada en visión y el cambio en al menos la parte de la pose basada en la inercia para detectar el movimiento del objetivo, que puede ser, por ejemplo, el módulo de detección de movimiento del objetivo 162 o el procesador 152. El dispositivo móvil puede incluir adicionalmente medios para determinar que la cámara está fija antes de detectar el movimiento del objetivo, que puede ser, por ejemplo, los sensores de inercia 110, el módulo del INS 114 o el procesador 152. Además, los medios para detectar el movimiento del objetivo pueden incluir los medios para utilizar proyecciones de vectores de características basadas en las mediciones del sensor inercial, que pueden ser, por ejemplo, el módulo de pose basado en visión 112, el módulo del INS 114, el módulo de detección de movimiento del objetivo 162 o el procesador 152.

Aunque la presente invención se ilustra en relación con realizaciones específicas con fines de instrucción, la presente invención no se limita a las mismas. Pueden realizarse diversas adaptaciones y modificaciones sin alejarse del alcance de la invención.

Claims (19)

REIVINDICACIONES

1. Un método que comprende:

realizar el seguimiento (202) de una pose relativa entre una cámara (108) y un objetivo (101) utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión, estando basadas las mediciones basadas en visión en imágenes del objetivo (101) capturado por la cámara (108);

en donde la contribución de las mediciones de sensor inercial es una contribución ponderada y la contribución de las mediciones basadas en visión es una contribución ponderada;

detectar (204) movimiento del objetivo (101); y

reducir (208) la contribución ponderada de las mediciones de sensor inercial para realizar el seguimiento de la pose relativa entre la cámara (108) y el objetivo (101) cuando se detecta movimiento del objetivo (101);

el método caracterizado por que la ponderación de la contribución de las mediciones de sensor inercial se varía en función de una confianza en la detección de movimiento del objetivo.

2. El método de la reivindicación 1, en donde reducir (208) la contribución de las mediciones del sensor inercial comprende eliminar la contribución de las mediciones del sensor inercial, en donde se realiza el seguimiento de la pose relativa entre la cámara (108) y el objetivo (101) utilizando solo mediciones basadas en visión cuando se detecta (204) el movimiento del objetivo (101).

3. El método de la reivindicación 1, en donde detectar (204) movimiento del objetivo (101) comprende:

determinar (302) al menos una parte de una pose basada en visión de la cámara (108) con respecto al objetivo (101);

determinar (304) un cambio en al menos una parte de una pose basada en la inercia de la cámara (108) en base a mediciones del sensor de inercia; y

utilizar (306) la al menos la parte de la pose basada en visión y el cambio en la al menos la parte de la pose basada en la inercia para detectar (204) movimiento del objetivo (101).

4. El método de la reivindicación 2, en donde:

la al menos la parte de la pose basada en visión comprende una actitud basada en visión;

el cambio en la al menos la parte de la pose basada en la inercia comprende un cambio en una actitud basada en la inercia; y

utilizar la al menos la parte de la pose basada en visión y el cambio en la al menos la parte de la pose basada en la inercia comprende utilizar la actitud basada en visión y el cambio en la actitud basada en la inercia para detectar el movimiento del objetivo (101).

5. El método de la reivindicación 2, que comprende adicionalmente:

determinar (302) un cambio en la al menos la parte de la pose basada en visión;

en donde utilizar (306) la al menos la parte de la pose basada en visión y el cambio en la al menos la parte de la pose basada en la inercia comprende:

determinar una diferencia entre el cambio en la al menos la parte de la pose basada en la inercia y el cambio en la al menos la parte de la pose basada en visión;

comparar la diferencia con un umbral para determinar que se ha movido el objetivo (101).

6. El método de la reivindicación 2, que comprende adicionalmente:

determinar al menos una parte de una pose basada en la inercia utilizando el cambio en la al menos la parte de la pose basada en la inercia;

en donde utilizar (306) la al menos la parte de la pose basada en visión y el cambio en la al menos la parte de la pose basada en la inercia comprende:

determinar una diferencia entre la al menos la parte de la pose basada en visión y la al menos la parte de la pose basada en la inercia;

comparar la diferencia con un umbral para determinar que se ha movido el objetivo (101).

7. El método de la reivindicación 1, que comprende adicionalmente determinar que la cámara (108) está fija antes de detectar el movimiento del objetivo (101).

8. El método de la reivindicación 1, en donde detectar (204) movimiento del objetivo (101) comprende utilizar proyecciones de vectores de características basadas en las mediciones del sensor inercial.

9. El método de la reivindicación 7, que comprende adicionalmente:

extraer (402) características de imágenes capturadas prediciendo (404) las proyecciones de vectores de características en base a las mediciones del sensor inercial;

comparar (406) las proyecciones de vectores de características con vectores de características extraídas, extraídas de una imagen capturada para determinar una diferencia; y

comparar (408) la diferencia con un umbral para determinar que se ha movido el objetivo (101).

10. Un dispositivo móvil (100) que comprende:

medios para realizar el seguimiento de una pose relativa entre una cámara (108) y un objetivo (101) utilizando una contribución de mediciones de sensor inercial y una contribución de mediciones basadas en visión, basándose las mediciones basadas en visión en imágenes del objetivo (101) capturadas por la cámara (108);

en donde la contribución de las mediciones del sensor inercial es una contribución ponderada y la contribución de las mediciones basadas en visión es una contribución ponderada;

medios para detectar movimiento del objetivo (101); y

medios para reducir la contribución ponderada de las mediciones del sensor inercial para realizar el seguimiento de la pose relativa entre la cámara (108) y el objetivo (101) cuando se detecta movimiento del objetivo (101);

el dispositivo móvil caracterizado por que la ponderación de la contribución de las mediciones del sensor inercial se varía en función de una confianza en la detección de movimiento del objetivo.

11. El dispositivo móvil (100) de la reivindicación 10, en donde los medios para reducir la contribución de las mediciones del sensor inercial eliminan la contribución de las mediciones del sensor inercial.

12. El dispositivo móvil (100) de la reivindicación 10, en donde los medios para detectar movimiento del objetivo (101) comprenden:

medios para determinar al menos una parte de una pose basada en visión de la cámara (108) con respecto al objetivo (101);

medios para determinar un cambio en al menos una parte de una pose basada en la inercia de la cámara (108) en base a mediciones del sensor de inercia; y

medios para utilizar la al menos la parte de la pose basada en visión y el cambio en la al menos la parte de la pose basada en la inercia para detectar movimiento del objetivo (101).

13. El dispositivo móvil (100) de la reivindicación 10, que comprende adicionalmente medios para determinar que la cámara (108) está fija antes de detectar el movimiento del objetivo (101).

14. El dispositivo móvil (100) de la reivindicación 10, en donde los medios para detectar movimiento del objetivo (101) comprende medios para utilizar proyecciones de vectores de características basadas en las mediciones del sensor inercial.

15. Un medio legible por ordenador no transitorio que comprende instrucciones que, cuando son ejecutadas por un ordenador, hacen que el ordenador lleve a cabo el método de las reivindicaciones 1 a 9.

16. El dispositivo móvil (100) de la reivindicación 10, en donde los medios para reducir la contribución ponderada de las mediciones del sensor inercial comprenden medios para reducir la contribución ponderada del sensor inercial para realizar el seguimiento de la pose relativa entre la cámara y el objetivo cuando se detecta movimiento del objetivo.

17. El dispositivo móvil (100) de la reivindicación 10, en donde los medios para detectar el movimiento del objetivo están configurados para detectar el movimiento basándose en una diferencia entre características extraídas de una primera imagen y características extraídas de una imagen posterior de las imágenes capturadas.

18. El dispositivo móvil (100) de la reivindicación 17, en donde la diferencia se determina basándose en una comparación entre proyecciones predichas de vectores de características extraídas de la primera imagen y vectores de características extraídas de la imagen posterior.

19. El dispositivo móvil (100) de la reivindicación 10, en donde los medios para reducir la contribución ponderada de las mediciones del sensor inercial comprenden medios para reducir la contribución ponderada del sensor inercial para realizar el seguimiento de la pose relativa entre la cámara y el objetivo cuando las proyecciones predichas de los vectores de características extraídas de la primera imagen difieren de los vectores de características extraídas de la imagen posterior.