ES2698574T3 - Método y dispositivo para calcular la pose de una cámara u objeto - Google Patents

Abstract

Un método para calcular pose que comprende: recibir, en un procesador, al menos una imagen (118), en donde la imagen (118): bien corresponde a un objeto y está capturada por una cámara fija, o bien corresponde a una escena capturada por una cámara (112) móvil en la escena (116); utilizar el procesador para hacer pasar los elementos de imagen de la al menos una imagen (118) seleccionados de manera aleatoria a través de un sistema de aprendizaje automático entrenado, que comprende un árbol de decisión o más de uno en donde cada uno de ellos posee un nodo raíz, una pluralidad de nodos de decisión y una pluralidad de nodos terminales, en donde cada elemento de imagen seleccionado es hecho pasar desde el nodo raíz hasta un nodo terminal en un proceso en el que se toma una decisión en cada nodo de decisión de acuerdo con características del elemento de imagen seleccionado y características de elementos de imagen de test de la imagen desplazados del elemento de imagen seleccionado mediante desplazamientos (offsets) espaciales especificados por parámetros en el nodo de decisión, para obtener, desde los nodos terminales alcanzados por los elementos de imagen seleccionados, una pluralidad de asociaciones entre los elementos de imagen seleccionados y puntos bien en coordenadas de entidad o bien en coordenadas de escena, en donde las coordenadas de entidad son coordenadas de objeto o coordenadas de cámara móvil, en donde el sistema de aprendizaje automático ha sido entrenado utilizando imágenes con elementos de imagen individuales etiquetados bien con un punto expresado en coordenadas de escena o bien con un punto expresado en coordenadas de objeto; y calcular la pose del objeto o de la cámara móvil a partir de las asociaciones mediante la optimización de una función de energía utilizando un proceso iterativo para buscar entre posibles candidatos a pose de cámara, en donde un candidato a pose de cámara se calcula a partir de al menos dos de las asociaciones.

Description

DESCRIPCIÓN

Método y dispositivo para calcular la pose de una cámara u objeto

Antecedentes

En muchas aplicaciones, tal como en la robótica, navegación de vehículos, aplicaciones de juegos por ordenador, aplicaciones médicas y otros ámbitos de problemas, resulta valioso ser capaz de encontrar la orientación y la posición de una cámara mientras se mueve en un entorno conocido. La orientación y la posición de una cámara se conoce como pose de la cámara y puede comprender seis grados de libertad (tres de traslación y tres de rotación). Cuando una cámara esta fija y un objeto se mueve en relación a la cámara, también resulta útil ser capaz de calcular la pose del objeto.

Una estrategia de la técnica anterior utiliza comparación de secuencia clave, de manera que una imagen de test completa se compara con imágenes de entrenamiento de ejemplo (secuencias clave). Se encuentran secuencias clave K que coinciden, y las poses (poses clave) de dichas secuencias clave se interpolan para generar una salida de pose de cámara. La coincidencia de secuencias clave tiende a ser muy aproximada en relación al resultado de pose.

Otra estrategia de la técnica anterior utiliza comparación de puntos clave, de manera que se detecta un conjunto disperso de puntos de interés en una imagen de test y se compara utilizando descriptores de punto clave con una base de datos de descriptores conocida. Dado un conjunto putativo de comparaciones, se lleva a cabo una optimización robusta para encontrar la pose de cámara para la que son consistentes geométricamente el mayor número de dichas coincidencias. La comparación de puntos clave sufre en situaciones en las que se detecta un número muy bajo de puntos clave.

Las estrategias existentes están limitadas en precisión, robustez y velocidad.

El artículo “Seguimiento de poses a partir de características naturales en teléfonos móviles” (“Pose tracking from natural features on mobile phones"), escrito por Wagner D y otros en Mixed and Augmented Reality 2008 ACM International Symposium, IEEE, páginas 125-134, describe la utilización de descriptores de características SIFT y Fern modificados para seguimiento de características naturales en teléfonos móviles.

El documento US5930392 describe un bosque de decisión que incluye múltiples árboles de decisión. Cada árbol individual lleva a cabo una clasificación inicial sobre la base de subconjuntos de datos seleccionados de manera aleatoria. Los resultados de clasificación por los árboles individuales se combinan utilizando un proceso de discriminación en el clasificador de bosque de decisión para proporcionar la decisión de clasificación. El artículo de Lepetit y otros “Árboles Randomizados para Reconocimiento de Punto Clave en Tiempo Real” (“Randomised Trees for Real-Time Keypoint Recognition") en IEEE CVPR 2005 vol. 2, 20 de junio de 2005, páginas 775-781, describe comparación de puntos clave para estimación de pose de objetos sobre la base de la clasificación. Describe la utilización de árboles randomizado para la clasificación.

El documento GB2411532 escribe la determinación de la posición y la orientación de una cámara. Se almacena un conjunto de imágenes de referencia, junto con la pose de la cámara y la información de características para cada imagen. Se determina una primera estimación de la posición de la cámara comparando la imagen actual de la cámara con un conjunto de imágenes de referencia.

Las realizaciones descritas a continuación no están limitadas a implementaciones que resuelven alguna o todas las desventajas de los sistemas conocidos para encontrar la pose de una cámara o de un objeto.

Compendio

En lo que sigue, se presenta un resumen simplificado de la descripción con el fin de proporcionar una comprensión básica al lector. Este resumen no constituye una visión de conjunto de la descripción y no identifica elementos clave/críticos ni delinea el alcance del documento. Su único propósito es presentar una selección de conceptos descritos en la presente memoria de una manera simplificada como preludio de una descripción más detallada que se presenta más adelante. La invención se define en las reivindicaciones anexas.

Se describe el cálculo de la pose de una cámara o de un objeto para, por ejemplo, resituar una cámara móvil (tal como la cámara de un teléfono móvil inteligente) en un entorno conocido o para calcular la pose de un objeto que se mueve en relación a una cámara fija. La información de pose resulta útil en robótica, realidad aumentada, navegación y otras aplicaciones. En varias realizaciones en las que se calcula la pose de una cámara, un sistema de aprendizaje automático entrenado asocia elementos de imagen de una imagen de una escena, con puntos en el sistema de coordenadas universal tridimensional de la escena. En ejemplos en los que la cámara está fija y se debe calcular la pose de un objeto, el sistema de aprendizaje automático entrenado asocia elementos de imagen de una imagen del objeto con puntos en un sistema de coordenadas del objeto. En ejemplos, los elementos de imagen pueden contener ruido y ser incompletos y un motor de inferencia de pose calcula una estimación precisa de la pose.

Muchas de las características propias relacionadas resultarán más fáciles de comprender haciendo referencia a la descripción detallada que sigue y que se considera en relación con los dibujos adjuntos.

Breve descripción de los dibujos

La presente descripción se comprenderá mejor a partir de la descripción detallada que sigue leída a la luz de los dibujos adjuntos, en los cuales:

la FIG. 1 es un diagrama esquemático de un estimador de pose de cámara para relocalizar una cámara móvil (tal como la cámara de un teléfono móvil inteligente) en una escena A;

la FIG. 2 es un diagrama esquemático de una persona que sostiene un dispositivo móvil con una cámara y un estimador de pose de cámara y que se comunica con un sistema de realidad aumentada para permitir que se proyecte la imagen de un gato sobre la escena de una manera realista;

la FIG. 3 es un diagrama esquemático de una persona y un robot, cada uno de los cuales posee una cámara y un estimador de pose de cámara;

la FIG. 4 es un diagrama esquemático de tres árboles de decisión aleatorios que forman al menos una parte de un bosque de decisión aleatorio;

la FIG. 5 es un diagrama de flujo de un método para entrenar un bosque de decisión aleatorio para predecir correspondencias entre elementos de imagen y coordenadas de escena; y para utilizar el bosque de decisión aleatorio entrenado;

la FIG. 6 es un diagrama de flujo de un método para entrenar un bosque de decisión aleatorio utilizando imágenes de una escena cuyos elementos de imagen tienen etiquetas que indican sus correspondientes coordenadas de escena;

la FIG. 7 es un diagrama de flujo de un método para utilizar un bosque de decisión aleatorio entrenado para obtener parejas de coordenadas de escena - elemento de imagen;

la FIG. 8 es un diagrama de flujo de un método en un motor de inferencia de pose de cámara para utilizar parejas de coordenadas de escena - elemento de imagen para inferir la pose de cámara;

la FIG. 9 es un diagrama esquemático del estimador de pose de cámara de la FIG. 1 en el que está disponible un modelo tridimensional de la escena;

la FIG. 10 ilustra un dispositivo basado en ordenador a modo de ejemplo en el que pueden implementarse realizaciones de un estimador de pose de cámara o de un estimador de pose de objeto.

En los dibujos adjuntos, se utilizan números de referencia similares para designar partes similares.

Descripción detallada

La descripción detallada que se ofrece a continuación en relación con los dibujos adjuntos pretende ser una descripción de los presentes ejemplos y no pretende representar las únicas formas en las que el presente ejemplo puede construirse o utilizarse. La descripción establece las funciones del ejemplo y la secuencia de pasos para construir y hacer funcionar el ejemplo. Sin embargo, pueden conseguirse las mismas funciones y secuencias o funciones y secuencias equivalentes mediante ejemplos diferentes.

Aunque los presentes ejemplos se describen y se ilustran en la presente memoria como ejemplos que están implementados utilizando un bosque de decisión aleatorio, se proporciona el sistema descrito como un ejemplo y no como una limitación. Como comprenderán aquellas personas expertas en la técnica, los presentes ejemplos pueden implementarse utilizando una variedad de diferentes tipos de sistemas de aprendizaje automático que incluyen, pero que no están limitados a, máquinas de soporte vectorial, sistemas de regresión basados en procesos Gaussianos.

La FIG. 1 es un diagrama esquemático de un estimador de pose de cámara para relocalizar una cámara móvil (tal como la cámara de un teléfono móvil inteligente) en una escena A. En este ejemplo, una persona 114 está sosteniendo la cámara 112 móvil que está integrada en un dispositivo de comunicación tal como un teléfono móvil inteligente. La persona 114 utiliza la cámara 112 móvil para capturar al menos una imagen 118 de la escena 116 A, tal como una sala de estar, una oficina u otro entorno. La imagen puede ser una imagen de profundidad, una imagen en color (a la que se hará referencia como una imagen RGB) o puede comprender tanto una imagen de profundidad como una imagen en color. En algunos ejemplos, puede capturarse una secuencia de imágenes por medio de la cámara móvil.

Un estimador 100 de pose de cámara o bien está integrado con el teléfono móvil inteligente o bien está proporcionado por otra entidad que se comunica con el teléfono móvil inteligente. El estimador 100 de pose de cámara esta implementado utilizando software y/o hardware tal como se describe con mayor detalle más adelante haciendo referencia a la FIG. 10. El estimador 100 de pose de cámara comprende una pluralidad de bosques 102, 104, 106 de decisión de coordenadas de escena entrenados, cada uno de ellos para cada una de las escenas de una pluralidad de escenas. Los bosques de decisión de coordenadas de escena entrenados pueden almacenarse en el estimador de pose de cámara o pueden ubicarse en otra entidad que se comunica con el estimador de pose de cámara. Cada bosque de decisión de coordenadas de escena es un tipo de sistema de aprendizaje automático que toma elementos de imagen (a partir de imágenes de su escena asociada) como entrada y genera estimaciones de coordenadas de escena (en el espacio del universo) de puntos en una escena representada por los elementos de imagen. Los elementos de imagen pueden ser píxeles, grupos de píxeles, vóxeles, grupos de vóxeles, manchas, parches u otros componentes de una imagen. Pueden utilizarse otros tipos de sistemas de aprendizaje automático en lugar del bosque de decisión de coordenadas de escena. Por ejemplo, un sistema de regresión basado en máquinas de soporte vectorial, sistemas de regresión basados en procesos Gaussianos.

Un bosque de decisión comprende un árbol de decisión o más de uno donde cada uno de ellos posee un nodo raíz, una pluralidad de nodos de decisión y una pluralidad de nodos terminales. Los elementos de imagen de una imagen pueden hacerse pasar a través de árboles de un bosque de decisión desde la raíz hasta un nodo terminal en un proceso en el que se toma una decisión en cada nodo de decisión. La decisión se toma de acuerdo con características del elemento de imagen y características de elementos de imagen de test desplazados en la misma mediante desplazamientos (offsets) espaciales especificados por los parámetros en el nodo de decisión. En un nodo de decisión, el elemento de imagen avanza hasta el siguiente nivel del árbol bajando por una rama escogida de acuerdo con los resultados de la decisión. El bosque de decisión aleatorio puede utilizar regresión o clasificación tal como se describirá con mayor detalle más adelante. Durante el entrenamiento, los valores de los parámetros (a los que también se hace referencia como características) se aprenden para ser utilizados en los nodos de decisión y los datos se acumulan en los nodos terminales. Por ejemplo, en los nodos terminales se acumulan distribuciones de coordenadas de escena.

El almacenamiento de todas las coordenadas de escena en los nodos terminales durante el entrenamiento puede necesitar mucha memoria puesto que típicamente se utilizan grandes cantidades de datos de entrenamiento para aplicaciones prácticas. Las coordenadas de escena pueden agregarse con el fin de que puedan ser almacenadas de una manera compacta. Pueden utilizarse diferentes procesos de agregación. Más adelante se describirá con mayor detalle un ejemplo en el que se almacenan modos de la distribución de coordenadas de escena.

En el ejemplo de la FIG. 1, existen una pluralidad de bosques de decisión de coordenadas de escena entrenados; uno por cada una de las escenas de la pluralidad de escenas. Sin embargo, también resulta posible tener un único bosque de decisión de coordenadas de escena entrenado que funciona para una pluralidad de escenas. Esto se explicará más adelante haciendo referencia a la FIG. 9.

El bosque o bosques de decisión de coordenadas de escena proporcionan estimaciones 110 de parejas de elemento de imagen - coordenadas de escena que son entregados a un motor 108 de inferencia de pose de cámara en el estimador 100 de pose de cámara. También puede estar disponible información sobre la certidumbre de las estimaciones de elemento de imagen - coordenadas de escena. El motor 108 de inferencia de pose de cámara puede utilizar una estrategia de optimización de energía para encontrar una pose de cámara que constituya un buen ajuste para una pluralidad de parejas elemento de imagen - predicciones de coordenadas de escena llevadas a cabo por el bosque de decisión de coordenadas de escena. Esto se describe con mayor detalle más adelante haciendo referencia a la FIG. 8. En algunos ejemplos, las coordenadas de escena para cada elemento de imagen disponible pueden calcularse y utilizarse en la optimización de energía. Sin embargo, para conseguir mejoras de rendimiento a la vez que se mantiene la precisión, puede utilizarse un subconjunto de elementos de imagen para calcular las predicciones de coordenadas de escena.

El motor 108 de inferencia de pose de cámara utiliza muchas parejas 110 de elemento de imagen - coordenadas de escena para inferir la pose de la cámara 112 móvil utilizando una estrategia de optimización de energía, tal como se mencionó anteriormente. El número de parejas utilizado puede ser mucho mayor que tres (el mínimo necesario) para mejorar la precisión. Por ejemplo, la al menos una imagen 118 capturada puede contener ruido y puede tener elementos de imagen ausentes, especialmente cuando la imagen 118 capturada es una imagen de profundidad. Por otro lado, obtener una predicción de coordenadas de escena para cada elemento de imagen en una imagen es computacionalmente costoso y consume mucho tiempo puesto que cada elemento de imagen necesita ser pasado a través del bosque tal como se describe haciendo referencia a la FIG. 7. Por lo tanto, en algunos ejemplos, el motor de inferencia de pose de cámara puede utilizar un proceso iterativo que proporciona el beneficio de que se utiliza un subconjunto de elementos de imagen para calcular predicciones de coordenadas de escena a la vez que se tiene en cuenta la precisión.

La salida 120 de pose de cámara que se obtiene del estimador de pose de cámara puede tener la forma de un conjunto de parámetros con seis grados de libertad, tres que indican la rotación de la cámara y tres que indican la posición de la cámara. Por ejemplo, la salida del estimador de pose de cámara es un conjunto de parámetros de registro de una transformación desde el espacio de cámara hasta el espacio del universo. En algunos ejemplos, estos parámetros de registro se proporcionan como una estimación de pose de seis grados de libertad (6DOF) en forma de una matriz SE3 que describe la rotación y la traslación de la cámara en relación a las coordenadas del universo real.

La salida 120 de pose de cámara que se obtiene del estimador 100 de pose puede entregarse a un sistema 122 posterior junto con la imagen o imágenes 118 capturadas. El sistema posterior puede ser un sistema 124 de juego, un sistema 126 de realidad aumentada, un sistema 128 robótico, un sistema 130 de navegación u otro sistema. Haciendo referencia a la FIG. 2, se describirá un ejemplo en el que el sistema 122 posterior es un sistema de realidad aumentada.

Los ejemplos descritos muestran cómo puede calcularse una pose de cámara. Estos ejemplos pueden modificarse de una manera sencilla y directa para permitir que la pose de un objeto se calcule cuando la cámara está fija. En este caso, el sistema de aprendizaje automático se entrena utilizando imágenes de entrenamiento de un objeto en el que los elementos de imagen están etiquetados con coordenadas de objeto. Se proporciona así un estimador de pose de objeto que utiliza los métodos descritos en la presente memoria adaptados a la situación en la que la cámara está fija y debe calcularse la pose de un objeto.

De manera alternativa, o de manera adicional, el estimador de pose de cámara o el estimador de pose de objeto descritos en la presente memoria pueden implementarse, al menos en parte, utilizando un componente lógico de hardware o más de uno. Por ejemplo, y sin limitación, tipos ilustrativos de componentes lógicos de hardware que pueden utilizarse incluyen Matrices de Puertas Programables (FPGAs, Field Prngrammable Gate Arrays), Circuitos Integrados para Aplicaciones Específicas (ASICs, Program Specific Integrated Circuit), Productos Estándar para Aplicación Específica (ASSPs, Program Specific Standard Product), Sistemas en un Chip (SOCs, System-on-a-chip), Dispositivos Lógicos Programables Complejos (CPLDs, Complex Programmable Logic Device), Unidades de Procesamiento Gráfico (GPU, Graphics Processing Unit).

La FIG. 2 es un diagrama esquemático de una persona 200 que sostiene un dispositivo 202 móvil que posee una cámara 212, un estimador 214 de pose de cámara y un proyector 210. Por ejemplo, el dispositivo móvil puede ser un teléfono móvil inteligente. En aras de la claridad, no se muestran otros componentes del dispositivo móvil que le permiten funcionar como un teléfono móvil inteligente tales como una interfaz de comunicación, una pantalla de visualización, una fuente de suministro de potencia y otros componentes. Una persona 200 que sostiene el dispositivo 202 móvil es capaz de capturar imágenes de la escena o del entorno en el que se está moviendo el usuario. En el ejemplo de la FIG. 2, la escena o el entorno es una sala de estar que contiene diversos objetos 206 y otra persona 204.

El dispositivo móvil es capaz de comunicarse con una entidad o más de una dispuestas en la nube 216 tales como un sistema 218 de realidad aumentada, un modelo 220 tridimensional de la escena y un sistema 222 de generación de modelo tridimensional opcional.

Por ejemplo, el usuario 200 hace funcionar el dispositivo 202 móvil para capturar imágenes de la escena que son utilizadas por el estimador 214 de pose de cámara para calcular la pose (posición y orientación) de la cámara. Con el consentimiento del usuario, la pose de la cámara es enviada 224 a las entidades en la nube 216 opcionalmente con las imágenes 228. El sistema 218 de realidad aumentada puede tener acceso a un modelo 220 tridimensional de la escena (por ejemplo, un modelo tridimensional de la sala de estar) y puede utilizar el modelo tridimensional y la pose de la cámara para calcular la entrada 226 del proyector. La entrada 226 del proyector se envía al dispositivo 202 móvil y puede ser proyectada por el proyector 210 en la escena. Por ejemplo, puede proyectarse una imagen de un gato 208 en la escena de una manera realista teniendo en cuenta el modelo tridimensional de la escena y la pose de la cámara. El modelo tridimensional de la escena podría ser un modelo de diseño asistido por ordenador (CAD, Computer Aided Design), o bien podría ser un modelo de las superficies en la escena construido a partir de imágenes de la escena capturadas utilizando un sistema 222 de generación de modelo tridimensional. Un ejemplo de un sistema de generación de modelo tridimensional que puede utilizarse se describe en la solicitud de patente de EE. UU. N° US20120194516 “Reconstrucción de entorno tridimensional” (“ Three-Dimensional Environment Reconstruction") a favor de Newcombe, Richard y otros publicada el 2 de agosto de 2012. También pueden utilizarse otros tipos de modelos tridimensionales y de sistemas de generación de modelos tridimensionales.

Se describirá a continuación, haciendo referencia a la FIG. 3, un ejemplo en el que el sistema 122 posterior es un sistema de navegación. La FIG. 3 contiene una vista en planta del suelo de una oficina 300 con varios objetos 310. Una persona 302 que sostiene un dispositivo 304 móvil está caminando a lo largo de un pasillo 306 en la dirección de las flechas 308. El dispositivo 304 móvil tiene una cámara 314 o más de una, un estimador 316 de pose de cámara y un visualizador 318 de mapa. El dispositivo 304 móvil puede ser un teléfono móvil inteligente u otro dispositivo de comunicación móvil tal como se describió haciendo referencia a la FIG. 2 y que es capaz de comunicarse con un sistema 322 de navegación en la nube 320. El sistema 322 de navegación recibe la pose de cámara desde el dispositivo móvil (siempre que el usuario haya consentido en revelar esta información) y utiliza esa información junto con los mapas 324 de la planta de la oficina para calcular datos de visualización de mapa para ayudar a la persona 302 a moverse por la planta de la oficina. Los datos de visualización de mapa son enviados al dispositivo móvil y pueden visualizarse en el visualizador 318 de mapa.

Se describirá a continuación, haciendo referencia a la FIG. 3, un ejemplo en el que el sistema 122 posterior es un sistema robótico. Un vehículo 312 robot se mueve a lo largo del pasillo 306 y captura imágenes utilizando una cámara 326 o más de una situadas en el vehículo robot. Un estimador 328 de pose de cámara en el vehículo robot es capaz de calcular la pose de la(s) cámara(s) cuando el vehículo robot ya conoce la escena.

La FIG. 4 es un diagrama esquemático de un bosque de decisión a modo de ejemplo que comprende tres árboles de decisión: un primer árbol 400 (denominado árbol 1); un segundo árbol 402 (denominado árbol 2); y un tercer árbol 404 (denominado árbol 3). Cada árbol de decisión comprende un nodo raíz (por ejemplo, el nodo 406 raíz del primer árbol 700 de decisión), una pluralidad de nodos internos, denominados nodos de decisión (por ejemplo, el nodo 408 de decisión del primer árbol 400 de decisión), y una pluralidad de nodos terminales (por ejemplo, el nodo 410 terminal del primer árbol 400 de decisión).

Durante el funcionamiento, cada nodo raíz y cada nodo de decisión de cada árbol lleva a cabo un test binario (o posiblemente un test n-ario) sobre los datos de entrada y, sobre la base del resultado, dirige los datos hacia el nodo hijo izquierdo o el nodo hijo derecho. Los nodos terminales no llevan a cabo ninguna acción; almacenan coordenadas de escena acumuladas (y opcionalmente otra información). Por ejemplo, pueden almacenarse distribuciones de probabilidad que representan las coordenadas de escena acumuladas.

La FIG. 5 es un diagrama de flujo de un método para entrenar un bosque de decisión aleatorio para predecir correspondencias entre elementos de imagen y coordenadas de escena. Esto se ilustra en la parte superior de la FIG. 5 por encima de la línea punteada en la región etiquetada “entrenamiento”. La parte inferior de la FIG. 5 por debajo de la línea punteada muestra pasos del método durante el tiempo de test cuando se utiliza el bosque de decisión aleatorio entrenado para predecir (o estimar) correspondencias entre elementos de imagen de una imagen de una escena y puntos en el sistema de coordenadas universal tridimensional de la escena (coordenadas de escena).

Un bosque de decisión aleatorio es entrenado en el paso 502 para permitir que los elementos de imagen generen predicciones de correspondencias entre ellos mismos y coordenadas de escena. Durante el entrenamiento, se utilizan las imágenes 500 de entrenamiento etiquetadas de al menos una escena, tal como la escena A. Por ejemplo, una imagen de entrenamiento etiquetada comprende, para cada elemento de imagen, un punto en un sistema de coordenadas universal tridimensional de la escena que representa el elemento de imagen. Para obtener las imágenes de entrenamiento etiquetadas, pueden utilizarse diferentes métodos para capturar imágenes 516 de la escena A y grabar o calcular la pose de la cámara para cada imagen capturada. Utilizando estos datos, pueden calcularse unas coordenadas de escena que indican el punto del universo representado por un elemento de imagen. Para capturar las imágenes y grabar o calcular la pose de cámara asociada, una estrategia consiste en llevar a cabo un seguimiento de cámara en el paso 512 desde la entrada de cámara de profundidad. Por ejemplo, tal como se describe en la solicitud de patente de EE. UU. N° US20120196679 “Seguimiento de cámara en tiempo real utilizando mapas de profundidad” (“Real-time camera tracking using depth maps") a favor de Newcombe, Richard y otros publicada el 2 de agosto de 2012. Otra estrategia consiste en llevar a cabo en el paso 514 una reconstrucción densa y seguimiento de cámara desde la entrada de cámara RGB. También resulta posible utilizar un modelo CAD para generar datos de entrenamiento sintéticos. Las propias imágenes de entrenamiento (es decir, no las imágenes etiquetadas) pueden ser reales o sintéticas.

Se describirá a continuación, haciendo referencia a la FIG. 6, un ejemplo de un proceso de entrenamiento del bloque 502. El resultado del entrenamiento es un bosque 504 de decisión aleatorio entrenado para la escena A (en el caso en el que las imágenes de entrenamiento correspondiesen a la escena A).

En el tiempo de test, en el paso 508 se recibe una imagen de entrada de la escena A y se seleccionan una pluralidad de elementos de imagen a partir de la imagen de entrada. Los elementos de imagen pueden seleccionarse de manera aleatoria o de otra manera (por ejemplo, mediante una selección tal que se omiten elementos de imagen espurios o que contienen ruido). Cada elemento de imagen seleccionado puede aplicarse en el paso 506 al bosque de decisión entrenado para obtener predicciones 510 de correspondencias entre esos elementos de imagen y puntos en el sistema de coordenadas universal tridimensional de la escena.

La FIG. 6 es un diagrama de flujo de un método para entrenar un bosque de decisión aleatorio utilizando imágenes de una escena cuyos elementos de imagen tienen etiquetas que indican sus correspondientes coordenadas de escena. En el paso 600 se recibe un conjunto de imágenes de entrenamiento de una escena en el que los elementos de imagen tienen etiquetas que indican las coordenadas de escena del punto de escena que representan. Se seleccionan en el paso 602 un número de árboles que serán utilizados en el bosque de decisión, por ejemplo, entre 3 y 20 árboles.

Se selecciona en el paso 604 un árbol de decisión del bosque de decisión (por ejemplo, el primer árbol 600 de decisión) y se selecciona 606 en el paso 606 el nodo raíz. Se selecciona entonces en el paso 608 al menos un subconjunto de los elementos de imagen de cada una de las imágenes de entrenamiento. Por ejemplo, la imagen puede filtrarse para eliminar ruido o elementos de imagen espurios.

Se generan entonces en el paso 610 un conjunto aleatorio de parámetros de test (también llamados clasificadores débiles) para ser utilizados como candidatos a características por el test binario llevado a cabo en el nodo raíz. En un ejemplo, el test binario tiene la forma: £ > f (x; 9) > t, de tal manera que f (x; 9) es una función aplicada al elemento x de imagen con parámetros 9, de manera que la salida de la función se compara con valores £ y t umbrales. Si el resultado de f (x; 9) está en el rango comprendido entre £ y t, entonces el resultado del test binario es verdadero. En caso contrario, el resultado del test binario es falso. En otros ejemplos, sólo puede utilizarse uno de los valores f y t umbrales, de tal manera que el resultado del test binario es verdadero si el resultado de f (x; 9) es mayor que (o, de manera alternativa, menor que) un valor umbral. En el ejemplo descrito aquí, el parámetro 9 define una característica de la imagen.

Una función f (x; 9) candidata utiliza información de imagen que está disponible durante el tiempo de test. El parámetro 9 de la función f (x; 9) se genera de manera aleatoria durante el entrenamiento. El proceso para generar el parámetro 9 puede comprender generar valores de desplazamiento espacial aleatorios en forma de un desplazamiento de dos o de tres dimensiones. El resultado de la función f (x; 9) se calcula entonces observando el valor de la profundidad (o valor de intensidad en el caso de una pareja de imágenes RGB y de profundidad) para un elemento de imagen de test o más de uno que están desplazados del elemento x de imagen de interés en la imagen mediante desplazamientos espaciales. Se hace que los desplazamientos espaciales sean, opcionalmente, invariantes en profundidad, escalándoles mediante el factor 1/profundidad del elemento de imagen de interés. Cuando se utilizan imágenes RGB sin imágenes de profundidad, el resultado de la función f (x; 9) puede calcularse observando el valor de intensidad en un canal específico de entre los canales de color rojo, verde o azul para un elemento de imagen de test o más de uno que están desplazados del elemento x de imagen de interés mediante desplazamientos espaciales.

El resultado del test binario llevado a cabo en un nodo raíz o en un nodo de decisión determina a qué nodo hijo se pasa un elemento de imagen. Por ejemplo, si el resultado del test binario es verdadero, el elemento de imagen se pasa a un primer nodo hijo, mientras que si el resultado es falso el elemento de imagen se pasa a un segundo nodo hijo.

El conjunto aleatorio de parámetros de test generado comprende una pluralidad de valores aleatorios para el parámetro 9 de la función y para los valores f y t umbrales. Con el fin de inyectar aleatoriedad en los árboles de decisión, los parámetros 9 de la función de cada nodo de decisión se optimizan solamente sobre un subconjunto 0 de todos los posibles parámetros muestreados de manera aleatoria. Esto constituye una manera efectiva y simple de inyectar aleatoriedad en los árboles, y aumenta la generalización.

A continuación, cada combinación de parámetro de test puede aplicarse en el paso 612 a cada elemento de imagen en el conjunto de imágenes de entrenamiento. En otras palabras, se prueban valores permitidos de 9 (es decir, 9¡ e 0 ) uno detrás de otro, en combinación con valores permitidos de f y t para cada elemento de imagen en cada imagen de entrenamiento. Para cada combinación, se calculan en el paso 614 los criterios (a los que también se hace referencia como los objetivos). La combinación de parámetros que optimiza los criterios se selecciona en el paso 614 y se almacena en el nodo actual para un uso futuro.

En un ejemplo, el objetivo es un objetivo de reducción de varianza expresado de la siguiente manera:

lo que puede expresarse en palabras diciendo que la reducción en la varianza de los ejemplos de entrenamiento en el nodo n de decisión con los parámetros 9 de clasificador débil es igual a la varianza de todos los ejemplos de entrenamiento que alcanzan ese nodo de decisión menos la suma de las varianzas de los ejemplos de entrenamiento que alcanzan los nodos hijo izquierdo y derecho del nodo de decisión. La varianza puede calcularse como:

Zovn)es II™ - ™ l l2

lo que puede expresarse con palabras diciendo que la varianza de un conjunto de ejemplos S de entrenamiento es igual a la media de las diferencias entre las coordenadas m de escena y el valor medio de las coordenadas de escena en S.

Como alternativa a un objetivo de reducción de varianza, pueden utilizarse otros criterios, tales como el logaritmo del determinante, o la ganancia continua de información.

Se determina entonces en el paso 616 si el valor para el criterio calculado es menor que (o mayor que) un umbral. Si el valor del criterio calculado es menor que el umbral, entonces esto indica que una expansión adicional del árbol no proporciona un beneficio significativo. Esto conduce a árboles asimétricos que paran de crecer de manera natural cuando ningún nodo adicional resulta beneficioso. En tales casos, se establece en el paso 618 el nodo actual como un nodo terminal. De manera similar, se determina la profundidad actual del árbol (es decir, cuántos niveles de nodos existen entre el nodo raíz y el nodo actual). Si resulta ser mayor que un valor máximo predeterminado, entonces se establece en el paso 618 el nodo actual como un nodo terminal. Cada nodo terminal tiene predicciones de coordenadas de escena que se acumulan en el nodo terminal durante el proceso de entrenamiento tal como se describe posteriormente.

También resulta posible utilizar otro criterio de detención en combinación con aquellos ya mencionados. Por ejemplo, evaluar el número de elementos de imagen de ejemplo que alcanzan un nodo terminal. Si el número de ejemplos es demasiado reducido (en comparación con un umbral, por ejemplo), entonces puede disponerse que el proceso se detenga para evitar sobreajuste. Sin embargo, no resulta esencial utilizar este criterio de detención.

Si el valor del criterio calculado es mayor que o igual que el umbral, y la profundidad del árbol es menor que el valor máximo, entonces se establece en el paso 620 el nodo actual como un nodo de decisión. Puesto que el nodo actual es un nodo de decisión, poseerá nodos hijo, y el proceso se desplaza entonces a entrenar a esos nodos hijo. Cada nodo hijo es entrenado utilizando un subconjunto de los elementos de imagen de entrenamiento en el nodo actual. El subconjunto de elementos de imagen enviados a un nodo hijo se determina utilizando los parámetros que optimizaron el criterio. Estos parámetros se utilizan en el test binario, y se lleva a cabo en el paso 622 el test binario en todos los elementos de imagen en el nodo actual. Los elementos de imagen que pasan el test binario forman un primer subconjunto enviado a un primer nodo hijo, y los elementos de imagen que no pasan el test binario forman un segundo subconjunto enviado a un segundo nodo hijo.

Para cada uno de los nodos hijo, los procesos tal como se delinean en los bloques 610 a 622 de la FIG. 6 se ejecutan en el paso 624 de manera recursiva para el subconjunto de elementos de imagen dirigidos al nodo hijo respectivo. En otras palabras, para cada nodo hijo, en el paso 610 se generan nuevos parámetros de test aleatorios, en el paso 612 se aplican al subconjunto de elementos de imagen respectivo, en el paso 614 se seleccionan parámetros que optimizan el criterio, y el paso 616 se determina el tipo de nodo (de decisión o terminal). Si se trata de un nodo terminal, entonces termina la ramificación de recurrencia actual. Si se trata de un nodo de decisión, en el paso 622 se llevan a cabo test binarios para determinar subconjuntos de elementos de imagen adicionales y comienza otra ramificación de recurrencia. Por lo tanto, este proceso se mueve de manera recursiva a través del árbol, entrenando a cada nodo hasta que se alcanzan nodos terminales en cada rama. Cuando se alcanzan nodos terminales, el proceso espera en el paso 626 hasta que los nodos de todas las ramas hayan sido entrenados. Nótese que, en otros ejemplos, puede conseguirse la misma funcionalidad utilizando técnicas alternativas de recursividad.

Una vez que todos los nodos en el árbol han sido entrenados para determinar los parámetros para el test binario optimizando el criterio en cada nodo de decisión, y una vez que los nodos terminales han sido seleccionados para terminar cada rama, entonces en el paso 628 pueden acumularse las coordenadas de escena en los nodos terminales del árbol. Esta es la etapa de entrenamiento y por lo tanto elementos de imagen particulares que alcanzan un nodo terminal dado poseen coordenadas de escena específicas conocidas a partir de los datos de entrenamiento de validación de terreno. Puede almacenarse en el paso 630 una representación de las coordenadas de escena utilizando varios métodos diferentes. Por ejemplo, mediante la agregación de las coordenadas de escena o mediante el almacenamiento de estadísticos que representan la distribución de las coordenadas de escena.

En algunas realizaciones, se ajusta una distribución multimodal a las coordenadas de escena acumuladas. Ejemplos de ajuste de una distribución multimodal incluyen el uso de maximización esperada (tal como ajuste de un modelo de mezcla Gaussiana); el uso de detección de modos mediante desplazamiento de media; el uso de cualquier proceso de agrupamiento apropiado tal como agrupamiento k-medias, agrupamiento por aglomeración u otros procesos de agrupamiento. Se almacenan entonces características de las agrupaciones o de las distribuciones multimodales en lugar de almacenar las coordenadas de escena individuales. En algunos ejemplos, pueden almacenarse un puñado de las muestras de las coordenadas de escena individuales.

También puede almacenarse un peso para cada agrupación o modo. Un ejemplo, se utiliza un algoritmo de detección de modos mediante desplazamiento de media y el número de coordenadas de escena que alcanzan un modo particular puede utilizarse como un peso para ese modo. La detección de modos mediante desplazamiento de media es un algoritmo que detecta de manera eficiente los modos (picos) en una distribución definida por un estimador de densidad de ventana de Parzen. En otro ejemplo, la densidad tal como se define por un estimador de densidad de ventana de Parzen puede utilizarse como un peso. Un estimador de densidad de ventana de Parzen (también conocido como un estimador de densidad de kernel) es un proceso no paramétrico para estimar una función de densidad de probabilidad, en este caso de las coordenadas de escena acumuladas. Un estimador de densidad de ventana de Parzen toma un parámetro de ancho de banda que puede ser considerado como un parámetro que controla un grado de suavizado.

En un ejemplo, se toma una sub-muestra de los elementos de imagen de entrenamiento que alcanzan un nodo terminal y se introduce en un proceso de detección de modos mediante desplazamiento de media. Esto agrupa las coordenadas de escena en un pequeño conjunto de modos. Uno de estos modos, o más de uno, puede almacenarse, por ejemplo, de acuerdo con el número de ejemplos asignados a cada modo.

Una vez que las coordenadas de escena acumuladas se han almacenado, se determina en el paso 632 si están presentes más árboles en el bosque de decisión. Si es así, entonces se selecciona el siguiente árbol en el bosque de decisión, y se repite el proceso. Si se han entrenado todos los árboles en el bosque, y no queda ningún otro, entonces se ha completado el proceso de entrenamiento y se termina el proceso en el paso 634.

Por lo tanto, como resultado del proceso de entrenamiento, se entrenan un árbol de decisión o más de uno utilizando imágenes de entrenamiento empíricas. Cada árbol comprende una pluralidad de nodos de decisión que almacenan parámetros de test optimizados, y una pluralidad de nodos terminales que almacenan coordenadas de escena asociadas o representaciones de coordenadas de escena agregadas. Debido a la generación aleatoria de parámetros a partir de un subconjunto limitado utilizado en cada nodo, y al posible conjunto sub-muestreado de datos de entrenamiento utilizados en cada árbol, los árboles del bosque son distintos (es decir, diferentes) entre sí.

El proceso de entrenamiento puede llevarse a cabo antes de utilizar el sistema de predicción entrenado para identificar coordenadas de escena para elementos de imagen de imágenes de profundidad o imágenes RGB de una escena conocida o más de una. El bosque de decisión y los parámetros de test optimizados pueden almacenarse en un dispositivo de almacenamiento para ser utilizados en la identificación de coordenadas de escena de elementos de imagen en un tiempo posterior.

La FIG. 7 ilustra un diagrama de flujo de un proceso para predecir coordenadas de escena en una imagen no vista con anterioridad (una imagen de profundidad, una imagen RGB, o una pareja de imágenes de profundidad y RGB rectificadas) utilizando un bosque de decisión que ha sido entrenado tal como se describió haciendo referencia a la FIG. 6. En primer lugar, en el paso 700 se recibe una imagen no vista. Se hace referencia a una imagen como "no vista” para distinguirla de una imagen de entrenamiento que tiene ya especificadas las coordenadas de escena.

Se selecciona en el paso 702 un elemento de imagen de la imagen no vista. También se selecciona en el paso 704 un árbol de decisión entrenado del bosque de decisión. El elemento de imagen seleccionado se hace pasar en el paso 706 a través del árbol de decisión seleccionado, de tal manera que es testeado contra los parámetros entrenados en un nodo, y a continuación pasa al nodo hijo apropiado dependiendo del resultado del test, y el proceso se repite hasta que el elemento de imagen alcanza un nodo terminal. Una vez que el elemento de imagen alcanza un nodo terminal, se almacenan en el paso 708 las coordenadas de escena acumuladas (provenientes de la etapa de entrenamiento) asociadas con este nodo terminal para este elemento de imagen. En un ejemplo en el que el nodo terminal almacena un modo o más de uno de una distribución de coordenadas de escena, uno de estos modos, o más de uno, se almacenan para este elemento de imagen.

Si en el paso 710 se determina que hay más árboles de decisión en el bosque, entonces se selecciona en el paso 704 un nuevo árbol de decisión, el elemento de imagen se hace pasar en el paso 706 a través del árbol y se almacenan en el paso 708 las coordenadas de escena acumuladas. Esto se repite hasta que se haya llevado a cabo para todos los árboles de decisión en el bosque. La predicción final del bosque para un elemento de imagen puede ser un agregado de las coordenadas de escena obtenidas en los nodos terminales que se encuentran en cada árbol. Cuando un modo o más de uno de una distribución de coordenadas de escena se almacenan en los nodos terminales, la predicción final del bosque puede ser una unión de los modos de los nodos terminales que se encuentran en cada árbol. Nótese que el proceso para hacer pasar un elemento de imagen a través de la pluralidad de árboles en el bosque de decisión también puede llevarse a cabo en paralelo, en lugar de hacerlo en secuencia como se muestra en la FIG. 7.

Se determina entonces en el paso 712 si deben ser evaluados elementos de imagen no analizados adicionales, y si es así se selecciona otro elemento de imagen y se repite el proceso. El motor de inferencia de pose de cámara puede estar dispuesto para determinar si deben ser evaluados elementos de imagen no analizados adicionales tal como se describirá a continuación haciendo referencia a la FIG. 8.

La FIG. 8 es un diagrama de flujo de un método en un motor de inferencia de pose de cámara para utilizar parejas de coordenadas de escena - elemento de imagen para inferir la pose de cámara. Tal como se mencionó anteriormente, el motor de inferencia de pose de cámara puede utilizar una estrategia de optimización de energía para encontrar una pose de cámara que constituya un buen ajuste a una pluralidad de parejas de elemento de imagen - coordenadas de escena predichas por el bosque de decisión de coordenadas de escena. En el caso de que se utilicen imágenes de profundidad, o imágenes de profundidad junto con imágenes RGB, una función de energía a modo de ejemplo podría ser:

donde i e I es un índice de elemento de imagen; p es una función de error robusta; m e Mi representa el conjunto de modos (localizaciones tridimensionales en el espacio del universo de la escena) predicho por los árboles en el bosque para el elemento pi de imagen; y xi son las coordenadas tridimensionales en el espacio de la cámara que corresponden al píxel pi que pueden obtenerse mediante retroproyección de los elementos de imagen de profundidad. Puede considerarse que la función de energía cuenta el número de valores atípicos (outliers) para una determinada hipótesis H de cámara. La anotación anterior utiliza coordenadas tridimensionales homogéneas.

En el caso de que se utilicen imágenes RGB sin imágenes de profundidad, la función de energía puede ser modificada del siguiente modo:

E ( H ) = Yi ígi p ( ™ in m £ M i \\7T( K H ~ 1m — p¿ )||2) = I i iG1ei ( H )

donde p es una función de error robusta, n proyecta coordenadas de imagen tridimensionales a bidimensionales, K es una matriz que codifica los parámetros intrínsecos de la cámara, y p es la coordenada del elemento de imagen bidimensional.

Nótese que, en las expresiones anteriores, E, p y ei pueden distinguirse con diferentes superíndices tales como RGB/profundidad.

Con el fin de optimizar la función de energía, puede utilizarse un proceso iterativo para buscar buenos candidatos a pose de cámara entre un conjunto de posibles candidatos a pose de cámara. Se toman muestras de parejas de elemento de imagen - coordenadas de escena y se utilizan para evaluar los candidatos a pose de cámara. Los candidatos a pose de cámara pueden refinarse o actualizarse utilizando un subconjunto de las parejas de elemento de imagen - coordenadas de escena. Utilizando muestras de parejas elemento de imagen - coordenadas de escena en lugar de utilizar cada pareja de elemento de imagen - coordenadas de escena a partir de una imagen, el tiempo de computación se reduce sin pérdida de precisión.

Se describirá a continuación, haciendo referencia a la FIG. 8, un proceso iterativo a modo de ejemplo que puede utilizarse en el motor de inferencia de pose de cámara. Se genera en el paso 800 un conjunto de hipótesis o candidatos a pose de cámara inicial mediante la selección realizada en el paso 802, para cada candidato a pose de cámara, de tres elementos de imagen de la imagen de entrada (que puede ser una imagen de profundidad, una imagen RGB o una pareja de imágenes de profundidad y RGB rectificadas). La selección puede ser aleatoria o puede tener en cuenta el ruido o la ausencia de valores en la imagen de entrada. También resulta posible elegir parejas en las que las coordenadas de escena tienen mayor certeza cuando el bosque proporciona información sobre certeza. En algunos ejemplos, puede imponerse una distancia de separación mínima entre los elementos de imagen con el fin de mejorar la precisión. Se hace pasar cada elemento de imagen a través del bosque de decisión de coordenadas de escena entrenado para obtener tres coordenadas de escena. Las tres parejas de elementos de imagen - coordenadas de escena se utilizan para calcular en el paso 804 una pose de cámara utilizando cualquier método apropiado tal como el algoritmo Kabsch, también conocido como alineación de Procrustes ortogonal, que utiliza una descomposición en valores singulares para calcular la hipótesis de pose de cámara. En algunos ejemplos, el conjunto de candidatos iniciales a pose de cámara puede incluir en el paso 820 una pose de cámara o más de una de fotogramas previos cuando está disponible una secuencia de imágenes. También puede incluir una predicción de pose de cámara llevada a cabo a partir del conocimiento del camino seguido por la cámara.

Para cada hipótesis de pose de cámara, se calculan en el paso 806 algunos valores típicos (inliers) o valores atípicos (outliers). Los valores típicos y los valores atípicos son parejas de elementos de imagen - coordenadas de escena que se clasifican bien como consistentes con una hipótesis de pose de cámara o bien como no consistentes. Para calcular valores típicos y valores atípicos, se muestrea en el paso 808 un lote B de elementos de imagen de la imagen de entrada y se aplican al bosque entrenado para obtener coordenadas de escena. El muestreo puede ser aleatorio o puede tener en cuenta el ruido o la ausencia de valores en la imagen de entrada. Cada pareja de elemento de imagen - coordenadas de escena puede clasificarse en el paso 810 como un valor típico o un valor atípico de acuerdo con cada una de las hipótesis de pose de cámara. Por ejemplo, comparando las coordenadas de escena establecidas por el bosque para el elemento de imagen y las coordenadas de escena establecidas por la hipótesis de pose de cámara para el elemento de imagen.

De manera opcional, puede descartarse en el paso 812 una de las hipótesis de pose de cámara o más de una sobre la base del número relativo de valores típicos (o valores atípicos) asociados con cada hipótesis, o sobre la base de un orden jerárquico de número de valores atípicos con las otras hipótesis. En varios ejemplos, la jerarquización o selección de hipótesis puede conseguirse contando cuántos valores atípicos tiene cada hipótesis de pose de cámara. Las hipótesis de pose de cámara con menor número de valores atípicos tienen una mayor energía de acuerdo con la función de energía descrita anteriormente.

De manera opcional, las hipótesis de pose de cámara restantes pueden refinarse en el paso 814 utilizando los valores típicos asociados con cada pose de cámara para recalcular esa pose de cámara (utilizando el algoritmo de Kabsch mencionado anteriormente). En aras de la eficiencia, el proceso puede almacenar y actualizar las matrices de covarianza y las medias utilizadas por la descomposición en valores singulares.

El proceso puede repetirse en el paso 816 muestreando otro lote B de elementos de imagen, y así sucesivamente, hasta que quede una pose de cámara o un número especificado de ellas, o de acuerdo con otros criterios (tal como el número de iteraciones).

El motor de inferencia de pose de cámara es capaz de generar una estimación de pose de cámara precisa con frecuencias interactivas. Esto se consigue sin necesidad de calcular un modelo tridimensional explícito de la escena. Puede pensarse en un modelo tridimensional de la escena como un modelo codificado implícitamente en el bosque de decisión aleatorio entrenado. Puesto que el bosque se ha entrenado para trabajar con cualquier elemento de imagen válido, resulta posible muestrear elementos de imagen durante el tiempo de test. El muestreo evita la necesidad de calcular puntos de interés y también el coste de una evaluación muy densa del bosque.

La FIG. 9 es un diagrama esquemático del estimador de pose de cámara de la FIG. 1 en el que está disponible un modelo 902 tridimensional de la escena. Por ejemplo, el modelo tridimensional puede ser un modelo CAD o puede ser una reconstrucción densa de la escena construida a partir de imágenes de profundidad de la escena, tal como se describe en la solicitud de patente de EE. UU. N° US20120194516 “Reconstrucción de entorno tridimensional” (“ Three-Dimensional Environment Reconstruction") a favor de Newcombe, Richard y otros publicada el 2 de agosto de 2012. Puede llevarse a cabo un proceso 900 de refinado de pose para mejorar la precisión de la pose 120 de cámara. El proceso 900 de refinado de pose puede ser un refinamiento iterativo de pose por punto más cercano tal como se describe en la solicitud de patente de EE. UU. N° US20120196679 “Seguimiento de cámara en tiempo real utilizando mapas de profundidad” (“Real-time camera tracking using depth maps") a favor de Newcombe, Richard y otros publicada el 2 de agosto de 2012. En otro ejemplo, el proceso 900 de refinado de pose puede buscar la alineación de observaciones de profundidad tomadas por la cámara móvil con superficies del modelo tridimensional de la escena con el fin de encontrar una posición y una orientación de la cámara actualizadas que facilite la alineación. Esto se describe en la solicitud de patente de EE. UU. número de serie 13/749497 presentada el 24 de enero de 2013 titulada “estimación de pose de cámara para reconstrucción tridimensional” (“Camera pose estimation for 3D reconstruction") a favor de Sharp y otros.

El ejemplo mostrado en la FIG. 9 tiene un estimador de pose de cámara con un bosque de decisión aleatorio entrenado en lugar de una pluralidad de bosques de decisión aleatorios entrenados como en la FIG. 1. Esto pretende ilustrar que un único bosque puede encapsular una pluralidad de escenas si se entrena el único bosque utilizando datos de entrenamiento de esas escenas. Los datos de entrenamiento comprenden coordenadas de escena para elementos de imagen y también etiquetas para elementos de imagen que identifican una escena particular. Cada sub-escena puede dotarse de una sub-región tridimensional del espacio completo de coordenadas universales tridimensionales y el bosque puede entonces entrenarse tal como se describió anteriormente. La salida del estimador de pose de cámara puede comprender una escena y una pose de cámara estimada de tal manera que el estimador de pose de cámara también es capaz de llevar a cabo reconocimiento de escena. Esto permite que el estimador de pose de cámara envíe datos a un sistema posterior identificando en qué escena de la pluralidad de escenas posibles está la cámara.

La FIG. 10 ilustra varios componentes de un dispositivo 1004 basado en ordenador a modo de ejemplo que puede implementarse como una forma cualquiera de un dispositivo de computación y/o electrónico, y en el cual pueden implementarse realizaciones de un estimador de pose de cámara o de un estimador de pose de objeto.

El dispositivo 1004 basado en ordenador comprende una interfaz 1002 de entrada o más de una dispuestas para recibir y procesar entradas provenientes de un dispositivo o más de uno, tal como un dispositivo de entrada de usuario (por ejemplo, un dispositivo 1008 de captura, un controlador 1005 de juegos, un teclado 1006, un ratón 1007). Esta entrada de usuario puede utilizarse para controlar aplicaciones de software, estimadores de pose de cámara o estimadores de pose de objeto. Por ejemplo, un dispositivo 1008 de captura puede ser una cámara móvil de profundidad dispuesta para capturar mapas de profundidad de una escena. También puede ser una cámara de profundidad fija dispuesta para capturar mapas de profundidad de un objeto. En otro ejemplo, el dispositivo 1008 de captura comprende tanto una cámara de profundidad como una cámara RGB. El dispositivo 1004 basado en ordenador puede estar dispuesto para proporcionar estimación de pose de cámara o de objeto a frecuencias interactivas.

El dispositivo 1004 basado en ordenador también comprende una interfaz 1010 de salida dispuesta para entregar información de visualización a un dispositivo 1009 de visualización que puede estar separado de o estar integrado en el dispositivo 1004 de computación. La información de visualización puede proporcionar una interfaz gráfica de usuario. En un ejemplo, el dispositivo 1009 de visualización también puede actuar como el dispositivo de entrada de usuario si se trata de un dispositivo de visualización sensible al tacto. La interfaz 1010 de salida también puede entregar datos a dispositivos diferentes del dispositivo de visualización, como, por ejemplo, a un dispositivo de impresión conectado de manera local.

En algunos ejemplos, los dispositivos 1005, 1007, 1008, 1009 pueden detectar entrada de voz, gestos de usuario u otras acciones de usuario y pueden proporcionar una interfaz natural de usuario (NUI, Natural User Interface). Esta entrada de usuario puede utilizarse para controlar un juego u otra aplicación. La interfaz 1010 de salida también puede entregar datos a dispositivos diferentes del dispositivo de visualización, como, por ejemplo, un dispositivo de impresión conectado de manera local.

La interfaz 1002 de entrada, la interfaz 1010 de salida, el dispositivo 1009 de visualización y opcionalmente los dispositivos 1005, 1007, 1008, 1009 de entrada de usuario pueden comprender tecnología n U i que permite a un usuario interactuar con el dispositivo basado en ordenador de una manera natural, libre de restricciones artificiales impuestas por dispositivos de entrada tales como ratones, teclados, mandos a distancia y dispositivos similares. Ejemplos de tecnología NUI que pueden proporcionarse incluyen, pero no están limitados a, aquellas que se basan en reconocimiento de voz y/o de habla, de tacto y/o lápiz electrónico (en pantallas de visualización táctiles), de gestos tanto en pantalla como en alguna ubicación adyacente a la pantalla, de gestos aéreos, de seguimiento de cabeza y ojo, de voz y habla, de visión, de tacto, de gestos, y de inteligencia de máquina. Otros ejemplos de tecnología NUI que puede utilizarse incluyen sistemas de comprensión de intención y objetivo, sistemas de detección de gestos de movimiento que utilizan cámaras de profundidad (tales como sistemas de cámara estereoscópica, sistemas de cámara infrarroja, sistemas de cámara RGB y combinaciones de los mismos), sistemas de detección de gestos de movimiento que utilizan acelerómetros/giróscopos, reconocimiento facial, pantallas de visualización tridimensional, seguimiento de cabeza, ojo y mirada, sistemas de realidad aumentada inmersiva y de realidad virtual y tecnologías para detectar actividad cerebral que utilizan electrodos de detección de campo eléctrico (EEG y métodos relacionados).

Pueden proporcionarse instrucciones ejecutables por ordenador utilizando cualquier medio legible por un ordenador al que pueda acceder el dispositivo 1004 basado en ordenador. Los medios legibles por un ordenador pueden incluir, por ejemplo, medios de almacenamiento computacional tales como una memoria 1012 y medios de comunicación. Los medios de almacenamiento computacional, tales como la memoria 1012, incluyen medios volátiles y no volátiles, retirables y no retirables, implementados mediante cualquier método o tecnología para el almacenamiento de información tal como instrucciones legibles por un ordenador, estructuras de datos, módulos de programa u otros datos. Los medios de almacenamiento computacional incluyen, pero no están limitados a, memorias RAM, ROM, EPROM, EEPROM, flash u otras tecnologías de memoria, CD-ROM, Disco Versátil Digital (DVD, Digital Versatile Disk) u otros almacenamientos ópticos, casetes magnéticos, cintas magnéticas, almacenamientos en disco magnético u otros dispositivos de almacenamiento magnéticos, u otro medio de no transmisión cualquiera que pueda utilizarse para almacenar información a la que pueda acceder un dispositivo computacional.

Por el contrario, los medios de comunicación pueden incorporar instrucciones legibles por un ordenador, estructuras de datos módulos de programa, u otros datos en una señal de datos modulada, tal como una onda portadora, u otro mecanismo de transporte. Tal como se definen en la presente memoria, los medios de almacenamiento computacional no incluyen medios de comunicación. Por lo tanto, un medio de almacenamiento computacional no debería ser interpretado como una señal que se propaga per se. Las señales que se propagan pueden estar presentes en un medio de almacenamiento computacional, pero las señales que se propagan per se no son ejemplos de medios de almacenamiento computacional. Aunque los medios de almacenamiento computacional (memoria 1012) se muestran dentro del dispositivo 1004 basado en ordenador, se apreciará que el almacenamiento puede estar distribuido o puede ser local en un lugar remoto y se puede acceder a él a través de una red o de otro enlace de comunicación (por ejemplo, utilizando la interfaz 1013 de comunicación).

El dispositivo 1004 basado en ordenador también comprende un procesador 1000 o más de uno que puede estar constituido por microprocesadores, controladores u otro tipo de procesadores apropiados para procesar instrucciones de procesamiento ejecutables por ordenador para controlar el funcionamiento del dispositivo con el fin de proporcionar seguimiento de cámara en tiempo real. En algunos ejemplos, por ejemplo cuando se utiliza arquitectura de “sistema en un chip”, los procesadores 1000 pueden incluir un bloque funcional fijo o más de uno (a los que también se hace referencia como aceleradores) que implementan una parte del método de seguimiento de cámara en tiempo real en hardware (en lugar de en software o en firmware).

Una plataforma software que comprende un sistema 1014 operativo o cualquier otra plataforma de software apropiada puede proporcionarse en el dispositivo basado en ordenador para permitir que la aplicación 1016 de software se ejecute en el dispositivo. Otro software que puede ejecutarse en el dispositivo 1004 de computación comprende: un estimador 1018 de pose de cámara/objeto que comprende un motor de inferencia de pose. También puede proporcionarse un sistema de regresión de máquina de soporte vectorial entrenado y/o un sistema de regresión entrenado basado en procesos Gaussianos. Se proporciona un almacenamiento 1020 de datos para almacenar datos tales como imágenes recibidas con anterioridad, estimaciones de pose de cámara, estimaciones de pose de objeto, parámetros de registro de bosques de decisión aleatorios entrenados, parámetros de usuario configurables, otros parámetros, modelos tridimensionales de escenas, información del estado de juegos, metadatos de juegos, datos de mapas y otros datos.

El término “ordenador” o “dispositivo basado en ordenador” o “dispositivo de computación” se utiliza en la presente memoria para hacer referencia a cualquier dispositivo con capacidad de procesamiento de tal manera que pueda ejecutar instrucciones. Aquellas personas expertas en la técnica comprenderán que dichas capacidades de procesamiento están incorporadas en muchos dispositivos diferentes y, por lo tanto, los términos “ordenador” y “dispositivo basado en ordenador” o “dispositivo de computación” incluyen, cada uno de ellos, PCs, servidores, teléfonos móviles (incluyendo teléfonos móviles inteligentes), tabletas, módulos de conexión, reproductores multimedia, consolas de juegos, asistentes digitales personales y muchos otros dispositivos.

Los métodos descritos en la presente memoria pueden llevarse a cabo mediante software en forma legible por una máquina en un medio de almacenamiento tangible, como, por ejemplo, en forma de un programa computacional que comprende un medio de código de programa computacional adaptado para llevar a cabo todos los pasos de cualquiera de los métodos descritos en la presente memoria cuando se hace funcionar el programa en un ordenador y en donde el programa computacional puede estar incorporado en un medio legible por ordenador. Ejemplos de medios de almacenamiento tangibles incluyen dispositivos de almacenamiento computacional que comprenden medios legibles por un ordenador tales como discos, llaves USB, memorias, etc., y no incluyen señales propagadas. Las señales propagadas pueden estar presentes en un medio de almacenamiento tangible, pero las señales propagadas per se no son ejemplos de medios de almacenamiento tangibles. El software puede ser apropiado para ser ejecutado en un procesador paralelo o en un procesador serie de tal manera que los pasos del método pueden llevarse a cabo en cualquier orden apropiado, o de manera simultánea.

Esto reconoce que el software puede constituir una mercancía valiosa, comercializare de manera separada. Se pretende incluir el software, que se ejecuta en hardware estándar o “no inteligente” o lo controla, para llevar a cabo las funciones deseadas. También se pretende incluir el software que “describe” o define la configuración del hardware, tal como software HDL (Lenguaje de Descripción de Hardware, Hardware Description Language), tal como se utiliza para diseñar chips de silicio, o para configurar chips programables universalmente, para llevar a cabo funciones deseadas.

Aquellas personas expertas en la técnica apreciarán que los dispositivos de almacenamiento utilizados para almacenar instrucciones de programa pueden estar distribuidos a lo largo de una red. Por ejemplo, un ordenador remoto puede almacenar un ejemplo del proceso descrito como software. Un ordenador local o terminal puede acceder al ordenador remoto y descargar todo el software o una parte del mismo para hacer funcionar un programa. De manera alternativa, el ordenador local puede descargar piezas del software tal como se necesite, o ejecutar algunas instrucciones de software en el terminal local y algunas otras en el ordenador remoto (o en la red de ordenadores). Aquellas personas expertas en la técnica también comprenderán que, al utilizar técnicas convencionales conocidas por aquellas personas expertas en la técnica, todas las instrucciones de software, o una parte de las mismas, pueden ejecutarse mediante un circuito dedicado, tal como un DSP, un dispositivo lógico programable, o un dispositivo similar.

Cualquier intervalo o valor de dispositivo ofrecido en la presente memoria puede extenderse o alterarse sin perder el efecto buscado, tal como apreciará la persona experta.

Aunque la materia de la invención se ha descrito en un lenguaje específico correspondiente a características estructurales y/o actos metodológicos, debe entenderse que la materia de la invención definida en las reivindicaciones anexas no está limitada necesariamente a las características o actos específicos descritos anteriormente. Por el contrario, las características y los actos específicos descritos anteriormente se describen como formas de ejemplo de implementación de las reivindicaciones.

Debe comprenderse que los beneficios y las ventajas descritas anteriormente pueden estar relacionadas con una realización o pueden estar relacionadas con varias realizaciones. Las realizaciones no están limitadas a aquellas que resuelven todos los problemas presentados o algunos de ellos o a aquellas que presentan todos los beneficios y ventajas o algunos de ellos. Se comprenderá adicionalmente que una referencia a “un” elemento hace referencia a uno de esos elementos o a más de uno.

Los pasos de los métodos descritos en la presente memoria pueden llevarse a cabo en cualquier orden apropiado, o de manera simultánea cuando resulte apropiado. Adicionalmente, pueden eliminarse bloques individuales de cualquiera de los métodos sin apartarse del espíritu y del alcance de la materia de la invención descrita en la presente memoria. Pueden combinarse aspectos de cualquiera de los ejemplos descritos anteriormente con aspectos de cualesquiera de los otros ejemplos descritos para formar ejemplos adicionales sin perder el efecto buscado.

El término “comprende” se utiliza en la presente memoria para significar la inclusión de los bloques o elementos de métodos identificados, pero tales bloques o elementos no comprenden una lista exclusiva y un método o un aparato puede contener bloques o elementos adicionales.

Se comprenderá que la descripción anterior se ofrece a modo de ejemplo solamente y que pueden llevarse a cabo diversas modificaciones por parte de aquellas personas expertas en la técnica. La especificación, los ejemplos y los datos anteriores proporcionan una descripción completa de la estructura y el uso de realizaciones a modo de ejemplo. Aunque se han descrito varias realizaciones con un cierto grado de particularidad, o haciendo referencia a una realización individual o a más de una, aquellas personas expertas en la técnica pueden llevar a cabo numerosas alteraciones en las realizaciones descritas sin separarse del espíritu o del alcance de este documento.

Claims (12)

REIVINDICACIONES

1. - Un método para calcular pose que comprende:

recibir, en un procesador, al menos una imagen (118), en donde la imagen (118): bien corresponde a un objeto y está capturada por una cámara fija, o bien corresponde a una escena capturada por una cámara (112) móvil en la escena (116);

utilizar el procesador para hacer pasar los elementos de imagen de la al menos una imagen (118) seleccionados de manera aleatoria a través de un sistema de aprendizaje automático entrenado, que comprende un árbol de decisión o más de uno en donde cada uno de ellos posee un nodo raíz, una pluralidad de nodos de decisión y una pluralidad de nodos terminales, en donde cada elemento de imagen seleccionado es hecho pasar desde el nodo raíz hasta un nodo terminal en un proceso en el que se toma una decisión en cada nodo de decisión de acuerdo con características del elemento de imagen seleccionado y características de elementos de imagen de test de la imagen desplazados del elemento de imagen seleccionado mediante desplazamientos (offsets) espaciales especificados por parámetros en el nodo de decisión, para obtener, desde los nodos terminales alcanzados por los elementos de imagen seleccionados, una pluralidad de asociaciones entre los elementos de imagen seleccionados y puntos bien en coordenadas de entidad o bien en coordenadas de escena, en donde las coordenadas de entidad son coordenadas de objeto o coordenadas de cámara móvil, en donde el sistema de aprendizaje automático ha sido entrenado utilizando imágenes con elementos de imagen individuales etiquetados bien con un punto expresado en coordenadas de escena o bien con un punto expresado en coordenadas de objeto; y

calcular la pose del objeto o de la cámara móvil a partir de las asociaciones mediante la optimización de una función de energía utilizando un proceso iterativo para buscar entre posibles candidatos a pose de cámara, en donde un candidato a pose de cámara se calcula a partir de al menos dos de las asociaciones.

2. - Un método tal como se reivindica en la reivindicación 1, en donde el sistema de aprendizaje automático ha sido entrenado utilizando imágenes en las que cada elemento de imagen individual está etiquetado.

3. - Un método tal como se reivindica en la reivindicación 1, en donde la pose de la cámara se calcula utilizando la al menos una imagen (118) capturada por la cámara móvil.

4. - Un método tal como se reivindica en la reivindicación 1, en donde la pose del objeto se calcula utilizando la al menos una imagen (118) capturada por una cámara fija.

5. - Un método tal como se reivindica en la reivindicación 3 o en la reivindicación 4, que comprende calcular las poses como parámetros que tienen seis grados de libertad, tres que indican la rotación del objeto o de la cámara móvil y tres que indican la posición del objeto o de la cámara móvil.

6. - Un método tal como se reivindica en la reivindicación 1, en donde el sistema de aprendizaje automático comprende una pluralidad de bosques aleatorios entrenados y el método comprende aplicar el elemento de imagen de la al menos una imagen (118) a la pluralidad de bosques aleatorios entrenados, en donde cada bosque aleatorio ha sido entrenado utilizando imágenes de una escena diferente de una pluralidad de escenas, y calcular en cuál de las escenas estaba la cámara (112) móvil cuando se capturó la al menos una imagen.

7. - Un método tal como se reivindica en la reivindicación 1, en donde el sistema de aprendizaje automático ha sido entrenado utilizando imágenes de una pluralidad de escenas con elementos de imagen etiquetados con identificadores de escena y etiquetados con coordenadas de escena de puntos en la escena que representan los elementos de imagen.

8. - Un método tal como se reivindica en la reivindicación 1, que comprende aplicar solamente una sub-muestra de los elementos de imagen de la al menos una imagen (118) al sistema de aprendizaje automático entrenado.

9. - Un método tal como se reivindica en la reivindicación 1, que comprende calcular la pose mediante la búsqueda en un conjunto de posibles candidatos a pose y utilizar muestras de asociaciones entre elementos de imagen y puntos para evaluar los candidatos a pose.

10. - Un estimador (100) de pose que comprende:

un procesador dispuesto para recibir al menos una imagen (118) bien de un objeto capturado por una cámara fija, o bien de una escena (116) capturada por una cámara (112) móvil;

en donde el procesador está dispuesto para aplicar elementos de imagen seleccionados de manera aleatoria de la al menos una imagen (118) a un sistema de aprendizaje automático entrenado, que comprende un árbol de decisión o más de uno, en donde cada uno de ellos posee un nodo raíz, una pluralidad de nodos de decisión y una pluralidad de nodos terminales, en donde cada elemento de imagen seleccionado es hecho pasar desde el nodo raíz hasta un nodo terminal en un proceso en el que se toma una decisión en cada nodo de decisión de acuerdo con características del elemento de imagen seleccionado y características de elementos de imagen de test de la imagen desplazados del elemento de imagen seleccionado mediante desplazamientos (offsets) espaciales especificados por parámetros en el nodo de decisión, para obtener, desde los nodos terminales alcanzados por los elementos de imagen seleccionados, una pluralidad de asociaciones entre los elementos de imagen seleccionados y puntos bien en coordenadas de entidad o bien en coordenadas de escena, en donde las coordenadas de entidad son coordenadas de objeto o coordenadas de cámara móvil, en donde el sistema de aprendizaje automático ha sido entrenado utilizando imágenes con elementos de imagen individuales etiquetados bien con un punto expresado en coordenadas de escena o bien con un punto expresado en coordenadas de objeto; y

un motor de inferencia de pose dispuesto para calcular una posición y una orientación bien del objeto o bien de la cámara (112) móvil a partir de las asociaciones mediante la optimización de una función de energía utilizando un proceso iterativo para buscar entre posibles candidatos a pose de cámara, en donde un candidato a pose de cámara se calcula a partir de al menos dos de las asociaciones.

11. - Un estimador (100) de pose tal como se reivindica en la reivindicación 10, en donde el procesador está dispuesto para aplicar solamente una sub-muestra de los elementos de imagen de la al menos una imagen (118) al sistema de aprendizaje automático entrenado.

12. - Un programa de ordenador que comprende instrucciones que, cuando se ejecutan en un ordenador, implementan el método de una cualquiera de las reivindicaciones 1 a 9.