ES2553258T3 - Método para la estimación de una pose de un modelo de objeto articulado - Google Patents

Abstract

Un método implementado por ordenador para la estimación de una pose de un modelo de objeto articulado (4), en el que el modelo de objeto articulado (4) es un modelo en 3D basado en ordenador (1) de un objeto del mundo real (14) observado por una o más cámaras de origen (9), y el modelo de objeto articulado (4) representa una pluralidad de articulaciones (2) y de enlaces (3) que enlazan las articulaciones (2), y en el que la pose del modelo de objeto articulado (4) está definido por la localización espacial de las articulaciones (2), el método comprende los pasos de - obtener por lo menos una imagen de origen (10) desde una corriente de vídeo que comprende una vista del objeto del mundo real (14) grabada por una cámara de origen (9); - procesar la por lo menos una imagen de origen (10) para extraer un segmento de imagen de origen correspondiente (13) que comprende la vista del objeto del mundo real (14) separado del fondo de la imagen; - mantener, en una base de datos en forma legible por ordenador, un conjunto de siluetas de referencia, cada silueta de referencia está asociada con un modelo de objeto articulado (4) y con una pose de referencia particular de este modelo de objeto articulado (4); - comparar el por lo menos un segmento de imagen de origen (13) con las siluetas de referencia y seleccionar un número predeterminado de siluetas de referencia, teniendo en cuenta, para cada silueta de referencia, o un error de coincidencia que indica cuán estrechamente la silueta de referencia coincide con el segmento de imagen de origen (13) y o un error de consistencia que indica cuánto la pose de referencia es consistente con la pose del mismo objeto del mundo real (14) de acuerdo con lo estimado a partir de por lo menos una de imágenes de origen precedentes y siguientes (10) de la corriente de vídeo; - recuperar de las poses de referencia de los modelos de objeto articulado (4) asociadas con la seleccionada de las siluetas de referencia; y - calcular una estimación de la pose del modelo de objeto articulado (4) a partir de las poses de referencia de las siluetas de referencia seleccionadas.

Description

imagen1

imagen2

imagen3

imagen4

imagen5

imagen6

imagen7

5

10

15

20

25

30

35

complejas y técnicas de reconstrucción de vista múltiple. Los resultados demuestran la flexibilidad y la solidez del enfoque con vídeos de punto de vista libre de alta calidad generados a partir de imágenes de difusión de entornos no controlados desafiantes.

Observación general con respecto a la terminología: la expresión "A está asociada con B" significa que hay una asignación, o, en otras palabras, una relación entre A y B. La relación puede ser una relación de uno a uno, de uno a muchos o de muchos a muchos.

Un producto de programa de ordenador para la estimación de una pose de un modelo de objeto articulado de acuerdo con la invención se puede cargar en una memoria interna de un ordenador digital o un sistema de ordenador que comprende una memoria de ordenador y una unidad de procesamiento acoplada a la memoria de ordenador, y comprende un código de programa de ordenador significa, es decir, instrucciones legibles por ordenador, para hacer, cuando dicho medio de código de programa de ordenador es cargado en el ordenador, el ordenador ejecuta el método de acuerdo con la invención. En una realización preferida de la invención, el producto de programa de ordenador comprende un medio de almacenamiento legible por ordenador, que tiene el medio de código de programa de ordenador grabado en el mismo.

Otras realizaciones preferidas son evidentes a partir de las reivindicaciones dependientes de la patente.

Breve descripción de los dibujos

El objetivo de la invención se explicará con más detalle en el siguiente texto con referencia a realizaciones representativas preferidas que se ilustran en los dibujos adjuntos, en los cuales:

Figura 1 representa en forma esquemática una visión general sobre una escena del mundo real; Figura 2 es un modelo de objeto articulado con superficies de proyección asociadas; Figura 3a es una silueta típica de una imagen segmentada; Figura 3b son tres mejores poses de coincidencia a partir de una base de datos; Figura 3c una pose del esqueleto en 2D estimada a partir de la mejor coincidencia; Figura 4 estimación de articulaciones en 3D a partir de dos imágenes de la cámara; Figura 5a una imagen con posiciones de la articulación (manualmente) corregidas; Figura 5b una adaptación inicial de una plantilla de forma 3D pre-segmentada para una imagen; Figura 5c un ajuste corregido que coincide exactamente con las posiciones de la articulación en 5a; Figura 6a una segmentación inicial de una imagen de un cuerpo, con píxeles seguros derivados de un modelo

de plantilla, y con píxeles limítrofes inseguros; Figura 6b una segmentación después del etiquetado de acuerdo con un modelo de color capacitado; Figura 6c una segmentación final después de la eliminación morfológica de los valores atípicos; Figura 7a carteleras mal alineadas en un ventilador de cartelera; Figura 7b un ventilador de cartelera antes de la optimización de la articulación; Figura 7c el mismo ventilador de cartelera después de la optimización de la articulación; Figura 8a errores de muestreo que provocan grietas entre las carteleras; Figura 8b un artefacto de representación correspondiente; Figura 8c corrección del artefacto de representación; Figura 9a ejemplo de peso de mezcla para dos cámaras de origen; Figura 9b imagen representada sin suavizado; Figura 9c imagen representada con un suavizado de adaptación; Figura 9d discontinuidades donde se ha aplicado el suavizado; y Figura 10 un diagrama de flujo de un método de acuerdo con la invención. Los símbolos de referencia utilizados en los dibujos, y sus significados, se enumeran en forma sintetizada en la lista de símbolos de referencia. En principio, las partes idénticas se proporcionan con los mismos símbolos de referencia en los dibujos.

Descripción detallada de realizaciones preferidas

La Figura 1 muestra en forma esquemática una visión general sobre una escena del mundo real 8, la escena 8 comprende un objeto del mundo real 14 tal como un ser humano, que está siendo observado por dos o más cámaras de origen 9, 9’, cada una de los cuales genera una corriente de vídeo de imágenes de origen 10, 10’. El sistema y el método de acuerdo con la invención genera una imagen virtual 12 que muestra la escena 8 desde un punto de vista de una cámara virtual 11 que es distinto de los puntos de vista de las cámaras de origen 9, 9’. En forma opcional, a partir de una secuencia de imágenes virtuales 12 se genera una corriente de vídeo virtual. Un aparato de acuerdo con la invención comprende una unidad de procesamiento 15 que lleva a cabo los cálculos de procesamiento de imágenes que aplican el método de la invención, dadas las imágenes de origen 10, 10’ y generan una o más imágenes virtuales

12. La unidad de procesamiento 15 está configurada para interactuar con una unidad de almacenamiento 16 para el almacenamiento de imágenes de origen 10, imágenes virtuales 12 y los resultados intermedios. La unidad de procesamiento 15 se controla por medio de una estación de trabajo 19 que en forma típica comprende un dispositivo de visualización, un dispositivo de entrada de datos tales como un teclado y un dispositivo de señalización tal como un ratón. La unidad de procesamiento 15 puede estar configurada para suministrar una corriente de vídeo virtual a un

9

imagen8

imagen9

imagen10

5

10

15

20

25

30

35

automática las partes del cuerpo ocluidas, es robusto incluso para una calidad y resolución de imagen baja, y requiere sólo una pequeña cantidad de interacción de usuario sencilla durante el refinamiento de las posiciones de la articulación.

3. Construcción del Modelo de Cartelera Articulado en 3D

Se utilizan las posiciones de articulaciones en 3D computadas de la Sección 2.1 como una pose inicial de la representación de cartelera articulada final. Si una articulación del modelo de cartelera en 3D articulado no está posicionada de manera óptima, la textura resultante de la representación de todas las carteleras de un ventilador de cartelera no se alineará (véase la Figura 7a). En esta sección, se describe cómo las posiciones de la articulación en 3D se pueden optimizar en base a una medida cuantitativa de la alineación de las texturas de la cartelera.

En lo siguiente, primero se define una función de puntaje para una posición de una articulación en una sola vista y para un par de cámara. Esta función de puntaje se extiende luego a varias vistas y cámaras. Por el uso de esta función de puntaje y las limitaciones antropométricas, se optimiza la pose en 3D del modelo de cartelera articulado. Por último, se describirá una corrección de costura que elimina las discontinuidades de textura entre las carteleras adyacentes.

3.1. Puntaje de Posición

Para calificar la calidad de una posición de la articulación de una vista de salida V, se evalúan todas las carteleras adyacentes a esta articulación. Para cada ventilador de carteleras, la alineación de sus carteleras para un par de vistas de entrada (I1,I2) se puntúa por medio de una comparación de píxeles racional de las texturas proyectadas. Para cada píxel de salida p de V, el puntaje por píxel sI1, I2 (p) se define como

imagen11

donde VIi(p) es la contribución del color de una cartelera asociada con la vista Ij de píxeles p. ε(·) es una medida de distancia de color en RGB. Los píxeles activos se definen como aquellos píxeles en la vista de salida V que reciben una contribución de color válida desde las vistas de entrada i1 e i2. La segmentación generada en la Sección 2.3 se utiliza para resolver la oclusión en forma fiable. El puntaje para una articulación en una vista V es la suma normalizada de todos los píxeles

imagen12

El factor de normalización n(p) es 1, si por lo menos uno de los dos píxeles está activo y 0, de lo contrario. Por lo tanto, la función de puntaje mide la coincidencia de los valores de textura, mientras que n(p) penaliza las partes no alineadas como en la Figura 7a. Estas operaciones por píxeles se implementan de manera eficiente en la GPU por el uso de sombreadores de fragmentos. En resumen, el procedimiento de acuerdo con (1) y (2) determina a qué grado coinciden las contribuciones de imagen de diferentes cámaras, de acuerdo con lo observado desde el punto de vista virtual y en la imagen de salida virtual, y sólo para aquellos píxeles para los que la imagen de salida recibe una contribución de ambas cámaras de origen.

Durante más de dos vistas de entrada, se define el puntaje como un promedio ponderado de todos los pares de la cámara, donde el peso para cada par de la cámara depende del ángulo βi1,i2 entre las direcciones de visión respectivas, con ángulos estrechos que reciben un mayor peso:

imagen13

donde I es el conjunto de todos los pares de vistas de entrada y ω(β) es, por ejemplo, un peso de Gauss:

13 5

10

15

20

25

30

35

40

45

imagen14

Un valor adecuado para σ se determinó en forma empírica como 0,32. Por último, el puntaje de la posición de articulación es la suma normalizada de las puntuaciones en todas las vistas evaluadas:

imagen15

dónde V es el conjunto de todos las vistas evaluadas.

3.2. Optimización de la Pose en 3D

Dado que la puntuación de la posición de la articulación depende de las vistas evaluadas, se necesita un conjunto adecuado V. Con el fin de cubrir un intervalo razonable de posiciones de visualización, se evalúa la función de puntaje en las posiciones de cámara de todas las vistas de entrada y las vistas virtuales en el centro entre cada par de la cámara. Para la optimización de posición de una articulación, se evalúa Sv en las posiciones espacialmente cercanas de los candidatos en una cuadrícula en 3D adaptativa y discreta. La cuadrícula se refina de manera codiciosa en torno a esas posiciones candidatas que consiguen un puntaje más alta Sv, hasta que se alcanza una resolución de la cuadrícula dada (ajustada en forma empírica a 1,2 cm).

Para evitar configuraciones degeneradas con ventiladores de cartelera de longitud cero, en forma adicional se considera la consistencia antropométrica [NAS09] durante la evaluación de cada pose. Una posición de la articulación recibe un puntaje de cero si no se mantiene una de las siguientes limitaciones:

 La articulación está en o por encima del suelo.  Las longitudes de los huesos del esqueleto topológicamente simétricos (por ej., el brazo izquierdo/derecho) no difieren más del 10%.  Las longitudes de los huesos adyacentes están dentro de los estándares antropométricos.  Las distancias a las articulaciones inconexas están dentro de los estándares antropométricos.

Para las dos últimas restricciones, se utiliza el quinto percentil de sujetos femeninos, que se redondea hacia abajo como longitudes mínimas, y el percentil número 95 de los sujetos masculinos se redondea como longitudes máximas.

Este proceso de optimización de búsqueda de cuadrícula se repite en forma iterativa a lo largo del esqueleto. Es decir, en cada iteración, la posición se optimiza por separado, de acuerdo con lo descrito, para cada articulación del conjunto de todas las articulaciones. En estos experimentos, se ha hallado que por lo general converge después de 4 iteraciones. Dado que la optimización está basada en funciones diana que están definidas en la imagen virtual, no se determinan parámetros innecesarios en última instancia, y la eficiencia global es alta. Véase la Figura 7 para un modelo de cartelera articulado antes (7b) y después (7c) de la optimización.

3.3. Corrección de la Costura de la Textura

Debido a la toma de muestras de las máscaras de segmentación de las carteleras durante la representación con la texturización proyectiva (véase la Figura 8a), pueden aparecer pequeñas discontinuidades (grietas visibles) entre las carteleras adyacentes en la vista de salida de acuerdo con lo mostrado en la Figura 8b: En la imagen virtual 12, un píxel de salida a partir de una primera cartelera 6 puede caer, cuando se proyecta en la imagen de origen segmentada 10, dentro de un segundo segmento 13b que se asigna a una segunda cartelera 6’ adyacente, en lugar de en un primer segmento 13a asignado a la primera cartelera 6. En consecuencia, el píxel de salida no recibe ninguna contribución de color en absoluto. Para superar este problema, estos píxeles de costura tienen que ser representados para ambas carteleras adyacentes. Por lo tanto, se marcan los píxeles como píxeles de costura en las vistas de entrada si cubren las carteleras sobre dos huesos del esqueleto adyacentes o enlaces 3 (por ej., un píxel encerrado por líneas discontinuas en la Figura 8a).

Para detectar los píxeles de costura, la máscara de segmentación es atravesada para cada vista de entrada. Un píxel p está marcado como píxel de costura, si cumple ambas de las siguientes condiciones:

 Por lo menos un píxel p’ en su barrio de 4 tiene una etiqueta diferente, pero viene de la misma materia  |profundidad(p) -profundidad(p')| < φ

donde la profundidad(·) es el valor de profundidad en este píxel. El umbral φ distingue entre las partes de oclusión y las partes conectadas. Se ajustó en forma empírica a φ= 3 cm. Un ejemplo para la máscara de segmentación

14 5

10

15

20

25

30

35

40

corregida en su costura y la mejora de representación resultante se muestra en la Figura 8c.

4. Representación

En lo que sigue se describe un procedimiento de representación para las carteleras articuladas. Se ha diseñado este algoritmo de acuerdo con los criterios generales definidos por Buehler et al. [BBM*01]. Debido a este entorno desafiante con errores de calibración y un posicionamiento de la cámara muy escaso, este enfoque particular está en:

 Aspecto Consistente: Las carteleras adyacentes deben intersectar sin grietas o artefactos perturbadores y

mezclarse de manera realista con el medio ambiente.  Continuidad Visual: Las carteleras no deben cambiar repentinamente o aparecer al mover el punto de vista.  Interpolación de Vistas: Al ver la escena desde un ángulo y posición originales de la cámara, la vista

representada debe reproducir la de la cámara de entrada.

Las entradas al procedimiento de representación son el modelo de cartelera articulado, las vistas de entrada segmentadas I (Sección 2.3) y las costuras calculadas en la Sección 3.3. Para cada marco de salida representado, las carteleras articuladas están ordenadas de atrás hacia adelante para un manejo adecuado de las oclusiones. Con el fin de cumplir con los objetivos anteriores, se lleva a cabo un procedimiento de mezcla por píxel. Se separa entre los pesos por cámara que se calculan una vez por cartelera y los últimos pesos por píxel.

4.1. Pesos de la Mezcla de la Cámara

Para una mezcla suave de las carteleras 6 asociadas con un ventilador 7 de carteleras 6, se utiliza el mismo peso de Gauss que en la Ecuación (5). Para lograr una interpolación en una vista de cámara original 10, se introduce una función de atenuación que asegura que todas las vistas de una perspectiva de cámara original 9 son idénticas a las imágenes de origen de la cámara correspondientes 10 mientras que se sigue asumiendo una transición suave entre las diferentes vistas. La función de atenuación se define como f(IωMáx) = 1 para la vista de origen IωMáx con el valor más alto de α(·) (es decir, la cámara de origen 9 más cercana) y

imagen16

para todas las otras cámaras Ij. d(V, IωMáx) es la distancia euclídea desde la posición de la cámara virtual del espectador 11 hasta la posición de la cámara de origen 9 de la vista IωMáx. La constante σ se determina en forma empírica como de 1 metro, que es inferior a la distancia mínima entre dos cámaras de origen 9 y por lo tanto no da lugar a ningún tipo de discontinuidad.

4.2. Procesamiento por Píxel

Las carteleras de un ventilador de cartelera se mezclan por píxel. De acuerdo con lo mostrado en la Figura 8a, se lleva a cabo una búsqueda de cámaras en la máscara de segmentación correspondiente de cada cartelera. Esto determina si el píxel de salida de corriente p está en la parte del cuerpo que pertenece a esta cartelera. Si es así, entonces la contribución de color correspondiente VIj (p) = 0 desde la vista de origen Ij y su valor alfa αIj (p) se puede añadir a la vista de salida V. De lo contrario, se ajusta αIj (p) = 0, es decir, transparente. El último caso también se produce cuando la parte del cuerpo correspondiente se ocluye en Ij y la información de color se debe tomar de otras cámaras. El valor de color resultante V(p) del píxel de pantalla es entonces

imagen17

con el conjunto de todas las vistas de entrada I como en la Ecuación (2) y los pesos por píxel

imagen18

Esto se hace para todos los canales de color por separado. El valor alfa resultante es

15

imagen19

imagen20

imagen21

5

10

15

20

25

30

35

40

45

Light field rendering. En SIGGRAPH ’96 (1996), págs. 31 a 42.

MBR*00 MATUSIK W., BUEHLER C., RASKAR R., GORTLER S. J., MCMILLAN L.:

Image-based visual hulls. En SIGGRAPH ’00 (2000), págs. 369 a 374.

MHM*09 MAHAJAN D., HUANG F.-C., MATUSIK W., RAMAMOORTHI R., BELHUMEUR P.N.:

Moving gradients: a path-based method for plausible image interpolation. ACM Trans. Graph. 28, 3 (2009).

Mid09 Middlebury multi-view stereo evaluation. http://vision.middlebury.edu/mview/, Octubre de 2009.

NAS09 NASA:

Anthropometry and biomechanics. http://msis.jsc.nasa.gov/sections/section03.htm (2009).

PG08 PEKELNY Y., GOTSMAN C.:

Articulated object reconstruction and markerless motion capture from depth video. Comput. Graph. Forum 27, 2 (2008), 399 a 408.

RMD04 RECHE A., MARTIN I., DRETTAKIS G.:

Volumetric reconstruction and interactive rendering of trees from photographs. SIGGRAPH’04 23, 3 (Julio de 2004).

SGwHS98 SHADE J., GORTLER S., WEI HE L., SZELISKI R.:

Layered depth images. En SIGGRAPH’98 (1998), págs. 231 a 242.

Tho06 THOMAS G.:

Real-time camera pose estimation for augmenting sports scenes. Visual Media Production, 2006. CVMP 2006. 3rd European Conference on (2006), págs. 10 a 19.

VBMP08 VLASIC D., BARAN I., MATUSIK W., POPOVIC J.:

Articulated mesh animation from multi-view silhouettes. En SIGGRAPH ’08 (2008), págs. 1 a 9.

WWG07 WASCHBÜSCH M., WÜRMLIN S., GROSS M.:

3d video billboard clouds. Computer Graphics Forum 26, 3 (2007), 561 a 569.

YSK*02 YAMAZAKI S., SAGAWA R., KAWASAKI H., IKEUCHI K., SAKAUCHI M.:

Microfacet billboarding. En EGRW ’02 (2002), págs. 169 a 180.

19

imagen22

Claims (1)

1. imagen1

   imagen2

   imagen3