ES2384732B1

ES2384732B1 - Método y sistema para segmentación de primer plano de imágenes en tiempo real.

Info

Publication number: ES2384732B1
Application number: ES201001263A
Authority: ES
Inventors: Jaume Civit; Óscar Divorra
Original assignee: Telefonica SA
Current assignee: Telefonica SA
Priority date: 2010-10-01
Filing date: 2010-10-01
Publication date: 2013-05-27
Anticipated expiration: 2030-10-01
Also published as: AR083273A1; WO2012041418A1; US20130243314A1; EP2622575A1; ES2384732A1

Abstract

Estructura ligera para pozos de agua, que consta de placas modulares (1) de pared ciega y placas modulares (2) de pared perforada, todas ellas de naturaleza flexible, con las cuales se forman tramos tubulares que se unen en apilamiento consecutivo, estructurándose la parte inferior del apilamiento con tramos tubulares de dos paredes concéntricas formadas con placas modulares (2) de pared perforada, mientras que la parte superior del apilamiento se estructura con tramos tubulares de una sola pared formada con placas modulares (1) de pared ciega.

Description

MÉTODO Y SISTEMA PARA SEGMENTACIÓN DE PRIMER PLANO DE IMÁGENES EN

TIEl~PO REAL

Campo de la técnica

La presente invención se refiere, en general, en un primer aspecto, a un método para segmentación de primer plano de imágenes en tiempo real, basándose en la aplicación de un conjunto de funciones de coste y, más en particular, a un método que comprende aprovechar una estructura espacial local y global de una o más imágenes.

Un segundo aspecto de la invención se refiere a un sistema adaptado para implementar el método del primer aspecto, preferiblemente mediante procesamiento paralelo.

Estado de la técnica anterior Hay varios sistemas o marcos que requieren segmentación de primer plano de imágenes en tiempo real robusta y buena, siendo

las: videoconferencias de inmersión y la captura de objetos en 3D

digitales: dos marcos de casos de uso princip ales, que se

describirán: a continuación.

videoconferencias de inmersión:

En los últimos años se ha realizado un trabajo importante para llevar las comunicaciones y los medios visuales a un nivel superior. Una vez alcanzada una cierta madurez por lo que respecta a las cuestiones de definición y calidad visual en 20, 3D parece ser la siguiente fase por lo que respecta a la experiencia visual y de realidad. Después de que varias tecnologías, tales como Internet de banda ancha, compresión de vídeo de alta calidad HD con poco retardo, hayan madurado lo suficiente, diversos productos han logrado irrumpir en el mercado dando un paso firme hacia delante hacia soluciones de telepresencia prácticas. Entre ellas se encuentran los sistemas de videoconferencia de gran formato de proveedores principales tales como Cisco Telepresence, HP Halo, Polycom, etc. Sin embargo, los sistemas actuales todavía sufren imperfecciones fundamentales que se sabe que van en detrimento del proceso de

comunicación. Al comunicarnos, el contacto visual con los ojos y las miradas son elementos esenciales de la comunicación visual, y son importantes para indicar atención, y controlar el flujo de la conversación [1, 2]. No obstante, los sistemas de telepresencia actuales hacen difícil que un usuario, principalmente en conversaciones entre muchos participantes, realmente sienta que alguien le está mirando (en lugar de a algún otro) o no, o a quién/dónde va dirigido realmente un gesto dado. En resumen, el lenguaj e corporal se transmitE~ todavía de manera pobre mediante los sistemas de comunicación de hoy en día. Se espera que las comunicaciones entre muchos participantes se beneficien

enormemente: de la madura tecnología 3D autoestereoscópico;

permitiendo: a la gente participar en encuentros remotos más

naturales,: con mejor contacto visual con los ojos y mejor

sensación: de espacialidad. De hecho, la espacialidad 3D, el

volumen de los objetos y las personas y la naturaleza con múltiples perspectivas, y la profundidad, son indicaciones muy importantes que faltan en los sistemas actuales. La telepresencia es por tanto un campo que espera soluciones maduras para vídeo en 3D en tiempo real con un punto de vista libre (o múltiples perspectivas) (por ejemplo basado en diversos conjuntos de datos Vista+Profundidad) .

Dado el estado de la técnica actual, la generación de profundidad en 3D de alta calidad y precisa en tiempo real sigue siendo una tarea difícil. A menudo es necesario algún tipo de segmentación de primer plano en la adquisición con el fin de generar mapas de profundidad en 3D con una resolución suficientemente alta y límites de objeto precisos. Para ello, es necesaria una segmentación de primer plano sin parpadeo, con precisión en los bordes, flexible a los cambios de ruido y sombras de primer plano, así como capaz de funcionar en tiempo real en arquitecturas de correcto rendimiento tales como GPGPU.

Captura de objetos en 3D digitales:

Otro marco de casos de uso es el relativo a la generación de volúmenes digitales en 3D de obj etos o personas. Esto se encuentra a menudo en aplicaciones para la captura de avatares de

personas en 3D, o captura en 3D con múltiples vistas usando técnicas conocidas tal como la envolvente visual (Visual Hull). En este marco de aplicación, es necesario recuperar múltiples siluetas (varias desde diferentes puntos de vista) de un sujeto u objeto. Estas siluetas se combinan entonces y se usan para representar el volumen en 3D. La segmentación de primer plano es necesaria como herramienta para generar estas siluetas.

Segundo plano de la técnica! Tecnologia existente

La segmentación de primer plano se ha estudiado desde una serie de puntos de vista (véanse las referencias [3, 4, 5, 6, 7] ), cada uno con sus venta=i as y desventaj as en cuanto a la robustez y las posibilidades para adecuarse apropiadamente a una GPGPU. Los modelos de clasificación locales, basados en pixeles y basados en umbrales [3, 4] pueden aprovechar las capacidades paralelas de arquitecturas de GPU ya que pueden adecuarse muy fácilmente a éstas. Por otro lado, carecen de robustez frente al ruido y sombras. Enfoques más elaborados que incluyen un postprocesamiento morfológico [5], aunque son más robustos, puede que no les resulte fácil aprovechar las GPU debido a su naturaleza de procesamiento secuencial. Además, utilizan suposiciones fuertes con respecto a la estructura de los objetos, lo que se convierte en una mala segmentación cuando el objeto de primer plano incluye huecos cerrados. Enfoques más globales pueden adecuarse mejor tal como en el documento [6]. Sin embargo, el marco estadistico propuesto es demasiado simple y lleva a inestabilidades temporales del resultado segmentado. Finalmente, modelos de segmentación muy elaborados que incluyen seguimiento temporal [7] pueden ser demasiado complej os para adecuarse a sistemas en tiempo real.

•: [3]: Se trata de un modelo de segundo plano no paramétrico y un enfoque de sustracción de segundo plano. El modelo pretende abordar situaciones en las que el segundo plano de la escena está emborronado y no es completamente estático sino que contiene pequeños movimientos tales como ramas de árboles y arbustos. El modelo estima la probabilidad de

observar valores de intensidad de píxel basándose en una muestra de valores de intensidad para cada píxel. El modelo pretende adaptarse rápidamente a cambios en la escena lo que pretende una detección sensible de objetivos en movimiento. El modelo puede usar información de color para suprimir la detección de sombras.

•: [4J: Se trata de un algoritmo para detectar objetos en movimiento a partir de una escena de segundo plano estática que contiene sombreado y sombras usando imágenes en color. Se basa en la sustracción de segundo plano que pretende hacer frente a cambios de iluminación local, tales como sombras y zonas iluminadas, así como cambios de iluminación global. El algoritmo se basa en un modelo de color computacional propuesto que separa el brillo de la componente de cromaticidad.

•: [5J: Este esquema realiza detección de sombras (zonas iluminadas) usando indicaciones tanto de color como de textura. La técnica incluye también el uso de etapas de reconstrucción morfológica con el fin de reducir el ruido y una incorrecta clasificación. Esto se hace suponiendo que las formas de los objetos están adecuadamente definidas por la mayor parte de sus contornos después de la detección inicial, y considerando que los objetos son contornos cerrados sin huecos en su interior.

•: [6J: Propone un método global que clasifica cada píxel encontrando la mejor clase posible (primer plano, segundo plano, sombra) según un esquema de modelado píxel a píxel que se optimiza globalmente mediante propagación de creencias (Belief Propagation) La optimización global reduce la necesidad de un postprocesamiento adicional.

•: [7J: Utiliza un modelo extremadamente complejo para el primer plano y el segundo plano con seguimiento de movimiento incluido, que ayuda a mejorar el rendimiento de

la clasificación de segmentos para el primer plano/segundo plano, al tiempo que aprovecha en cierta medida la estructura de los objetos de la imagen.

Problemas con las soluciones existentes

En general, las soluciones actuales presentan problemas a la hora de integrar una segmentación de primer plano buena, robusta y flexible con eficacia computacional. O bien los métodos disponibles son demasiado simples, o bien son demasiado complejos, intentando tener en cuenta demasiados factores en la decisión de si cierta cantidad de datos de imagen es de primer plano o de segundo plano. Éste es el caso en la visión general del estado de la técnica que se ha expuesto en el presente documento. Véase un comentario individualizado:

•: [3]: El enfoque, dada la flexibilidad a la que aspira y los sencillos modelos para la clasificación que utiliza (sin optimización global ni consideración de la geometria de la imagen) es bastante susceptible de realizar clasificaciones erróneas y a dar valores atipicos.

•: [4]: El enfoque, dada la flexibilidad a la que aspira y los sencillos modelos para la clasificación que utiliza (sin optimización global ni consideración de la geometria de la imagen) es bastante susceptible a realizar clasificaciones erróneas y a dar valores atipicos. Este enfoque solo considera modelos pixel a pixel y está basado en simples decisiones participativas, que en definitiva no lo hacen muy robusto y hacen que esté suj eto a la influencia de ruido, dando como resultado formas de objetos distorsionadas.

•: [5]: El enfoque, un poco más robusto que los anteriores, está condicionado por el ruido acumulado de la primera etapa, en la que simplemente se consideran modelos pixel a pixel sin más optimización, y con simples decisiones participativas. El modelo de obj eto usado para el

postprocesamiento morfológico introduce errores cuando el

objeto presenta huecos y no puede considerarse un contorno

totalmente cerrado.

•: [6]: El enfoque utiliza modelos excesivamente simplificados para el segundo plano, el primer plano y la sombra lo que implica una cierta inestabilidad temporal en la clasificación asi como errores (está muy presente una falta de robustez en la clasificación de sombra/primer plano). La optimización global aprovecha una cierta estructura de la imagen pero con extensión limitada, lo que implica que los limites de segmento pueden tener una forma imprecisa.

•: [7] : El enfoque es tan complicado que es totalmente inapropiado para un funcionamiento eficaz en tiempo real.

Descripción de la invención

Es necesario ofrecer una alternativa al estado de la técnica que rellene los vacios que se encuentran en el mismo, superando las limitaciones expresadas anteriormente en el presente documento, que permita tener un marco de segmentación para hardware habilitado en GPU con calidad mej orada y un alto rendimiento.

Con este fin, la presente invención proporciona, en un primer aspecto, un método para segmentación de primer plano de imágenes en tiempo real, que comprende:

-generar un conjunto de funciones de coste para clases de segmentación de primer plano, de segundo plano y de sombra, en el que los costes de segmentación de segundo plano y de sombra se basan en distorsión cromática y distorsión de brillo y color, y en el que dichas funciones de coste están relacionadas con medidas de probabilidad de que una región o pixel dado pertenezca que comprende, además de un modelado local de clases de primer plano, segundo plano y sombra llevado a cabo mediante dichas funciones de coste, aprovechar la estructura espacial de contenido de al menos dicha imagen de una manera local asi como más global; esto se realiza de modo que la estructura espacial local se aprovecha estimando los costes de los pixeles como un promedio respecto a regiones de color homogéneo, y la estructura espacial global se aprovecha usando un algoritmo de optimización de regularización.

a: cada una de dichas clases de segmentación; y

aplicar: a los pixeles de una imagen dicho conjunto de

funciones: de coste generadas.

El: método del primer aspecto de la invención difiere, de

manera: caracteristica, de los métodos de la técnica anterior, en

En una realización, el método de la invención comprende aplicar una operación logaritmica a las expresiones de probabilidad obtenidas según una formulación bayesiana con el fin de derivar costes aditivos.

Según una realización, la estimación mencionada de costes de pixeles se lleva a cabo mediante las siguientes acciones secuenciales:

i) sobresegmentar la imagen usando un criterio de color homogéneo basado en un enfoque de k-medias;

ii) forzar una correlación temporal en centroides de color

de: k-medias, con el fin de garantizar la estabilidad y

consistencia temporal: de segmentos homogéneos,

iii): calcular dichas funciones de coste por segmento de

color;

y: dicha estructura espacial global se aprovecha:

i v): usando un algoritmo de optimización para encontrar la

mejor: solución global posible optimizando costes.

En la siguiente sección se describirán diferentes realizaciones del método del primer aspecto de la invención, incluyendo funciones de coste especificas definidas según formulaciones bayesianas, y descripciones más detalladas de dichas etapas i) a iv).

La presente invención proporciona por tanto un método y sistema para segmentación de primer plano robusto, en tiempo real y diferencial (con respecto al estado de la técnica). Los dos marcos de casos de uso principales explicados anteriormente son dos casos de uso posibles del método y sistema de la invención, que pueden ser, entre otros, como un enfoque usado en los sistemas de telepresencia en 3D de inmersión experimentales [8,

1J, o digitalización en 3D de objetos o cuerpos.

Tal como se dio a conocer anteriormente, la invención se basa en una minimización de costes de un conjunto de funcionales de probabilidad (es decir de primer plano, de segundo plano y de sombra) por medio de, en una realización, propagación de creencias jerárquica.

En algunas realizaciones, que se explicarán detalladamente en una sección posterior, el método incluye reducción de valores atípicos mediante regularización en regiones sobresegmentadas. Una fase de optimización puede cerrar huecos y minimizar los restantes falsos positivos y negativos. El uso de un marco de sobresegmentación de k-medias que fuerza una correlación temporal para centroides de color ayuda a garantizar la estabilidad temporal entre fotogramas. En este trabajo, se ha tenido en cuenta también un cuidado particular en el rediseño de los funcionales de coste de primer plano y de segundo plano con el fin de superar las limitaciones de trabajos previos propuestos en la bibliografía. La naturaleza iterativa del enfoque lo hace ajustable a escala en cuanto a su complej idad, permitiéndole aumentar la capacidad de precisión y tamaño de imagen a medida que las GPGPU comerciales se vuelven más rápidas y/o la potencia computacional se vuelve más barata en general.

Un segundo aspecto de la invención proporciona un sistema para segmentación de primer plano de imágenes en tiempo real, que: comprende una o más cámaras, medios de procesamiento conectados a la cámara, o cámaras, para recibir imágenes adquiridas por la misma y procesarlas para lleva.r a cabo una segmentación de primer plano de imágenes en tiempo real.

El sistema del segundo aspecto de la invención difiere de los sistemas convencionales, de manera característica, en que los medios de procesamiento están previstos para llevar a cabo la segmentación de primer plano mediante elementos de hardware y/o software que implementan al menos parte de las acciones del método del primer aspecto.

Breve descripción de los dibujos

Las ventajas y características previas y otras se entenderán mej or a partir de la siguiente descripción detallada de realizaciones, algunas de ellas con referencia a los dibujos adjuntos, que deben considerarse de manera ilustrativa y no limitativa, en los que:

la figura 1 muestra esquemáticamente la funcionalidad de la invención, para una realización en la que un sujeto de primer plano se segmenta a partir del segundo plano;

la figura 2 es un dia9rama de fluj o algorítmico de una segmentación de secuencia de vídeo completa según una realización del método del primer aspecto de la invención;

la figura 3 es un diagrama de flujo algorítmico para segmentación de 1 fotograma; la figura 4 es una arquitectura de bloques algorítmica de segmentación; la figura 5 ilustra una realización del sistema del segunde aspecto de la invención; y la figura 6 muestra, esquemáticamente, otra realización del sistema del segundo aspecto de la invención.

Descripción detallada de diversas realizaciones

La vista superior de la figura 1 muestra esquemáticamente una imagen en color sobre la que se ha aplicado el método del primer aspecto de la invención, con el fin de obtener el sujeto de primer plano segmentado a partir del segundo plano, tal comd se ilustra mediante la vista inferior de la figura 1, realizando una secuencia cuidadosamente estudiada de operaciones de procesamiento de imágenes que llevan a un enfoque mejorado y más flexible para la segmentación de primer plano (entendiéndose el primer plano como el conjunto de objetos y superficies que se sitúan delante de un segundo plano) .

En el método del primer aspecto de la invención, el proceso de segmentación se plantea como un problema de minimización de costes. Para un píxel dado, se deriva un conjunto de costes a partir de sus probabilidades de pertenecer a las clases de primer plano, de segundo plano o de sombra. A cada píxel se le asignará la etiqueta que tiene el coste asociado más bajo:

(1)

PixelLabel (C) argmin {Costa (C) }

aE {BG,FG,SH}

Para calcular estos cost:es, se dan una serie de pasos de manera que tengan el menor ruido y la menor cantidad de valores atípicos posible. En esta invención, esto se hace calculando costes región a región en áreas de color homogéneo, temporalmente coherentes, seguido de un procedimiento de optimización robusto. Para conseguir una buena capacidad de discriminación entre segundo plano, primer plano y sombra, se ha tenido un especial cuidado a la hora de rediseñarlos según se explica a continuación.

Con el fin de definir el conj unto de funciones de coste correspondientes a las tres clases de segmentación, se han construido según el documento [6]. Sin embargo, según el método de la invención, las definiciones de costes de segundo plano y de sombra se redefinen para hacerlos más precisos y reducir la inestabilidad temporal en la fase de clasificación. Para ello, se, ha vuelto a recurrir al documento [ 4] para así derivar: funcionales de probabilidad de segundo plano y de sombra' equivalentes basándose en medidas de distorsión cromática (3),: distancia de color y brillo (2). A diferencia del documento [4]' sin embargo, en el que la segmentación se define totalmente para funcionar en un clasificador basado en umbrales, los costes del' método de la invención se formula desde un punto de vista: bayesiano. Esto se realiza de manera que se derivan costes aditivos después de aplicar el logaritmo a las expresiones de probabilidad halladas. Gracias a esto, los costes se usan entonces en el marco de optimización elegido para esta invención. En un ejemplo, la distorsión de color y brillo (con respecto a un modelo de segundo plano entrenado) se definen de la siguiente manera. En primer lugar, el brillo (BD) es tal que

Cr . Crm + Cg . Cgm +Cb . Cbm (2)

BD(C)

Cr~ + Cg~ +Cb~

donde es un color de segmento o píxel con

componentes rgb, y

es la m~dia entrenada correspondiente para

el color de segmento o píxel en el modelo de segundo plano.

La distorsión cromática puede expresarse simplemente como:

CD(C) J(Cr -BD(C). Crm )2 + (Cg -BD(C). (3)

.. . C'gm)2 + (Cb -BD(C) . Cbm)2) .

5

Basándose en esto, el método comprende definir el coste para el segundo plano como:

IIC -Cm 11 2 + CD(C)2 (4) CostBC(C)

5 . a~ . K 1 5 . al;Dm . K 2 '

2 donde O"m representa la varianza de ese píxel o segmento en el

10 modelo de segundo plano entrenado, y O"2:D es la correspondiente

m

a la distorsión cromática. Al igual que el documento [6], el coste de primer plano puede definirse simplemente como:

(5)

16.64· .K3 CostFC(C)

5

15 El coste relativo a la probabilidad de sombra se definE mediante el método del primer aspecto de la invención como:

imagen1

En (4), (5) Y (6), Klt K2 , K3 Y K4 son constantes de proporcionalidad aj ustable correspondientes a cada una de las 20 distancias en uso en los cos"tes anteriores. En esta invención, gracias a los factores de normalización en las expresiones, una vez fijados todos los parámetros Kx , los resultados se mantienen bastante independientes de la. escena, sin necesidad de afinado

adicional basado en el contenido.

Los costes descritos anteriormente, aunque pueden aplicarse píxel a píxel de manera directa, no proporcionarán resultados suficientemente satisfactorios si no se usan en un marco computacional más estructurado. La segmentación robusta requiere, al menos, aprovechar la estructura espacial de contenido más allá de una medición de costes pixel a píxel de clases de primer plano, de segundo plano y de sombra. Con este fin, en esta invención, los costes de píxeles se estiman localmente como un promedio respecto a regiones de color homogéneo, temporalmente estables [9J y entonces se regularizan adicionalmente a través de un algoritmo de optimización global tal como propagación de creencias jerárquica. Esto se lleva a cabo mediante las etapas i) a iv) anteriormente indicadas.

En primer lugar, en la etapa i), la imagen se sobresegmenta usando criterios de color homogéneo. Esto se realiza mediante un enfoque de k-medias. Además, para garantizar la estabilidad y

consistencia: temporal de segmentos homogéneos, se fuerza una

correlación: temporal en centroides de color de k-medias en la

etapa: ii) . Entonces se calculan los costes de los modelos de

segmentación por segmento de color, en la etapa iii) . Después de eso, se lleva a cabo la etapa iv), es decir usando un algoritmc de optimización, tal como propagación de creencias jerárquica

[10J, para encontrar la mejor solución global posible (a nivel de imagen) optimizando y regularizando costes.

Opcionalmente, y después de que se haya llevado a cabo la etapa i v), el método comprende tomar la decisión final píxel a píxel o región a región sobre costes promediados finales calculados por regiones de color uniforme para refinir adicionalmente los límites de primer plano.

La figura 3 representa la arquitectura de bloques de un algoritmo que implementa dicha.s etapas i) a iv), y otras etapas, del método del primer aspecto de la invención.

Con el fin de usar la estructura espacial local de la imagen de una manera computacionalmente asequible, se han considerado varios métodos teniendo en cuenta también el hardware común habitualmente disponible en sistemas informáticos de

3

consumo o de estaciones de trabajo. Para ello, aunque hay disponible un gran número de t écnicas de segmentación de imagen, no son adecuadas para aprovechar la potencia de arquitecturas paralelas tal como las unidades de procesamiento gráfico (GPU) 5 disponibles en los ordenadores de hoy en día. Sabiendo que la segmentación inicial sólo va a usarse como una fase de soporte para una computación adicional, un buen enfoque para dicha etapa i) es una segmentación basada en agrupamiento de k-medias [11]. El agrupamiento de k-medias es un algoritmo muy conocido para el 10 análisis de agrupamientos usado en numerosas aplicaciones. Dado un grupo de muestras (Xl' X2,' ... , xn ), donde cada muestra es un vector real de d dimensiones, en este caso (R,G,B, X, y), donde R, G Y B son componentes de color de píxel, y X, Y son sus coordenadas en el espacio de imagen, se pretende dividir las n

15 muestras en k conjuntos S = SIl' S2' ... , Sk de manera que:

k

2

argmin L L 11 ..X"j -J.LiI1 ,

s i=l XjESi

donde Ili es la media de puntos en Si. El agrupamiento es un proceso que tarda mucho tiempo, sobre todo para conjuntos de: datos grandes.

20 El algoritmo de k-medias común continúa alternando entre etapas de asignación y actualización:

• Asignación: Asigna cada muestra al agrupamiento con la media más próxima.

{Xj : IIXj -JJ~~t)11 < IIXj -JL~!)II,

...\fi*=l, .... k}

25

• Actualización: Calcula las nuevas medias para que sean el centroide del agrupamiento.

(t+l)

J.li

imagen2

El algoritmo converge cuando las asignaciones ya no cambian.

Según el método del primer aspecto de la invención, dicho enfoque de k-medias es una segmentación basada en agrupamiento de k-medias modificada para adecuarse mejor al problema y a la arquitectura de GPU particular (es decir número de núcleos, hilos de ejecución por bloque, etc.) que va a usarse.

Modificar dicha segmentación basada en agrupamiento de k-medias comprende restringir el conj unto de asignación inicial a la arquitectura paralela de la GPU por medio de un número de conj untos que también dependen del tamaño de imagen. La entrada se divide en una rejilla de n x n cuadrados, alcanzándose agrupamientos, donde N y M son las dimensiones de la imagen. La etapa de actualización inicial se calcula a partir de los píxeles en esas regiones. Con esto, se ayuda a que el algoritmo converja en un menor número de iteraciones.

Una segunda restricción introducida, como parte de dicha

modificación: de la segmentación basada en agrupamiento de k-

medias,: es en la etapa de asignación. Cada píxel sólo puede

cambiar: la asignación de agrupam iento a un agrupamiento de k

medias: estrictamente vecino de manera que se garantice la

continuidad espacial.

La: rejilla inicial, y el máximo número de iteraciones

permitido, influye enormemente en el tamaño y la forma final de segmentos homogéneos. En estas etapas, n se refiere al tamaño de bloque usado en la ejecución de núcleos de proceso en la GPU. La restricción anterior lleva a:

{Xj : IIXj -J.l~i~) 1I < ¡IXj -J.l~!) 11, 'V i* E N(i)}

donde N (i) es el vecindario del agrupamiento i (en otras palabras, el conjunto de agrupamientos que rodean el agrupamiento i), y Xj es un vector que representa una muestra de píxel

(R,G,B,x, y) , donde R, G, B representan componentes de color en cualquier espacio de color seleccionado y x, y son la posición espacial de dicho píxel en una de dichas imágenes.

En una realización preferida, el método del primer aspecto

de: la invención se aplica a una pluralidad de imágenes

correspondientes: a fotogramas diferentes y consecutivos de una

secuencia de: vídeo.

Para secuencias de vídeo en las que hay una fuerte correlación temporal de un fot:ograma a otro, el método comprende además usar centroides resultantes finales tras la segmentación de k-medias de un fotograma para inicializar la sobresegmentación del siguiente, consiguiendo así dicho forzado de una correlación temporal en centroides de color de k-medias, para garantizar la estabilidad y consistencia temporal de segmentos homogéneos de la etapa ii). En otras palabras, esto ayuda a acelerar aún más la convergencia de la segmentación inicial al tiempo que también mejora la consistencia temporal del resultado final entre fotogramas consecutivos.

Las regiones resultantes de la primera etapa de sobresegmentación del método de la invención son pequeñas pero suficientemente grandes para tener en cuenta la estructura espacial local de la imagen en el cálculo. En cuanto a la implementación, en una realización de esta invención, todo el proceso de segmentación se desarrolla en CUDA (extensiones NVIDIA C para sus tarjetas gráficas) . Cada etapa, asignación y. actualización, se construye como núcleos CUDA para procesamiento paralelo. Cada uno de los hilos de ej ecución de la GPU trabaj a sólo sobre los píxeles dentro de un agrupamiento. Los datos de centroide resultantes se almacenan como memoria de textura mientras se evita una desalineación de memoria. Un núcleo CUDA para la etapa de asignación almacena la decisión por píxel en un registro. El núcleo CUDA de actualización consulta el registro previamente almacenado en la memoria de textura y calcula el nuevo centroide para cada agrupamiento. Puesto que el tiempo real es un requisito para nuestro objetivo, el número de iteraciones puede limitarse a n, siendo n el tamaño de la rejilla de inicialización en esta realización particular.

Después de la segmentación geométrica inicial, la siguiente etapa es la generación de los promedios región a región para

distorsión: cromática (CD), brillo (BD) y otras estadisticas

requeridas: en costes de p:rimer plano/segundo plano/sombra.

Después: de esto, la siguiente etapa es encontrar una solución

global: del problema de segmentación de primer plano. Una vez que

se ha considerado la estructura espacial local de la imagen a través de la regularización de los costes de estimación en los segmentos obtenidos mediante el método de agrupamiento de k-medias adaptado, es necesario un algoritmo de minimización global para aprovechar la estructura ,espacial global que se adecue a las restricciones de tiempo real. Un algoritmo muy conocido es el introducido en el documento [10], que implementa un enfoque de propagación de creencias jerárquica. De nuevo se usa una implementación CUDA de este algoritmo para maximizar el procesamiento paralelo en cada una de sus iteraciones. Especificamente, en una realización de esta invención se consideran tres niveles en la jerarquia con 8, 2 Y 1 iteraciones por nivel (niveles desde una resolución más fina hasta una más basta) En una realización de la invención, pueden asignarse menos iteraciones para capas más bastas de la pirámide, con el fin de equilibrar la velocidad de convergencia respecto a las pérdidas de resolución en el resultado final. Un mayor nómero de iteraciones en niveles más bastos hace que todo el proceso converj a más rápido pero también compromete la precisión del resultado en pequeños detalles. Finalmente, el resultado de la etapa de optimización global se usa para la clasificación basada en (1), o bien pixel a pixel o bien región a región, con una reproyección en las regiones iniciales obtenidas del primer proceso de sobresegmentación con el fin de mejorar la precisión

de los limites.

En una realización, el método de la invención comprende usar los resultados de la etapa iv) para llevar a cabo una clasificación basada o bien pixel a pixel o bien región a región con una reproyección en el espacio de segmentación con el fin de mejorar la precisión de los limites de dicho primer plano.

En referencia ahora al diagrama de flujo de la figura 2, se

muestra en el mismo un enfoque de segmentación general usado para procesar secuencialmente cada imagen, o fotograma de una secuencia de vídeo, según el método del primer aspecto de la invención, en el que se realizan modelos de estadísticas de segundo plano definidos anteriormente a partir de datos de segundo plano entrenados, y en el que el bloque "Segmentar fotograma usando un modelo de segundo plano almacenado" corresponde a la operación de segmentación que usa el conjunto de funcionales de costes para primer plano, segundo plano y sombra definidos anteriormente, y las etapas i) a iv) definidas anteriormente con el modelo de segundo plano entrenado

2 previamente almacenado (es decir, O'"n

Cm = {Crn~, Cgm , Cbm }).

La figura 4 muestra el diagrama de bloques general relativo al método del primer aspecto de la invención. Básicamente muestra la conectividad entre los diferentes módulos funcionales que llevan a cabo el proceso de segmentación.

Como se observa en la imagen, cada fotograma de entrada se procesa para generar un primer resultado sobresegmentado de regiones conectadas. Esto se realiza en un proceso de: segmentaciones de regiones homogéneas, que, entre otras cosas, puede basarse en un método de crecimiento de región usando agrupamiento basado en k-medias. Con el fin de mejorar la consistencia temporal y espacial, se almacenan parámetros de segmentación (tal como agrupamientos de k-medias) de un fotograma a otro con el fin de inicializar el proceso de sobresegmentación en el siguiente fotograma de entrada.

El primer resultado sobresegmentado se usa entonces para generar un análisis estadístico región a región regularizado del fotograma de entrada. Esto se realiza región a región, de manera que las características de color, brillo, u otras, visuales se calculan en promedio (u otras alternativas tales como la mediana) por cada región. Tales estadísticas región a región se usan entonces para inicializar un modelo de costes de primer plano/segundo plano/sombra reg"ión a región o píxel a píxel. Este conjunto de costes por píxel o por región se optimiza entonces de

manera cruzada mediante un algoritmo de optimización que, entre

otros: puede ser de propagación de creencias o propagación de

creencias: jerárqu ica, por ejemplo.

Después: de la optimización de los costes iniciales de

primer plano/segundo plano/sombra, estos se analizan entonces con el fin de decidir qué es primer plano y qué es segundo plano. Esto se realiza o bien píxel a píxel o bien puede realizarse también región a región usando las regiones iniciales obtenidas de la sobresegmentación generada al inicio del proceso.

La reproyección anteriormente indicada en el espacio de segmentación, para mejorar la precisión de los límites del primer plano, también se incluye en el diagrama de la figura 4, obteniendo finalmente un segmento o máscara de segmentación como el correspondiente a la vista intermedia de la figura 1, Y una escena enmascarada como la de la vista inferior de la figura l.

La figura 3 representa el diagrama de flujo correspondiente al proceso de segmentación llevado a cabo mediante el método del segundo aspecto de la invención, para una realización que incluye diferentes alternativas, tales como la indicada por el cuadro disyuntivo, que pregunta si se realiza una reproyección d~ regiones para contornos más nítidos.

En relación con el sist~ema proporcionado por el segund(j aspecto de la invención, la figura 5 ilustra una realización básica del mismo, incluyendo una cámara a color para adquiri!. imágenes en color, una unidad de procesamiento constituida pOl los medios de procesamiento anteriormente indicados, y una salida y/o pantalla para entregar los resultados obtenidos.

Dicha unidad de procesamiento puede ser cualquier dispositivo con capacidad computacional, tal como hardware dedicado, un ordenador personal, y un sistema integrado, etc. y la salida de tal sistema después del procesamiento de los datos de entrada puede usarse para la visualización, o como entrada en otros sistemas y subsistemas que usan una segmentación de primer plano.

En algunas realizaciones, los medios de procesamiento están previstos también para generar imágenes tridimensionales reales y/o virtuales, a partir de siluetas generadas a partir de la

segmentación de primer plano de imágenes, y visualizarlas a través de dicha pantalla. En una realización, el sistema constituye o forma parte de un sistema de telepresencia.

Un ejemplo más detallado se muestra en la figura 6, en la que esto se representa después de la unidad de procesamiento que crea una versión segmentada de la entrada y que como salida puede dar el resultado segmentado más, en caso necesario, datos adicionales en la entrada del módulo de segmentación. La entrada del módulo de segmentación de primer plano (una realización de esta invención) puede generarse mediante una cámara. La salida puede usarse en al menos uno de los procesos descritos:

analizador: de imagen/vídeo, pantalla de segmentación, unidad de

procesamiento: de visión por ordenador, unidad codificadora de

datos: de imagen, etc.

En un sistema más complejo, una realización de esta invención puede usarse como etapa intermedia para un procesamiento más complejo de los datos de entrada.

Esta invención es un enfoque novedoso para segmentación de primer plano robusta para funcionamiento en tiempo real en arquitecturas de GPU.

•: Este enfoque es adecuado para su combinación con otras técnicas de visión por ordenador y procesamiento de imágenes tales como algoritmos de estimación de profundidad en tiempo real para acell2ración de correspondencia estéreo, reducción de valores atípicos en región plana y mej ora de límites de profundidad entre regiones.

•: Este enfoque puede aprovl2char tanto I2structuras geométricas locales de imagen como estructuras de imagen globales para una robustez de segmentación mejorada.

•: Los modelos estadísticos proporcionados en esta invención, más 121 uso de regiones sobresegmentadas para estimación estadística han logrado hacer que la segmentación de priml2r plano sea más estable en espacio y tiempo, al tiempo que puede utilizarse en tiempo real en hardware de GPU actual disponible en el mercado.

•: La invención también proporciona la funcionalidad de ser "ajustable a escala" en cuanto a la complej idad. Esto es, la invención permite adaptar el equilibrio entre precisión de resultado final y complej idad computacional en función de al menos un valor escalar. Esto permite mejorar la calidad de la segmentación y la capacidad para procesar imágenes más grandes a medida que el hardware de GPU mejora cada vez más.

•: La invención proporciona un enfoque de segmentación que supera las limitaciones del estado de la técnica actualmente disponible. La invención no se basa en modelos de objetos de contorno cerrado ad hoc, y permite detectar y segmentar objetos de primer plano que incluyen huecos y contornos muy detallados.

•: La invención aprovecha la estructura de imagen local y global para mejorar la calidad de la segmentación, su consistencia y estabilidad espacial así como su consistencia y estabilidad temporal.

•: La invención proporciona también una estructura algorítmica adecuada para un procesamiento fácil, de múltiples hilos de ejecución y de múltiples núcleos paralelos.

•: La invención proporciona un método de segmentación flexible a cambios de sombreado y flexible a áreas de primer plano con débil discriminación con respecto al segundo plano si estas áreas "débiles" son suficientemente pequefias.

• La invención no se basa en ningún modelo de alto nivel, lo que hace que pueda aplicarse de manera general a diferentes situaciones en las que !3e requiere segmentación de primer plano (independientementE~ de la escena o el objeto que vaya a segmentarse) .

Un experto en la técnica puede introducir cambios y modificaciones en las realizaciones descritas sin apartarse del alcance de la invención tal como se define en las reivindicaciones adjuntas.

Referencias

[1] Definición de patente. http://en.wikipedia.org/wiki/Patent.

[2] o. Divorra Escoda, J. Civit, F. Zuo, H. Belt, l. Feldmann, O. Schreer, E. Yellin, W. Ij sselsteijn, R. van Eijk, D. Espinola, P. Hagendorf, W. Waizenneger, y

R. Braspenning, "Towards 3d-aware telepresence: Working on technologies behind the scene," en New Frontiers in Telepresence workshop at ACM CSCW, Savannah, GA, febrero de 2010.

[3] C. L. Kleinke, "Gaze and eye contact: A research review,"Psychological Bulletin, vol. 100, págs. 78100, 1986. [3] A. Elgammal, R. Duraiswami, D. Harwood, y L. S. Davis, "Non-parametric model for background subtraction," in Proceedings of International Conference on Computer Vision. Sept 1999, IEEE Computer Society.

[4 ] T. Horpraset, D. Harwood, y L. Davis, "A statistical approach for real-time robust background subtraction and shadow detection," en IEEE ICCV, Kerkyra, Grecia, 1999.

[5] J. L. Landabaso, M. Pard'as, y L.-Q. XU, "Shadow removal with blob-based morphological reconstruction for error correction," en IEEE ICASSP, Filadelfia, PA, EE.UU., marzo de 2005.

[6] J.-L. Landabaso, J.-C Pujol, T. Montserrat, D.: Marimon, J. Civit, y O. Divorra, "A global probabilistic framework for the foreground, background' and shadow classification task," en IEEE ICIP, Cairo, noviembre de 2009.

[7] J. Gallego Vila, "Foreground segmentation and tracking based on foreground and background modeling techniques", Tesis doctoral, Departamento de Procesamiento de Imágenes, Universidad Politécnica de Cataluña, 2009.

[8] 1. Feldmann, o. Schreer, R. Shfer, F. Zuo, H. Belt, y o. Divorra Escoda, "Immersive multi-user 3d video corrnnunication," en IBC, Amsterdam, Países Bajos, septiembre de 2009.

[9] C. Lawrence Zitnick y Sing Bing Kang, "Stereo for

imagebased rendering using image over-segmentation," 5 en International JOl1rnal in Compl1ter Vision, 2007.

[10] P. F. Felzenszwalb y D. P. Huttenlocher, "Efficient belief propagation for early vision," en CVPR, 2004, págs. 261-268.

[11] J. B. MacQueen, "Sorne methods for classification

10 and analysis of multivariate observations," in Proc. of the fifth Berkeley Symposil1m on Mathematical Statistics and Probability, L. M. Le Cam y J. Neyman, Eds. 1967, vol. 1, págs. 281-297, University of California Press.

15 [12] o. Schreer N. Atzpadin, P. Kauff, "Stereo analysis by hybrid recursive matching for real-time irrnnersive video stereo analysis by hybrid recursive' matching for real-time irrnnersive video conferencing," vol. 14, n.O 3, marzo de 2004.

20

Claims

REIVINDICACIONES

1.

Método para segmentación de primer plano de imágenes en tiempo real, que comprende: -generar un conjunto de funciones de coste para modelos o clases de segmentación de primer plano, de segundo plano y de sombra, en el que los costes de segmentación de segundo plano y de sombra se basan en distorsión cromática y distorsión de brillo y color, y en el que dichas funciones de coste están relacionadas con medidas de probabilidad de que una región o un píxel dado pertenezca a cada una de dichas clases de segmentación; y

aplicar a los píxeles de una imagen dicho conjunto de funciones de coste generadas; estando dicho método caracterizado porque comprende, además de un modelado local de clases de primer plano, de segundo plano y de sombra llevado a cabo por dichas funciones de coste, aprovechar la estructura espacial de contenido de al menos dicha imagen de una manera local así como más global; esto se realiza de modo que la estructura espacial local se aprovecha estimando costes de píxeles como un promedio respecto a regiones de color homogéneo, y la estructura espacial global se aprovecha usando un algoritmo de optimización de regularización.
2.

Método según la reivindicación 1, que comprende aplicar una operación logarítmica a las expresiones de probabilidad obtenidas según una formulación bayesiana, o funciones de coste, generadas con el fin de derivar costes aditivos.
3.

Método según la reivindicación 1 ó 2, que comprende definir dicha distorsión de brillo como:

Cr . Crm + Cg . Cgm + Cb . C bm

BD(C)

Cr?n + Cg;n + Cb;n donde e= {Cr ) C) Cb } es un color de segmento o píxel con

g

componentes rgb, y Cm = {Crm , Cgm , Cbm } es la media entrenada correspondiente para el color de segmento o píxel en un modelo de segundo plano entrenado.
4.

Método según la reivindicación 3, que comprende dicha distorsión cromática como: CD(C) = J((Cr -BD(C). Crm )2 + (Cg -BD(C). definir

. . . Cgm )2 + (Cb

-BD(C) . Cbn ¡)2).

5

5. Método según la reivindicación dicha función de coste para la segundo plano como: 4, que comprende definir clase de segmentación de

CostBC(C)

--+ ..... 2 .... 2IIC --Cm!! CD(C) 5 . 0.2 • !{l + 5 . O"c2 D . !{2rn 1n

10 15

6. donde Kl Y K2 son constantes de proporcionalidad aj ustable correspondientes a las distancias en uso en dicha función de coste de segundo plano, 0"2 representa la varianza de ese m 2píxel O segmento en el segundo plano, y O"CD m es la correspondiente a la distorsión cromática. Método según la reivindicación 5, que comprende definir dicha función de coste para la clase de segmentación de primer plano como:

CostFC(C)

16.64· K3 5

20

7. donde K3 es una constante de proporcionalidad ajustable correspondiente a las distancias en uso en dicha función de coste de primer plano. Método según la reivindicación 6, que comprende definir dicha función de coste para la clase de sombra como:

-2 -> CD(C) 5· K4 CostSH(C) = .2 K + -2 5· 0CDm' 2 BD(C) .. .100 ' 1( 1) 1::> ( V2. 7r' a~ . K 1 .

donde K4 es una constante de proporcionalidad ajustable correspondiente a las distancias en uso en dicha función de 25 coste de sombra.
8. Método según cualquiera de las reivindicaciones anteriores,

en el que dicha estimación de costes de pixeles se lleva a cabo mediante las siguientes acciones secuenciales: i) sobresegmentar la imagen usando un criterio de color homogéneo basado en un enfoque de k-medias; ii) forzar una correlación temporal sobre centroides de color de k-medias, con el fin de garantizar la estabilidad y consistencia temporal de segmentos homogéneos, iii) calcular dichas funciones de coste por segmento de color; y dicha estructura espacial global se aprovecha: i v) usando un algoritmo de optimización para encontrar la mejor solución global posible optimizando costes.
9.

Método segón la reivindicación 8, en el que dicho algoritmo de optimización es un algoritmo de algoritmo de propagación de creencias jerárquica.
10.

Método segón la reivindicación 8 ó 9, que comprende, después de que dicha et:apa i v) se haya llevado a cabo, tomar la decisión final pixel a pixel o región a región sobre costes promediados finales calculados sobre regiones de color uniforme para r efinar adicionalmente los limites de primer plano.
11.

Método segón la reivindicación 8, 9 ó 10, en el que dicho enfoque de k-medias es una segmentación basada en agrupamiento de k-medias modificada para adaptarse a una arquitectura de unidad de procesamiento gráfico, o GPU.
12.

Método segón la reivindicación 11, en el que modificar dicha segmentación basada en agrupamiento de k-medias comprende restringir el conjunto de asignación inicial

(11.(1) " di))

n ~ a la arquitectura paralela de la GPU por medio de un nómero de conj untos que también dependen del tamaño de la imagen, mediante la división de la entrada en una rejilla de n x n cuadrados, donde n se refiere al tamaño de bloque usado en la ej ecución de nócleos de proceso dentro

(MxN)

de la GPU, logrando ---agrupamientos, donde N y M son

2

nlas dimensiones de imagen, y Pi es la media de puntos en el
13.
14.
15.
16.

conjunto de muestras y calcular la etapa de actualización inicial de dicha segmentación basada en agrupamiento de k-medias a partir de los píxeles en dichas regiones cuadradas, de manera que un algoritmo que implementa dicha segmentación basada en agrupamiento de kmedias modificada converge en un número inferior de

iteraciones. Método según la reivindicación 12, en el que modificar dicha segmentación basada en agrupamiento de k-medias comprende además, en la etapa de asignación de dicha

segmentación basada en agrupamiento de k-medias, restringir los agrupamientos a los que cada píxel puede cambiar la asignación de agrupamiento a un agrupamiento de k-medias estrictamente vecino, de manera que se garantiza la continuidad espacial. Método según la reivindicación 13, en el que dichas restricciones llevan a la siguiente etapa de asignación modificada:

donde N (i) es el vecindario del agrupamiento i, y Xj es un vector que representa una. muestra de píxel (R,G,B,x,y) , donde R, G, B representan componentes de color en cualquier espacio de color seleccionado y x, y son la posición espacial de dicho píxel en una de dichas imágenes. Método según cualquiera de las reivindicaciones anteriores, en el que se aplica a una pluralidad de imágenes correspondientes a fotogramas diferentes y consecutivos de una secuencia de vídeo. Método según la reivindicación 15, cuando depende de la reivindicación 14, en el que para secuencias de vídeo en las que hay una fuerte correlación temporal de un fotograma a otro, el método comprende usar centroides resultantes finales después de la segmentación de k-medias de un fotograma para inicializar la sobresegmentación del siguiente, consiguiendo así dicho forzado de una correlación temporal sobl~e centroides de color de k-medias,

con el fin de garantizar la estabilidad y consistencia temporal de segmentos homogéneos.
17 . Método según la reivindicación 16, que comprende usar los resultados de la etapa iv) para llevar a cabo una clasificación basándose () bien de píxel a píxel o de región a región con una reproyección en el espacio de segmentación con el fin de mejorar la precisión de los límites de dicho primer plano.
18.

Sistema para segmentación de primer plano de imágenes en tiempo real, que comprende al menos una cámara, medios de procesamiento conectados a dicha cámara para recibir imágenes adquiridas por la misma y para procesarlas con el fin de llevar a cabo una segmentación de primer plano de imágenes en tiempo real, caracterizado porque dichos medios de procesamiento están previstos para llevar a cabo dicha segmentación de primer plano mediante elementos de hardware y/o software que implementan al menos las etapas i) a iv) del método según cualquiera de las reivindicaciones 8 a 17.
19.

Sistema según la reivindicación 18, que comprende una pantalla conectada a la salida de dichos medios de procesamiento, estando previstos estos últimos también para generar imágenes tridimensionales reales y/o virtuales, a partir de siluetas generadas a partir de dicha segmentación de primer plano de imágenes, y visualizarlas a través de dicha pantalla.
20.

Sistema según la reivindicación 19, caracterizado porque constituye o forma parte de un sistema de telepresencia.