ES2353228T3 - MÉTODO Y SISTEMA PARA EL SEGUIMIENTO DISTRIBUIDO DE MÚLTIPLES BLANCOS. - Google Patents

Abstract

Un método de cálculo de ordenador para el seguimiento distribuido de múltiples blancos (102) u objetivos utilizando un algoritmo de Maximización de Expectación (EM) variable, en el que el método controla un sistema de vigilancia, comprendiendo el sistema de vigilancia una pluralidad de seguidores (502) que siguen a múltiples blancos (102) correspondientes, comprendiendo el método: estimar (604) una variable de estado de movimiento de cada uno de la pluralidad de seguidores (502), siendo efectuada la estimación en la operación E del algoritmo EM variable; estimar (606) una variable (302) de asociación de datos de cada uno de la pluralidad de seguidores (502) basándose en un algoritmo de optimización discreto basado en un gráfico, siendo ejecutada la estimación en la operación M del algoritmo EM variable en donde la variable (302) de asociación de datos puede tener valores de un conjunto discreto; y seguir (608) los múltiples blancos (102) basados en la variable de estado de movimiento y la variable (302) de asociación de datos de cada uno de la pluralidad de seguidores (502).

Description

ANTECEDENTES DE LA INVENCIÓN

Esta invención se refiere generalmente al seguimiento de múltiples blancos u objetivos y más particularmente a un método y un sistema para el seguimiento de blancos u objetivos múltiples en un sistema de vigilancia.

Karl J. Molnar y otros, describen en IEEE Transactions, Signal Processing, Vol. 46, Nº 1, Enero 1998 un procedimiento iterativo para el seguimiento repetitivo multiblanco/multi-sensor.

Jordan M. I. y otros, Máquina de Aprendizaje, Editores Académicos Kluwer, Boston, EE.UU., Vol. 37, Nº 2, Noviembre 1999, las páginas 183-234 describen la utilización de métodos variables para la interferencia y el aprendizaje en los modos gráficos.

Los seguimientos de múltiples blancos son importantes en muchas aplicaciones, tales como, por ejemplo, vigilancia de vídeo, control del tráfico, análisis de la actividad humana, análisis de vídeo de deportes, y actividades similares. En adición al seguimiento de la posición de un blanco, otras propiedades del blanco tales como su velocidad, tamaño, etc. pueden ser observadas. El análisis de la trayectoria de un blanco permite la predicción de la trayectoria futura del blanco de modo que puede ser decidida una acción apropiada. Por ejemplo, el seguimiento de actividades humanas en un área apiñada tal como un aeropuerto es importante porque pueden ser detectadas actividades inusuales y cualquier posible daño puede ser evitado.

Es más fácil seguir blancos cuyas apariencias sean distintivas puesto que pueden ser usados múltiples seguidores de blanco independientes para detectarlos. En ese tipo de situación, todos los blancos distintos a un blanco específico pueden ser vistos como fondo debido a su distinta apariencia. No obstante, es difícil observar múltiples blancos cuyas apariencias sean similares, tales como gente en espacios apiñados. El seguimiento de múltiples blancos es de modo fundamental diferente del seguimiento de un blanco único y requiere la asociación lógica de datos complejos para separar las mediciones detectadas de la partición para cada fuente de datos individual, y el establecimiento de su correspondencia con los seguidores mantenidos. Esto implica dos procedimientos importantes que deciden el éxito de un algoritmo de seguimiento multiblanco, la asociación de mediciones del seguidor y la filtración del seguidor, que son, en esencia, dos propiedades intercaladas. Además. El seguimiento de múltiples blancos está relacionado con la oclusión de blancos, en adición a otros problemas asociados con el seguimiento de un blanco único. Con otras palabras, u blanco debe ser reconocido y seguido incluso mientras esté ocultado o bloqueado por otros objetos.

Soluciones ordinarias para resolver este problema efectúan una representación generalizada de un vector de asociación común, que es entonces estimado ya sea mediante enumeraciones exhaustivas, tales como el filtro de la Asociación de Datos Probabilísticos Combinados (JPDA), o mediante la optimización de Monte Carlo probabilística. No obstante, en estos métodos, la complejidad computacional implicada es tremenda, especialmente cuando un gran número de trayectorias y necesidades de datos de medición que se necesitan han de ser manipulados. Soluciones basadas en el muestreo han sido propuestas también para modelar la función de probabilidad conjunta, estimando por tanto el estado combinado de todos los blancos directamente. Sin recurrir a calcular explícitamente la asociación de datos, las soluciones basadas en el muestreo demuestran las capacidades de seguimiento de múltiples blancos cuando están presentes movimientos complejos. No obstante, debido a la naturaleza centralizada de la representación del estado de la unión, la complejidad de estas soluciones crece exponencialmente a medida que el número de blancos a ser detectado aumenta.

A la luz del examen anterior, existe una necesidad de un método que proporcione una complejidad de cálculo reducida para el seguimiento de múltiples blancos.

BREVE DESCRIPCIÓN DE LA INVENCIÓN

La presente invención se define en las reivindicaciones 1 y 6.

Una realización a modo de ejemplo de la invención proporciona un método y un sistema para el seguimiento distribuido de múltiples blancos en un sistema de vigilancia que usa un algoritmo de Maximización de la Expectación (EM). Para cada imagen sucesiva recibida, un módulo de detección detecta múltiples blancos en el bastidor recibido y proporciona las detecciones a un módulo de seguimiento. El módulo de seguimiento incluye una pluralidad de seguidores. Cada seguidor calcula su propio estado de movimiento variable en la operación E del algoritmo EM variable. Además, cada seguidor calcula su variable de asociación de datos con una de las múltiples detecciones de blanco en la operación M del algoritmo EM variable. El sistema de seguimiento distribuido presenta condicionantes sobre los valores de las variables de asociación de datos de la pluralidad de seguidores de los mismos que impiden asociaciones de datos no razonables. Basado en la variable de estado de movimiento calculada y en la variable de asociación de datos, cada seguidor sigue su blanco correspondiente.

Otra realización a modo de ejemplo de la invención proporciona un seguidor capaz de calcular su propia variable de estado de movimiento y la variable de asociación de datos. Cada seguidor calcula su propia variable de estado de movimiento en la operación E de un algoritmo EM variable. Además, cada seguidor calcula su variable de asociación de datos asociando el seguidor con uno de los múltiples blancos en la operación M del algoritmo EM variable y proporciona la información relacionada con su variable de asociación de datos calculada a otros seguidores en el sistema de seguimiento distribuido. Basado en la variable de estado de movimiento calculada y la variable de asociación de datos, cada seguidor sigue su blanco correspondiente. Además, cada seguidor actualiza su propia variable de asociación de datos basándose en la información recibida de los otros seguidores y es capaz de seguir un blanco incluso cuando el blanco está parcialmente ocultado por un objeto o por otro blanco.

Estas y otras ventajas y características se comprenderán mejor a partir de la descripción detallada siguiente de realizaciones preferidas de la invención que se proporciona en conexión con los dibujos que se acompañan.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

La Figura 1 representa un medio en el que las realizaciones de la invención pueden ser puestas en práctica. La Figura 2 es un diagrama de bloques que representa un sistema para el seguimiento de múltiples blancos de acuerdo con una realización de la invención. La Figura 3 representa limitaciones de la asociación de datos por pares de múltiples seguidores de acuerdo con una realización de la invención. La Figura 4 es un diagrama de bloques que representa un seguidor de acuerdo con diversas realizaciones de la invención. Las Figuras 5A. 5B y 5C representan la asociación entre seguidores y blancos en imágenes consecutivos de acuerdo con diversas realizaciones de la invención. La Figura 6 es un diagrama de flujo que representa un método para el seguimiento de múltiples blancos de acuerdo con una realización de la invención.

Las Figuras 7A y 7B son diagramas de flujo que ilustran un método para el seguimiento de múltiples blancos de acuerdo con otra realización de la invención.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN

Varias realizaciones de la invención proporcionan un método y un sistema para el seguimiento distribuido de múltiples blancos. Un algoritmo de Expectación-Maximización (EM) variable se usa para calcular variables de estado de movimiento y variables de asociación de datos de una pluralidad de seguidores. La pluralidad de seguidores sigue sus correspondientes blancos sobre la base de variables de estado de movimiento calculadas y variables de asociación de datos.

La Figura 1 representa un medio 100 en el que realizaciones de la invención pueden ser puestas en práctica. El medio 100 incluye tres blancos 102a, 102b y 102c, y una presentación 104. La presentación 104 presenta los blancos que son seguidos continuamente sobre su pantalla. La presentación 104 puede ser empleada en un área muy poblada tal como un aeropuerto, de modo que las actividades humanas en el aeropuerto pueden ser detectadas y las actividades inusuales pueden ser detectadas. Las imágenes de vídeo presentadas en la presentación 104 pueden ser vigiladas por un operador humano y/o revisadas después por un operador humano. Tales imágenes de vídeo pueden ser vigiladas también por un sistema automatizado, economizando por tanto el trabajo de personas y mejorando los regímenes de detección. Aunque la Figura 1 muestra solamente tres blancos presentados sobre una presentación, cualquier número adecuado de blancos puede ser también detectado empleando la instalación seguimiento de blancos múltiple.

La Figura 2 es un diagrama de bloques que representa un sistema 200 para el seguimiento de múltiples blancos de acuerdo con una realización de la invención. El sistema 200 incluye un módulo 202 de entrada, una imagen 204, un módulo 206 de seguimiento y detección, y una presentación 208. El módulo 206 de detección y seguimiento incluye un módulo 210 de detección y un módulo 212 de seguimiento. El módulo 202 de entrada proporciona la imagen 204 al módulo 206 de detección y seguimiento. El módulo 206 de detección y seguimiento detecta y sigue múltiples blancos presentes en la imagen 204 usando un algoritmo de Expectación-Maximización. El módulo 206 de detección y seguimiento proporciona su salida a una presentación 208 que presenta los múltiples blancos que son observados.

De acuerdo con diversas realizaciones de la invención, el módulo 202 de entrada puede ser una fuente de vídeo de CCTV normal u otra fuente de vídeo. La imagen 204 incluye múltiples blancos que necesitan ser observados. Por tanto, los blancos que han de ser observados son recibidos como una secuencia de imágenes

204. La imagen 204 comprende píxeles y cada píxel puede tener diferentes características tales como brillo contraste, color, y así sucesivamente. La presentación 208 puede ser cualquier rejilla capaz de desplegar blancos que sean seguidos.

El módulo 210 de detección detecta blancos dentro de la imagen 204. El módulo 210 de detección puede detectar los blancos mediante técnicas bien conocidas en la ciencia. El módulo 212 de detección detecta los múltiples blancos usando una pluralidad de seguidores que son inicializados después de que los múltiples blancos son detectados. Los múltiples blancos son detectados por la pluralidad de seguidores usando el algoritmo de EM variable iterativamente. En particular, para cada imagen recibida, los múltiples blancos son detectados y cada seguidor predice la posición de su blanco correspondiente para la imagen siguiente y rastrea su blanco correspondiente usando el algoritmo de EM variable. Cada uno de los múltiples blancos puede ser mostrado en una región rectangular sobre la presentación 208. El procedimiento exacto de observar los múltiples blancos se explica detalladamente en el párrafo siguiente.

Se considera que, en un bastidor t ordinario del módulo 202 de entrada, m, mediciones son detectadas mediante el módulo 210 de detección y las cuales son designadas por Z t , donde:

Z t = {z1, t, z2,t,...zmt, t}.mt. Cada medición se refiere a un blanco diferente que es detectado en la imagen corriente t. Los datos medidos recogidos sobre un conjunto completo de imágenes son representados por Zt, donde Zt = {Z1, Z2,..., Zt}.

De acuerdo con diversas realizaciones de la invención, M seguidores son representados de una manera distribuida y cada seguidor i, donde i representa el identificador del seguidor e i�{1, 2, ... M}, tiene dos variables desconocidas que han de ser estimadas, {a1,t,xi,t}. Con otras palabras, cada seguidor i se considera que está asociado con una variable, ai,t de asociación de datos y una variable, xi,t de estado de movimiento, las cuales necesitan ser determinadas para seguir un blanco correctamente. ai,t designa una variable de asociación de datos del seguidor i y puede tener valores a partir de un conjunto discreto {0, 1, ..., mt}. Por tanto, el seguidor i se puede asociar el mismo con cada medición posible Zai,t,t de Zt, o asociar este con nada, es decir ai,t = 0. En particular ai,t = 0 indica la falta de detección de un blanco o la desaparición de un blanco del campo de la visión. De modo similar, xi,t designa la variable de estado de movimiento del seguidor i. Dependiendo de cada escenario de aplicación específico, xi,t puede describir propiedades del blanco, tales como lugar de blanco, velocidad, escala, y similares. Las variables de asociación de datos y de

5 estado de movimiento de los seguidores M son designadas como a1={a1 ,t,a 2 ,t,.., aM,t}, xt={x1,t,x2,t,...,xM,t}. Cada uno de los M seguidores es asignado a una identificación única ID. En esencia múltiples algoritmos de seguimiento de blanco tratan con el problema de estimar una probabilidad posterior tal como p(xt,at|Zt) que requiere 10 capacidad de cálculo compleja debida a la naturaleza pesadamente intercalada de {a1,x1}. De acuerdo con diversas realizaciones de la invención, una posteriormente marginal es estimada sobre una variable y la otra variable es tratada como oculta bajo la formulación de datos que falta. Además el problema del seguimiento de múltiples blancos se resuelve repitiendo iterativamente el algoritmo EM variable. 15 De acuerdo con diversas realizaciones de la invención, el estado de movimiento variable del seguidor, que es xt es considerado como la variable que falta. Esta proporciona una estimación incrementada de modo continuo de una distribución probabilística sobre xt en la operación E de las iteraciones EM. Seguidamente en la operación M, un punto estimado (máximo a posteriori) de la variable at se calcula que 20 puede ser optimizado mediante técnicas de optimización basadas en grafos, tales como el algoritmo de corte del grafo multimodo y al algoritmo de propagación de la creencia de producto máximo. Aunque la invención ha sido explicada con respecto a la operación M que sigue la operación E, es evidente que la operación M puede ser ejecutada con anterioridad a la ejecución de la operación E. El orden en el que las dos 25 operaciones se ejecutan no afecta a la salida del algoritmo EM. Consecuentemente, el problema del seguimiento de múltiples blancos se formula como un problema de estimación a posteriori de un máximo (MAP) de la variable at de asociación de datos como sigue:

imagen1

30 Donde E(at) representa la función objetivo original que necesita ser maximizada. La ecuación (1) puede ser representada también en la forma siguiente:

imagen1

A partir de la desigualdad de Jensen, se introduce una función Q (x t) en la Ecuación

(2) como

imagen2

donde la igualdad se mantiene solamente cuando la asociación optima at * está

determinada y Q ( x ) = p(a *. x Zt ).

t tt

Maximizando la función E(at)objetivo original se puede conseguir maximizar

~

tQ xt sobre sus dos propiedades

10 iterativamente la función de enlace inferior E(a ()) desconocidas at y Q(xt). En principio aunque Q(x) puede ser definida como cualquier distribución probabilística sobre xt, en este caso Q(xt) está definida como

imagen3

donde cada factorial Qi(xi,t) aproxima las probabilidades marginales desconocidas p(xi,t|Zt). A partir de la Ecuación (3) la maximización de la función de enlace inferior

~

E(at ,Q(xt )) puede ser expresada como: donde H(Q(xt)) es la entropía de Q(xt) y p(Zt|Zt-1) es una constante añadida. Aplicando la regla de la cadena al término p(at,xt,Zt,|2t-1).

imagen1

imagen1

Usando una hipótesis de Markovian, la probabilidad a priori de la asociación de datos variable p(at|xt,Zt-1) puede ser simplificada como p(at|Zt-1)=p(at|xt) y el modelo de 10 probabilidad como p(Zt|at,xt,Zt-1|at,xt). La maximización de la función de enlace inferior en la Ecuación (5) puede ser expresada entonces como

imagen1

Por tanto, para resolver el problema de seguimiento de múltiples blancos, cada una de

15 las tres distribuciones, es decir, la predicción de la probabilidad p(xt|Zt-1), la probabilidad a priori de la asociación de datos variable p(at|xt,Zt-1), y el modelo p(Zt |at,xt,Zt-1) necesita ser modelado.

Predicción de Movimiento, p(xt |Zt-1): Se puede ver que el término p(xt|Zt-1) en la Ecuación (6) es el modelo de predicción de movimiento de los observados y puede ser expresado por:

imagen1

Este movimiento conjunto posterior p(xt-1|Zt-1) puede ser aproximado adecuadamente por medio del producto de sus componentes marginales p(xi,t-1 Zt −1 ) como

imagen1

Suponiendo que la función Q óptima Qi*(xi,t-1) para el |movimiento a posteriori p(xi,t-1|Zt1) y también emplea un modelo dinámico independiente donde:

imagen1

15 Asociación prioritaria: p(a |x ): La asociación prioritaria p(p(a |x ), es la

tt tt

probabilidad prioritaria de la variable a ={a, a , ..., a }y se explica en

t 1,t 2,tM,,t

combinación con la Figura 3. El modelo probable, p(Z |a ,x ): El modelo p(Z |a ,x ) probable de la unión de

ttt ttt

los datos Z , de medición condicionados sobre (a ,x ). Además,

t tt

M

20 p(Z |x )# � p(zx ) .

tt i,t

i,t

i =1

Si a t se proporciona, este modelo de junta probable puede ser factorizado puesto que se sabe que los datos Za ,t son generados desde cada seguidor x que es,

i,t i,t

imagen1

5

La Figura 3 representa la obligación de asociar un par de datos inteligentes de múltiples seguidores de acuerdo con una realización de la invención. La Figura 3 incluye la asociación de variables 302a, 302b, 302c, 302d y 302e, todas lógicamente conectadas entre sí. Condicionada sobre las variables de estado de movimiento

10 x ,p(a |x ) está la probabilidad a priori de la variable a = {a, a ..,a } y

t tt t 1,t 2,tM ,t

puede ser formulada como un par de gráficos distribuidos pero completamente conectados como se muestra en la figura. El modelo probabilístico correspondiente puede ser expresado como:

imagen3

donde E designa el conjunto de seguidores vecinos en el cual se introduce la obligación de la asociación, y �(a ,a |x )eslaligaduradelparentrea ya .

i.t j,tt i,tj,t

Z es una función de partición que se introduce para hacer p(a |x ) una distribución

xt tt

20 correcta de la probabilidad. En la Figura 3, cada círculo representa una variable de asociación de un seguidor, y los bordes que los conectan representan la existencia del par útil de ligaduras de asociación. Los bordes de los enlaces entre {a1 (k), a 2 (k) y a (k),a (k), a (k) son regruesados para ilustrar que los seguidores en cada uno de

3 4 5

estos dos grupos están espacialmente más cerca unos de otros.

De acuerdo con una realización de la invención p(a t |x t ) se supone que es independiente de los movimientos x t de los seguidores. Por tanto,

imagen1

donde

imagen1

Ambos a y a pueden escoger valores del conjunto {0, 1, ... m}.

i,tj,t

De la discusión anterior, puede deducirse que la predicción del movimiento, p(x |z ),

tt −1

10 la asociación anterior p(a |x ), y el modelo p(Z |a , x ) de probabilidad, toman todos

tt ttt

formas factorizadas o distribuidas. Además, la ecuación (7) puede ser escrita como:

imagen1

Por tanto, la solución EM al problema designado por la Ecuación (15) implica

resolver dos operaciones iterativas, una operación que calcula una mejor Q’(x t ). Y

otra que halla una mejor asociación a t ' . Estas dos operaciones, es decir, la operación

E y la operación M, son resueltas por cada seguidor que sigue cada uno su blanco correspondiente y se explica más detalladamente con referencia a la Figura 4. La Figura 4 representa un diagrama de bloques de un seguidor 400 de acuerdo con diversas realizaciones de la invención. El seguidor 400 incluye un módulo 402 de

5 ejecución de la operación E y un módulo 404 de ejecución de la operación M. Un módulo 402 de ejecución de la operación E y un módulo 404 de ejecución de la operación M calculan la variable de estado de movimiento y la variable de asociación de datos del seguidor 400 respectivamente. La salida del módulo 402 de ejecución de la operación E es dada como entrada en el módulo 404 de ejecución de la operación

10 M y viceversa. Por tanto estos dos módulos efectúan el algoritmo EM en el seguidor

400. En particular, el módulo 402 de ejecución de la operación E calcula una mejor:

'

Q’(x ) = �MQ (x ) sobre los movimientos x de los seguidores para

ti,t t

i =1 i

15 maximizar E(a t , Q(x t ). Además. El módulo 404 de ejecución de la operación M halla

' '' '

una mejor asociación a ={a , a ,..,a } para maximizar E( a ,Q’(x )).

t 1,t 2,tM ,t tt

En la operación E, la derivada parcial del objetivo es obtenida en la Ecuación

(15) sobre Q (x ). Además, el condicionante para cada Q (x ) debe ser una

ii,t ii,t

distribución probabilística válida que sea aplicada, que es:

20

imagen1

Este condicionante puede ser reforzado lo cual proporciona la ecuación de actualización para cada seguidor i como

' t −1

25 Q(x) � p(z ,t|x)|Z) ... (16)

i i,t ai,ti,t

En este caso los datos de medición Za ,t usados para filtrar x están

i,t i,t

condicionados sobre la variable a i,t , que es estimada desde la siguiente operación M. Se puede ver que la anterior operación E de actualización está compuesta de

ecuaciones de actualización independientes de M, donde cada ecuación es para un seguidor individual. Un filtro de Kalman puede ser aplicado directamente al cálculo de la operación E en la Ecuación (16) si se asume que el modelo p(x |a ,x ) en la

ttt

ecuación (11) es de naturaleza gaussiana. 5 En la operación M, un conjunto actualizado de variables de asociación a ={a,

t 1,t

a ,...,a }está determinado para incrementar el objetivo dado al ya actualizado

2,tM ,t

Q’(x t ) de la operación E.

imagen1

Los siguientes dos términos son definidos:

imagen3

las cuales son las funciones de a ,a ) y a respectivamente. La Ecuación. (17)

i,tj,ti,t

puede ser entonces escrita como: Los valores {a, a ,..., a } son de un conjunto de valores discretos, y por

imagen1

1,t 2,tM ,t

consiguiente, ambos f (a ,a ) y g (a ) pueden ser calculados antes de la

i, j i,tj,t ii,t

optimización de la operación M. El cálculo de la integral implicada en la Ecuación (18) puede ser calculado analíticamente suponiendo que Q (x ) es gaussiano. Además, la

ii,t

5 Ecuación (19) puede ser resuelta mediante algoritmos tales como algoritmos de corte de gráfico multivía, de propagación de creencia en el producto máxima, y similares. El algoritmo de propagación (BP) de creencia en el producto y sus variantes distinguidas con su paradigma de cálculo paralelo y distribuido, y que imparte el cálculo distribuido en la operación M.

10

De acuerdo con una realización de la invención, con objeto de rastrear un objetivo incluso cuando está parcialmente ocluido, nosotros consideramos la descomposición de la parte K del blanco. Los detectores de la parte K están preparados para detectar las partes K recogiendo datos de entrenamiento de una 15 parte correspondiente. Vamos a considerar el caso en que el blanco está dividido en tres partes, hombro-cabeza, torso y piernas (K=3). Entonces, la variable de asociación de datos de un seguidor está formada por K partes, es decir, a =

i,t

(a , , ,a , , ,...,a , , ),dondecada a ,k�K describe una asociación que asigna

i 1 ti 2 t iKt i,k ,t,

una p arte de detección de una parte correspondiente de detector al seguidor i. El

20 movimiento del estado variable del seguidor es x . Condicionado sobre x y la

i,t. it

variable a , la función de probabilidad p(z |x ) puede ser expresado como:

i,t aii.t

imagen1

25 Además, la asociación preferente p(a t ) puede ser designada como

imagen1

Por tanto, en caso de descomposición de la parte K, las optimizaciones del gráfico K pueden ser realizadas para obtener las asociaciones de parte óptimas

''' '

5 a =(a ,a ,...a ) simultáneamente.

í ,ti,1,ti,2,ti,K ,t

De acuerdo con otra realización de la invención, el seguidor i puede ser usado en un espacio tridimensional (3D) y la variable de estado de movimiento de cada seguidor de 3D contiene información profunda. Por ejemplo, x < x

i,tj,t

designa una hipótesis de movimiento de que el seguidor i está más cerca de una 10 cámara que el seguidor j y permite que cuatro detecciones Z= {z..., z } sean

1 1,t , lt

devueltas. Condicionadas porque x < x , las cuatro detecciones están divididas en

i,t jt,

Z1 ={z,z ,z }yZ 2 ={z}, dependiendo de si la detección está cubierta por la

t 1,t 2,t 3tt 1,t

proyección del seguidor delantero i. En este caso, además de la restricción común {a =a � 0}, todas las configuraciones con a = 4 son inaceptables puesto que la

i,tj,tj,t

15 hipótesis de movimiento es x < x . Filtros de partículas pueden ser usados para

i,tj,t

hacer correr los seguidores debido a la no linealidad implicada. Por tanto, la probabilidad Q (x ) será representada por un conjunto de partículas ponderadas, y

ii,t

todos los cálculos de integrales examinados anteriormente serán representados por sumas por el contrario.

20 La operación E puede escribirse entonces como: Donde la actualización de Q (x ) tiene cada seguidor vecino Q (x ) en

imagen1

ii,t jj,t

consideración. El objetivo de la operación M permanece siendo el mismo, No obstante, el modo de precalcular f (a ,a ) es modificado como:

i, ji,tj,t

imagen1

donde una integral evaluada sobre movimientos del par de seguidores (x , x )

i,tj,t

10 inteligentes se requiere para precalcular f (a ,a ).

i, ji,tj,t

Las Figuras 5A, 5B y 5C representan la asociación entre los seguidores y los blancos en imágenes consecutivas de acuerdo con diversas realizaciones de la invención. La Figura 5A es la salida del algoritmo variable EM aplicada a un bastidor e

15 incluye los seguidores 502a, 502b, 502c y 502d junto con sus correspondientes blancos en una imagen. Un seguidor es representado por un cuadrado mientras cada blanco es representado por un círculo que tiene dentro una cruz. Como se muestra en la Figura 5A, cada seguidor sigue a un blanco. Por tanto los seguidores 502a, 502b, 502c y 502d están asociados cada uno con un blanco diferente presente en la imagen.

20 La Figura 5B muestra el bastidor siguiente recibido de una cámara de vigilancia de vídeo. Desde la Figura 5B puede verse que cada uno de los blancos se ha movido desde su posición anterior. No obstante, cada uno de los seguidores ha mantenido todavía una asociación con su blanco correspondiente. La Figura 5C muestra el resultado de aplicar el algoritmo de EM variable al bastidor mostrado en la

25 Figura 5B. Como se muestra, los seguidores han dejado también sus posiciones primitivas y están siguiendo a sus blancos correspondientes. Este procedimiento continúa para cada bastidor recibido de su cámara de vigilancia de vídeo.

La Figura 6 es un gráfico de circulación que representa un método para el seguimiento de múltiples blancos de acuerdo con diversas realizaciones de la invención. En la operación 602 múltiples blancos son observados en un bastidor de vídeo. La detección de los múltiples blancos es efectuada por un módulo de detección y proporcionada a un módulo de seguimiento. El módulo de seguimiento incluye una pluralidad de seguidores.

En la operación 604, cada uno de una pluralidad de seguidores calcula su variable de estado de movimiento. El estado de movimiento se puede referir a cualquiera de las propiedades de blanco tales como situación del blanco, velocidad, escala, y similares. La variable de estado de movimiento se calcula en la operación E de un algoritmo variable de Expectación-Maximización (EM).

En la operación 606, cada uno de la pluralidad de seguidores calcula su variable de asociación de datos en la operación M del algoritmo de EM variacional. Cuando calcula su variable de asociación de datos, cada uno de la pluralidad de seguidores informa también a los otros seguidores sobre su estimación actual de la variable de asociación de datos. Los otros seguidores actualizan su asociación de datos basados en la información recibida.

En la operación 608, cada uno de la pluralidad de seguidores sigue su blanco correspondiente en el bastidor dado con la ayuda del algoritmo de EM variable.

Las Figuras 7A y 7B son gráficos de flujo que ilustran un método para el seguimiento de múltiples blancos, de acuerdo con otra realización de la invención. En la operación 702, un conjunto de seguidores está destinado a seguir múltiples blancos detectados en una imagen. En la operación 704, se recibe la imagen siguiente.

En la operación 706, se determina si hay alguna medición no asociada en la imagen recibida. Con otras palabras, se comprueba si algún blanco no está asociado con cualquier seguidor.

En la operación 708, si hay una medición no asociada en la imagen recibida un nuevo seguidor es inicializado como un seguidor temporal. No obstante, si no se detecta medición asociada, ningún nuevo seguidor es inicializado y el procedimiento continúa en la operación 714.

En la operación 710, se determina si la asociación de datos del seguidor temporal es válida para un número predefinido de bastidores. En la operación 712, si la asociación de datos se determina que es válida, el seguidor temporal es marcado como un seguidor establecido. No obstante, si la asociación de datos no es válida, el seguidor temporal termina en la operación 718.

En la operación 714, para cada seguidor establecido, se determina si existe una asociación de datos válida con su correspondiente blanco para un número seleccionado de imágenes. Si existe una asociación de datos válida, el procedimiento continúa y los blancos son seguidos continuamente en la operación 716. No obstante, si la asociación de datos válida no existe, el seguido establecido finaliza en la operación 718.

Por tanto, la invención proporciona un método y un sistema para el seguimiento de múltiples blancos. Un algoritmo de Maximización de la Expectación (EM) variable se usa para calcular las variables de estado de movimiento y las variables de asociación de datos de una pluralidad de seguidores. La pluralidad de seguidores siguen sus blancos correspondientes basándose en las variables de estado de movimiento calculadas y en las variables de asociación de datos. Ambas, la variable de estado de movimiento y la variable asociada de datos, son calculadas de una manera distribuida, reduciendo por tanto las complejidades de cálculo.

Un experto en la técnica de la ciencia de ordenadores será capaz de combinar el software creado como se describe con un propósito general apropiado o un hardware de ordenador de propósito especial, tal como un microprocesador, para crear un sistema de ordenadores o subsistema de ordenadores que incorporen realizaciones de la invención. Un aparato de acuerdo con la S realizaciones de la invención puede ser de uno o más sistemas de procesamiento que incluya, pero no se limite, a una unidad de procesado central (CPU, memoria, dispositivos de almacenamiento, enlaces de comunicación y dispositivos, servidores, dispositivos de I/O (E/S), o de cualquiera de los subcomponentes de uno o más sistemas de tratamiento, incluyendo software, hardware o cualquier combinación de subconjuntos de los mismos, que incluyan realizaciones de la invención.

El producto de programa de ordenador de una realización de la invención es ejecutable sobre un sistema de ordenador para hacer que el sistema de ordenador ejecute un método de filtración de una imagen que incluya un método de filtración de imágenes de la invención. El sistema de ordenador incluye un microprocesador, un dispositivo de entrada, una unidad de presentación y una interfaz con cualquiera de Internet o una red como Ethernet e Intranet. El microprocesador puede estar conectado con un bus de datos de comunicación. El ordenador incluye también una memoria. La memoria puede incluir una Memoria de Acceso Aleatorio (RAM) y una Memoria de Sólo Lectura (ROM). El sistema de ordenador comprende además un dispositivo de almacenamiento. El dispositivo de almacenamiento puede ser un disco duro de accionamiento o un almacén desmontable tal como disco flexible de almacenamiento, un disco óptico, etc. El disco de accionamiento puede también tener medios similares para cargar programas de ordenador u otras instrucciones dentro del sistema de ordenador. El sistema de ordenador incluye también una unidad de comunicación. La unidad de comunicación permite que el ordenador sea conectado a otras bases de datos y a Internet a través de una interfaz de I/O. La unidad de comunicación permite la transferencia así como la recepción de datos de otras bases de datos. La unidad de comunicación puede incluir un módem, una tarjeta Ethernet, o cualquier dispositivo similar que permita que el sistema de ordenador se conecte a bases de datos y redes tales como LAN, MAN, WAN, e Internet. El sistema de ordenador facilita entradas de un usuario a través de un dispositivo de entrada, accesible al sistema a través de la interfaz de I/O (E/S). Los diversos módulos pueden estar también en la forma de unidades de hardware.

El sistema de ordenador ejecuta un conjunto de instrucciones que están almacenadas en uno o más elementos de almacenamiento para procesar los datos de entrada. El conjunto de instrucciones pueden unos medios de instrucción de programa. Los elementos de almacenamiento pueden contener también datos u otra información como se desee. El elemento de almacenamiento puede estar en la forma de una fuente de información o de un elemento de memoria físico presente en la máquina de procesado.

El conjunto de instrucciones puede incluir diversos comandos que instruyan a la máquina de procesado para que ejecute tareas específicas tales como las operaciones que constituyan una realización del método de la invención. El conjunto de instrucciones puede estar en la forma de un programa de software. Además, el software puede estar en la forma de una colección de programas separados, un módulo de programa con un programa mayor o una porción de un módulo de programa. El software puede incluir también programación modular en la forma de programación orientada a objetos. El procesado de los datos de entrada mediante la máquina de procesado puede ser efectuado en respuesta a comandos del usuario, como resultado de un procesado previo o cumpliendo una solicitud hecha por otra máquina de procesado.

Consecuentemente, la invención no está limitada por la descripción anterior sino por el alcance de las reivindicaciones que se añaden.

Claims (10)

1. REIVINDICACIONES

   1.

   Un método de cálculo de ordenador para el seguimiento distribuido de múltiples blancos (102) u objetivos utilizando un algoritmo de Maximización de Expectación (EM) variable, en el que el método controla un sistema de vigilancia, comprendiendo el sistema de vigilancia una pluralidad de seguidores (502) que siguen a múltiples blancos (102) correspondientes, comprendiendo el método:

   estimar (604) una variable de estado de movimiento de cada uno de la pluralidad de seguidores (502), siendo efectuada la estimación en la operación E del algoritmo EM variable; estimar (606) una variable (302) de asociación de datos de cada uno de la pluralidad de seguidores (502) basándose en un algoritmo de optimización discreto basado en un gráfico, siendo ejecutada la estimación en la operación M del algoritmo EM variable en donde la variable (302) de asociación de datos puede tener valores de un conjunto discreto; y seguir (608) los múltiples blancos (102) basados en la variable de estado de movimiento y la variable (302) de asociación de datos de cada uno de la pluralidad de seguidores (502).

2. 2.

   El método de la reivindicación 1 que comprende además inicializar (708) la pluralidad de seguidores (502) para seguir los múltiples blancos (102), en donde la asociación entre la pluralidad de seguidores (502) y los múltiples blancos (102) está basada en un mapeo de uno con uno.

3. 3.

   El método de las reivindicaciones 1 ó 2, en el que el estado de movimiento variable de cada uno de la pluralidad de seguidores (502) se estima como una función de distribución de probabilidad en la operación E del algoritmo variable EM.

4. 4.

   El método de una cualquiera de las reivindicaciones precedentes, en el que la variable (302) de asociación de datos de cada uno de la pluralidad de seguidores

   (502) es estimada como un máximo a posteriori (MAP) al estimar en la operación M el algoritmo EM variable.

5. 5.

   El método de una cualquiera de las reivindicaciones precedentes, en el que la operación E y la operación M del algoritmo EM variable son repetidas un número predefinido de veces para hacer converger los valores de la variable de estado de movimiento y la variable (302) de asociación de datos en un margen predefinido.

6. 6.

   Un sistema (200) de seguimiento distribuido para el seguimiento distribuido de múltiples blancos (102) que usa algoritmo de Maximización de Expectación (EM) para la vigilancia del sistema que comprende:

   un módulo (212) de seguimiento que comprende una pluralidad de seguidores

   (502) para seguir múltiples blancos correspondientes (102), están do asociado cada uno de la pluralidad de seguidores (502) con estado de movimiento variable y una asociación de datos variable (302); en el que cada uno de la pluralidad de seguidores (502) estima la variable de estado de movimiento en la operación E del algoritmo EM variacional; y en el que cada uno de la pluralidad de seguidores (502) estima una variable

   (302) de asociación de datos que puede tener valores procedentes de un conjunto discreto basados en una formulación de optimización basada en gráficos, siendo efectuada la estimación en la operación M del algoritmo EM variacional.
7. 7. El sistema (200) de seguimiento distribuido de la reivindicación 6, en el que el módulo (212) de seguimiento inicializa la pluralidad de seguidores (502) para que sigan múltiples blancos (102), en donde la asociación entre la pluralidad de seguidores

   (502) y los múltiples blancos (102 está basada en un mapeo de uno con uno.
8. 8. El sistema (200) de seguimiento distribuido de las reivindicaciones 6 ó 7, en el que la variable de estado de movimiento de cada uno de la pluralidad de seguidores

   (502) es estimada como una distribución de la probabilidad en la operación E del algoritmo variacional EM.

9. 9.

   El sistema (200) de seguimiento distribuido de una cualquiera de las reivindicaciones 6 a 8, en el que la variable (302) de asociación de datos de cada uno de la pluralidad de seguidores (502) es estimada como un máximo a posteriori (MAP) de la estimación en la operación M del algoritmo variacional EM.

10. 10.

    El sistema (200) de seguimiento distribuido de una cualquiera de las reivindicaciones 6 a 9, en el que la operación E y la operación M del algoritmo varacional EM son repetidas un número predefinido de veces para hacer converger los valores de la variable de estado de movimiento y la variable (302) de asociación de datos en un rango predefinido.