ES2382311T3 - Aparato y método de clasificación del movimiento de objetos en una zona de control - Google Patents

Abstract

Un aparato para el control del movimiento de objetos en una región de control. El aparato comprende lo siguiente:- un dispositivo de detección sensible a la presencia o ausencia de un objeto en cada una de la pluralidad de zonas adyacentes en la región individualmente;- zonas dispuestas de manera que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas de zonas adyacentes en un dirección perpendicular a la primera dirección;- cada zona está asociada a un índice de zona respectivo;- el dispositivo de detección es capaz de capturar representaciones de forma secuencial de los objetos moviéndose a través de la región que comprenden los datos observados relativos a la presencia o ausencia de objetos en cada una de las zonas;- un dispositivo procesador conectado al dispositivo de detección y que procese los datos obtenidos en un patrón multidimensional de la presencia o ausencia de objetos en las zonas, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona;- el dispositivo procesador está configurado para segmentar el patrón en partes de patrón relacionadas con los eventos; y- un clasificador para clasificar las partes del patrón en relación con los datos históricos relativos a los eventos anticipados.

Description

Aparato y método de clasificación del movimiento de objetos en una zona de control

Descripción INTRODUCCIÓN Y ANTECEDENTES DE LA TÉCNICA [0001] La presente invención hace referencia a un aparato y un método de control del movimiento de objetos en una región de control. [0002] En la US 5.519.784 se revela un aparato y un método de clasificación del movimiento de objetos a lo largo de un pasaje. El aparato contiene medios para proyectar una matriz de haces de radiación lineales paralelos diferenciados y separados desde un lado del pasaje hacia el lado opuesto. Unos detectores situados en el lado opuesto del pasaje detectan cuando los haces son interrumpidos por una o más personas moviéndose en el pasaje tanto en una primera dirección como en una segunda dirección opuesta. Los haces espaciados son interrumpidos en diferentes momentos en una secuencia que corresponde al número de personas y la dirección del movimiento de las mismas. Las señales de los haces generadas interrumpidas consecutivamente se almacenan como datos históricos del movimiento del objeto en la memoria, y a continuación son procesadas para generar patrones de interrupción del haz compuestos que manifiesten el número de personas y la dirección del movimiento, encontrándose estos patrones en función del dominio del tiempo y el índice del sensor, es decir, la identidad del sensor y la posición en el pasaje. Los patrones generados resultantes son comparados con patrones de referencia utilizando el análisis de reconocimiento de patrones computarizado, como por ejemplo con una red neuronal artificial. La comparación clasifica a las personas en el pasaje en cuanto a la dirección del movimiento y el número. [0003] Este aparato y el método pueden no ser adecuados para algunas aplicaciones. Por ejemplo, los medios de proyección de los haces paralelos separados se encuentran montados sobre una carcasa alargada. La carcasa se encuentra montada normalmente a un lado del pasaje y se extiende paralela al suelo entre la altura del tobillo y la rodilla aproximadamente. Puede que la carcasa sea demasiado grande para encajar en el espacio disponible para la misma y/o puede que no sea estéticamente aceptable en algunas aplicaciones. Además, cuesta trabajo, tiempo y dinero montar este aparato a un lado del pasaje y a menudo es necesario trabajar en las paredes laterales del pasaje para instalar cableado que vaya hasta el aparato. Y además, los medios proyectores de los haces situados a un lado y los detectores al otro lado pueden desalinearse, lo que provocaría el cese del funcionamiento del aparato. Otro problema con este aparato montado a un lado es que una persona u objeto fijo en el pasaje puede interrumpir los haces, y por tanto, causar la no detección temporal del aparato de otros objetos que se muevan por el pasaje a ambos lados del objeto fijo. Otro problema más es que el margen de haces proyectados puede no ser suficiente para atravesar un pasaje ancho. Las estructuras intermedias que contienen el aparato adicional con todas las desventajas que se han mencionado deben cubrir todo el ancho del pasaje. Otro sistema conocido, pero que es esencialmente diferente, utiliza algoritmos de seguimiento e intenta identificar objetos diferenciados y vigilar su posición entre los fotogramas sucesivos producidos por un dispositivo de detección de objetos, para determinar un vector para cada objeto de interés. El procesamiento es complejo, ya que requiere un análisis completo de cada fotograma, y después una comparación con los fotogramas anteriores para determinar si un objeto es un objeto previo en una nueva posición, o un objeto nuevo. En relación a esto, encontramos la dificultad de distinguir entre dos personas por un lado, y por otro, una persona que lleva una mochila o equipaje, por ejemplo. Aislando objetos y obteniendo sus vectores, el sistema es capaz de seguir su movimiento por una zona de control predeterminada y así incrementar o disminuir el recuento en función de ello. Cualquier incapacidad del sistema para aislar objetos, relacionar sus posiciones sucesivas o distinguir el número de objetos compromete la exactitud del sistema. Además, el análisis visual requiere un uso extremadamente intensivo del procesador y es por ello caro. [0004] Se hace referencia a la GB-A-2337146, la cual revela un sistema en el que una cámara captura, en fotogramas sucesivos, imágenes de un objeto moviéndose en una zona de vigilancia. Se correlacionan los fotogramas sucesivos para identificar las regiones de movimiento dentro de cada fotograma y evaluar los vectores de movimiento para cada región. Se destaca también la EP-A-0700017, en la que se revela un método para el recuento direccional de objetos en movimiento capaz de contar los objetos en movimientos de manera estable a la vez que determina las direcciones de paso de los objetos en movimiento de manera precisa.

OBJETO DE LA INVENCIÓN [0005] Por consiguiente, es un objetivo de la presente invención proporcionar un aparato alternativo y un método de control del movimiento de objetos a través de una región de control.

RESUMEN DE LA INVENCIÓN [0006] Según la invención, se proporciona un aparato para el control del movimiento de objetos a través de una región de control. El aparato comprende lo siguiente:

− Un dispositivo de detección sensible a la presencia o ausencia de un objeto en cada una de una pluralidad de zonas adyacentes en la región.

− Las zonas están dispuestas de forma que hay al menos dos hileras de zonas adyacentes en una primera dirección y al menos dos hileras de zonas adyacentes en una dirección perpendicular a la primera dirección;

− Cada zona está asociada a un índice de zona respectivo;

− El dispositivo de detección está configurado de manera que sea sensible a la presencia o ausencia de un objeto en cada una de las zonas individualmente y es capaz de captar representaciones secuenciales de los objetos en movimiento a través de una región que comprenden la información detectada en relación a la presencia o ausencia de objetos en cada una de las zonas;

− Un dispositivo procesador conectado al dispositivo de detección para procesar la información detectada en patrones multidimensionales de la presencia o ausencia de los objetos en las zonas, en el que una primera dimensión es el tiempo, y una segunda dimensión es el índice de zona;

− El dispositivo procesador está configurado de manera que segmenta el patrón en partes del patrón en relación con los eventos; y − Un clasificador para clasificar las partes de los patrones en referencia a los

datos históricos relacionados con los eventos anticipados. [0007] El dispositivo de detección puede contener al menos una cámara, que se monta en los alto de la zona de control. [0008] El dispositivo de detección puede comprender un par estéreo de cámaras que cubra la región desde diferentes ángulos. [0009] Por tanto, el sistema según la invención no trata de identificar cada objeto único en el campo de visión, sino que analiza un evento y comparándolo con la información previa de las características del evento, es capaz de dar una cifra de recuento utilizando un clasificador, que puede comprender una red neuronal. El procesamiento de la imagen es relativamente sencillo y puede realizarse de un modo relativamente barato, mientras que la propia red neuronal puede ejecutarse en un microprocesador relativamente simple, ahorrando así en costes. Se cree que el sistema también puede paliar al menos algunos de los problemas arriba mencionados asociados con el sistema montado a un lado de la US 5.519.784. [0010] La pluralidad de zonas puede formar una matriz de zonas inmediatamente adyacentes y cada zona puede tener una primera dimensión en la primera dirección y una segunda dimensión en la segunda dirección y un área.

[0011] La información detectada puede comprender datos o un parámetro proporcional a la parte del área de la zona que está siendo ocupada por el objeto. [0012] El dispositivo procesador puede configurarse para segmentar el patrón a lo largo de la dimensión del tiempo, en regiones del patrón de inactividad. [0013] Según otro aspecto de la invención, se proporciona un método de control del movimiento de los objetos a través de una región de control. Dicho método comprende las siguientes etapas:

− Dividir la región en una pluralidad de zonas, estando cada zona asociada a un índice de zona;

− se disponen las zonas de forma que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas de zonas adyacentes en una dirección perpendicular a la primera dirección;

− utilizar un dispositivo de detección automáticamente y de forma secuencial para detectar la presencia o ausencia de objetos en cada una de las zonas individualmente;

− generar información relativa a un patrón multidimensional de la presencia o ausencia de los objetos en las zonas, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona;

− segmentar el patrón en partes del patrón relacionadas con los eventos; y − clasificar las partes del patrón en referencia a los datos históricos relativos a los

eventos anticipados. [0014] También incluida en el ámbito de la presente invención se encuentra un medio legible por ordenador que alberga un programa de ordenador para el control del movimiento de objetos a través de una región de control, el programa lleva a cabo los siguientes pasos:

− recibir de un dispositivo sensor los datos obtenidos en relación con las representaciones de forma secuencial de objetos en movimiento a través de la región, comprendiendo los datos obtenidos datos relacionados con la presencia

o ausencia de objetos en cada una de la pluralidad de zonas, estando las zonas dispuestas de manera que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas adyacentes en una dirección perpendicular a la primera dirección y en la que cada zona está asociada a un índice de zona;

− generar datos relativos a un patrón multidimensional de la presencia o ausencia de objetos en las zonas, en el que una primera dimensión es el tiempo, y una segunda dimensión es el índice de zona;

− segmentar el patrón en partes del patrón relacionadas con los eventos; y − clasificar las partes del patrón en referencia a los datos históricos relacionados

con los eventos anticipados, de ese modo, en uso, proporciona como resultado un recuento de objetos en movimiento en al menos una dirección a través de la región. [0015] La invención también se extiende a un firmware que comprende un programa de ordenador y a un programa de ordenador configurado para realizar los pasos arriba mencionados.

BREVE DESCRIPCIÓN DE LOS GRÁFICOS ADJUNTOS [0016] La invención se describirá a continuación, a modo de ejemplo únicamente, en relación con los gráficos en los que:

− La Figura 1 es una representación gráfica de una región de control con una cámara de un aparato de control del movimiento de objetos en una región, montado sobre dicha región;

− La Figura 2 es una representación gráfica de una matriz de zonas en la región

de control; − La Figura 3 es un diagrama de bloques del aparato; − La Figura 4 es un diagrama de flujo de las partes relevantes de un método de

control del movimiento de objetos a través de una región de control; − La Figura 5 es un diagrama que ilustra imágenes secuenciales de un objeto elíptico moviéndose a través de la región; − La Figura 6 es una representación tridimensional del objeto en movimiento en la región, siendo una dimensión el tiempo; − La Figura 7 es una representación alternativa en la que el tensor tridimensional

ha sido aplanado en una matriz bidimensional; − La Figura 8 es una representación resultante de los eventos de la figura 5; − La Figura 9 es una imagen del evento en las figuras 5 y 9; − La Figura 10 es una fotografía desde arriba de una pluralidad de personas en

movimiento a través de la región; − La Figura 11 es una representación similar a la figura 6 del evento de la figura

10; − La Figura 12 es una imagen similar a la figura 9 del evento de la figura 10; − La Figura 13 es un gráfico de distribuciones asociadas a un canal de píxeles; − La Figura 14 es una representación de un modelo de un subevento simple;

− La Figura 15 muestra imágenes de búsqueda de un subevento; − La Figura 16 es una representación de los máximos que definen los centros de subeventos; − La Figura 17 es una representación de las primeras cuatro dimensiones de un modelo de subevento; − La Figura 18 es una representación de los subeventos extraídos del evento en la figura 15 y sus clasificaciones; y

− La Figura 19 es una representación del evento original en la figura 15 y un evento residual después de que los subeventos en la figura 18 hayan sido eliminados.

DESCRIPCIÓN DE UN MODO DE REALIZACIÓN PREFERIDO DE LA INVENCIÓN [0017] El aparato de control del movimiento de objetos en una región de control 12 se designa generalmente mediante el número de referencia 10 en las figuras 1 y 2. [0018] La región 12 puede formar parte de un portal o pasaje 14 en un punto de recuento, como una entrada 16 de un edificio 18 y el aparato 10 puede utilizarse de manera automática y durante un periodo de tiempo para controlar y contar las personas 26 que entran al edificio o abandonan el mismo por la entrada, tal y como se describirá a continuación. [0019] El aparato 10 comprende un dispositivo de detección 20 sensible a la presencia o ausencia de un objeto 26 en cada una de la pluralidad de zonas adyacentes 24.1 a 24.n en la región. En referencia a la figura 2, las zonas 24.1 a 24.n están dispuestas de manera que haya al menos dos filas de zonas adyacentes en una primera dirección y (que es generalmente la dirección del flujo de objetos a través la región) y al menos dos filas de zonas adyacentes en la dirección x perpendiculares a la primera dirección. Cada zona de la 24.1 a la 24.n se asocia a un índice de zona respectivo. El dispositivo sensor 20 está configurado de manera que sea sensible a la presencia o ausencia del objeto en cada una de las zonas individualmente y que sea capaz de captar representaciones de forma secuencial, preferentemente imágenes (como se muestra en las figuras 5 y 6) de un objeto en movimiento en la región. Las imágenes comprenden los datos obtenidos que contienen datos relativos a la presencia o ausencia del objeto en cada una de las zonas. El dispositivo procesador 22 (mostrado en la figura 3) está conectado al dispositivo de detección 20 para que procese los datos obtenidos en un patrón multidimensional (mostrado en las figuras 7 y 8) de la presencia o ausencia del objeto en las zonas mientras el objeto se mueve a través de la región, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona. El dispositivo procesador también está configurado para segmentar el patrón en partes del patrón en relación con los eventos y un clasificador para clasificar en tiempo real las partes del patrón con relación a los datos históricos relativos a los eventos anticipados. [0020] El dispositivo de detección puede comprender al menos un sensor de imagen, como una cámara de vídeo 20 y sistemas ópticos asociados 21, montados en la zona 12, para capturar imágenes de la zona de forma secuencial, comprendiendo cada imagen los datos obtenidos. El aparato también comprende un subsistema electrónico 23 que comprende el dispositivo procesador 22 (mostrado en la figura 3) conectado a la cámara 20 para recibir los datos obtenidos de la cámara y generar los datos del patrón multidimensional tal y como se describirá a continuación. [0021] La cámara 20 se encuentra montada preferentemente en lo alto del pasaje en el techo 28 y por lo tanto, sobre la región de control 12. La cámara puede comprender un par estéreo de cámaras que comprenda una primera y una segunda cámara dirigidas a la región con distintos ángulos de manera que puedan cubrir la región desde distintos ángulos para añadir una dimensión extra, y para definir la región de control 12 a un nivel o altura h adecuados sobre el suelo 30 del pasaje 14. El subsistema 23 puede facilitarse en la zona de control, o alternativamente de manera central en el mismo edificio para conectarse a dispositivos de detección similares de otras entradas (no mostrado) del edificio. Otra alternativa más es que el subsistema se sitúe en un lugar apartado y fuera del emplazamiento. [0022] En el ejemplo de modo de realización mostrado en la figura 2, la región de control 12 comprende un primer eje y que se extiende en una primera dirección y un segundo eje x que se extiende en una segunda dirección, la cual es perpendicular a la primera dirección, de manera que cada zona tiene un área. La pluralidad de zonas de la 24.1 a la 24.n antes mencionada en la zona de control 12 forma una matriz de filas y columnas de regiones adyacentes, teniendo cada una de ellas una primera dimensión en la primera dirección y una segunda dimensión en la segunda dirección. [0023] En el ejemplo de modo de realización mostrado en la figura 3, la cámara 20 está conectada al dispositivo procesador 22 del subsistema 23. El dispositivo procesador comprende una matriz de puertas programable en campo (FPGA), o alternativamente un dispositivo lógico programable complejo (CPLD) 32. El FPGA está conectado a un dispositivo RAM de puerto dual 34 y el dispositivo 34 está conectado al núcleo de procesamiento 36. En otros modos de realización (no mostrados) el dispositivo procesador 22 puede comprender un interfaz de cámara y un procesador con acceso directo a memoria (DMA). El subsistema 23 también comprende un módulo de comunicaciones 38 conectado al núcleo de procesamiento 36 y al circuito lógico 40. También se encuentran conectado al circuito lógico un reloj en tiempo real (RTC) 42, un dispositivo de memoria de datos 44 y un dispositivo de memoria de programa 46. Se suministra al aparato 10 energía eléctrica, mediante un módulo de suministro eléctrico 48, que se puede conectar a la red eléctrica. El módulo de comunicaciones 38 permite las comunicaciones de datos entre el aparato 10 y una red externa. [0024] Como se ha mencionado con anterioridad, la cámara 20 está configurada para capturar imágenes de la región 12 de forma secuencial. Por tanto, cada imagen y sus datos obtenidos vinculados están asociados a datos de momentos únicos, proporcionando así una dimensión temporal para los datos obtenidos y una representación multidimensional, tal y como se describirá a continuación. [0025] En referencia a la figura 5, las imágenes secuenciales generadas por el dispositivo de detección 20 cuando un objeto elíptico 26 se mueve a través de la región 12 se encuentran ilustradas entre las figuras 5(a) y 5(f). Por ejemplo, en el momento de la segunda imagen, que es la imagen de la figura 5(b), el objeto cubre la zona 24.3 completamente y las zonas 24.2, 24.4 y 24.8 de manera parcial. Los datos obtenidos pueden incluir, como parámetro, datos proporcionales a una parte del área de la zona que está ocupada o cubierta por el objeto. [0026] El flujo de datos o matrices obtenidos en las figuras 5(a) a 5(f) puede representarse en una representación tridimensional, en la que el tiempo es una dimensión y como se ilustra en la figura 6. [0027] La representación tridimensional puede reorganizarse mediante la vectorización de las matrices y así allanar el tensor tridimensional en una representación bidimensional en la que el tiempo (t) es una dimensión como se ilustra en la figura 7. [0028] El flujo de matrices de patrones es segmentado en el tiempo, correspondiendo a los periodos de actividad. Se provoca un evento siempre que la suma de elementos de las matrices de patrones excede un nivel umbral en un pequeño grupo de fotogramas consecutivos. Y a la inversa, un evento termina cuando la suma cae por debajo del umbral en un grupo de fotogramas consecutivos. [0029] Las representaciones del evento de la figura 5 se muestran en las figuras 8 y

9. [0030] En la figura 10 se muestra otro ejemplo de evento en el que una pluralidad de gente se mueve en ambas direcciones a través de la región 12. La figura 11 corresponde a la figura 6 para el segundo evento y la figura 12 corresponde a la figura 9 para este segundo evento.

[0031] En relación ahora con la figura 4, el aparato y el método tienen los siguientes componentes principales, preprocesamiento 60, extracción de eventos 70, extracción de características 80 y clasificación 90 para transformar y procesar una masa de datos relacionados con el píxel en un volumen de vídeo de dos números, a saber el recuento en la dirección A y el recuento en la dirección B. [0032] El preprocesamiento del vídeo frontal 60 se ocupa del procesamiento del flujo de píxeles en crudo a una forma que sea distintiva pero invariable con respecto al fondo así como una variación global del brillo y el contraste. Esta parte del sistema puede resultar la más sensible computacionalmente ya que opera a nivel del píxel. De este modo, el procesamiento del vídeo se mantiene relativamente simple de modo intencionado. En el número 62, la imagen es primero reducida a un tamaño manejable mediante filtración y remuestreo de compresión de la imagen. A partir de esta nueva imagen redimensionada se extrae una región activa. La región activa es un área especificada por el usuario en un fotograma que define el límite a partir del que se cuentan las personas. Por razones de eficacia computacional, este límite debe ser recto y estar alineado con el eje de la imagen. Este límite define dos direcciones, una primera dirección de flujo y y una segunda dirección x perpendicular a la misma. La región activa es un rectángulo alineado con el eje que se encuentra centrado sobre el límite. El ancho lateral del rectángulo es especificado por el usuario y su dimensión sobre la dirección de flujo es determinada por la escala relativa de un ser humano medio en el fotograma. Únicamente se continúa procesando la región activa y el resto del fotograma es descartado. Una tarea importante del preprocesamiento es normalizar el vídeo de entrada en bruto con respecto al fondo. En este contexto, el fondo debe definirse como la parte de la imagen que corresponde a los objetos en la escena que se encuentran estáticos físicamente durante un largo periodo de tiempo. Y a la inversa, el primer plano corresponde a las partes de la imagen que representan objetos físicamente en movimiento. Para segmentar un fotograma como tal, se construyen modelos de la variación de píxeles asociados con ambos el primer plano y el fondo. Puesto que el fondo se define por un índice de cambio bajo, se aproxima un modelo de fondo 64 básicamente mediante la aplicación de un filtro pasa bajo temporal a las estadísticas asociadas con el vídeo de entrada. El modelo del primer plano se construye analizando las estadísticas de las regiones de la imagen no suficientemente descritas por el modelo de fondo. Este proceso de normalización se denomina eliminación del fondo. En él, se intenta asignar en última instancia, a cada píxel de un fotograma de entrada, una probabilidad de que sea parte del primer plano (un objeto en movimiento).

[0033] Para mayor simplicidad computacional, cada píxel de entrada se considera de manera independiente, cada píxel, a su vez, tiene un conjunto de canales asociados al mismo. La variación dentro de estos canales es modelada mediante una distribución gaussiana multivariante. Esta elección está motivada débilmente por la ubicuidad de la distribución gaussiana debida al teorema del límite central, pero más por el hecho de que la distribución gaussiana puede ajustarse a datos de entrada simplemente calculando su media y propagación. La distribución gaussiana multivariante de una variable x aleatoria d-dimensional con media μ y covarianza L es la siguiente:

[0034] A menudo el logaritmo de esta distribución resulta más conveniente para la computación:

[0035] Donde:

[0036] Cada píxel está representado por un vector x d-dimensional de canales de píxeles. Comúnmente se utilizan cuatro canales, la luminancia y dos valores de crominancia del espacio de color YUV, así como la derivada temporal de la luminancia. La distribución condicional de los píxeles en primer plano y de fondo es como sigue:

[0037] Donde Sfg y Sbg=SCfg representan los conjuntos de x posibles que corresponden al primer plano y al fondo respectivamente y {μbg, Lbg} y {μfg, Lfg} corresponden a la media y covariancia asociada al primer plano y al fondo respectivamente. Para no alargar esta derivación, los subíndices fg y bg que denotan las dos distribuciones se omitirán en las ecuaciones para los modelos de primer plano y de fondo. [0038] Para mantener la simplicidad computacional, los canales de píxeles se considerarán independientes. De este modo, L se supone diagonal y así las distribuciones gaussianas se pueden expresar como sigue:

[0039] Donde a2i corresponde a los elementos de la diagonal de X, y xi y μi son elementos de una x y μ respectivamente para i= 1..d. Dadas las probabilidades previas para las dos clases, P(x∈Sfg) =Yfg, P(x∈Sbg)=Ybg, las distribuciones condicionales pueden transformarse en distribuciones conjuntas:

[0040] Se debe tener en cuenta que lo anterior está obligado por Yfg+ Ybg=1, puesto que 10 un píxel pertenece bien al primer plano o bien al fondo.

[0041] El objetivo fundamental es la probabilidad a posteriori P(x∈Sfg|x)=zfg(x), la probabilidad de que un píxel dado sea parte del primer plano. Esta puede calcularse según el teorema de Bayes de la siguiente manera:

[0042] En cuanto a las formas logarítmicas de las distribuciones, que representan mejor el verdadero método de cálculo, pueden expresarse como sigue:

[0043] Los parámetros de estas distribuciones {μbg, Lbg} y {μfg, Lfg} se adaptan con el tiempo para seguir los cambios de iluminación y los cambios en el fondo. La media del fondo μbg se modela por píxel, sin embargo, las varianzas Lfg, Lbg y la media del primer plano μfg son globales y compartidas por todos los píxeles en la imagen. Se realizó 25 esta elección para rebajar la complejidad computacional, pero también para que el cálculo de las varianzas sea más estable haciendo la media de la estadística para el fotograma completo. La figura 13 es un ejemplo típico de las distribuciones asociadas a un canal de píxel. La probabilidad a posteriori es cercana a 1 donde el primer plano es dominante, pero decrece hasta casi 0 donde el fondo es dominante. Los

parámetros del modelo de píxeles son actualizados gradualmente tras cada fotograma para seguir los cambios lentos en las estadísticas provocados por la variación de la iluminación global o adiciones al fondo. Los parámetros del modelo se actualizan de manera similar a un filtro IIR pasa bajo de primer orden. Dados los parámetros actuales 9i se definen los nuevos parámetros 9i+1 como sigue:

donde A es la tasa de adaptación y

es el vector de parámetros obtenidos al adaptar el modelo a los datos del fotograma actual. Las medias y varianzas del primer plano y el fondo se aproximan como un primer y segundo momento ponderado de los valores

10 del canal de píxeles. Las ponderaciones de los píxeles son dependientes de sus probabilidades asociadas. La probabilidad del primer plano se utiliza en el cálculo de los parámetros del modelo de primer plano y la probabilidad del fondo para los parámetros del fondo. Se usa una tasa de adaptación mucho más lenta para el cálculo de la varianza puesto que requiere un mayor grado de libertad, de manera que se

15 necesitan más datos para determinarla de manera fiable. Se añade una no linealidad a este enfoque lineal al hacer que A sea dependiente de las probabilidades de los píxeles de primer plano y de fondo. Esto se hace con la actualización de la varianza mediante la modulación de A mediante la fracción de los píxeles del primer plano en el fotograma actual. De este modo, las varianzas sólo cambian cuando hay actividad en

20 el fotograma. Esto evita que las varianzas lleguen a ser artificialmente pequeñas en largos periodos de no actividad. Esto también tiene sentido puesto que sólo interesa distinguir el primer plano y el fondo en los momentos de actividad en el fotograma. [0044] Una vez que la entrada de video es normalizada de forma que sea independiente del fondo y la iluminación, se descompone el vídeo en trozos

25 manejables. Esta tarea se lleva a cabo mediante remuestreo de compresión (down sampling) del vídeo normalizado en patrones y luego segmentando estos patrones en el tiempo para formar eventos. [0045] Los patrones se extraen en el punto 72 para cada fotograma directamente desde su imagen de probabilidad del primer plano. El patrón se construye simplemente

30 calculando la media de la probabilidad de primer plano dentro de las zonas 24.1 a 24.n de la cuadrícula o matriz que abarca la región. Como se muestra en las figuras 2 y 5, la cuadrícula tiene cuatro divisiones en la dirección de flujo. El número de divisiones en la dirección lateral depende del ancho físico de la región activa. La relación de aspecto de las zonas se mantiene constante, sin embargo, su escala se iguala al tamaño relativo medio de un humano en el fotograma. De ese modo, el fotograma produce un patrón que puede ser representado mediando una matriz cuyos elementos corresponden a la fracción de píxeles del primer plano en su zona asociada. [0046] Las matrices de patrones se apilan a lo largo del tiempo en lo que podríamos denominar como un tensor tridimensional y como se muestra en las figuras 6 y 11. En el punto 74 de la figura 4, este flujo de matrices de patrones es segmentado en el tiempo en eventos, correspondientes a los periodos de actividad. Se provoca un evento cuando la suma de elementos de la matriz de patrones excede un umbral sobre un pequeño grupo de fotogramas consecutivos. Y a la inversa, un evento termina cuando la suma cae por debajo del umbral en un grupo en fotogramas consecutivos. La representación en la figura 11 ilustra cada zona como un cubo con un tamaño proporcional al valor de la zona. Para visualizar de manera compacta estos eventos resulta útil allanar la estructura tridimensional a lo largo de la dirección de flujo para formar una matriz, como se muestra en la figura 7 que puede representarse convenientemente como una imagen bidimensional, como en el caso de las figuras 8, 9 y 12. De nuevo en referencia a la figura 4, en un intento de compactar los patrones de eventos en el tiempo y en cierta medida normalizar el evento con respecto a la velocidad del objeto, se aplica un enfoque análogo a la compresión RLE (Run Length Encoding) a los eventos en el punto 76. El proceso comienza con el primer patrón de fotogramas como prototipo. A continuación, se comparan los fotogramas sucesivos con el prototipo, si el fotograma no está bien representado por el prototipo (es decir, hay una gran diferencia) entonces éste se convierte en el nuevo prototipo. Este proceso sigue hasta que se alcanza el final del evento. El evento normalizado se construye obteniendo el promedio de los intervalos entre los cambios de prototipo en los patrones individuales. La longitud de cada periodo es también registrada y agregada a cada vector de prototipo de manera que la sincronización original no se pierda. [0047] La medida del cuadrado de la distancia media normalizada se utiliza para comparar patrones

[0048] Donde p son los vectores de las columnas que representan los patrones y c es una pequeña constante positiva reguladora para evitar la división entre cero. Para mayor claridad, cualquier evento mencionado en el resto de esta descripción deberá entenderse normalizado a este respecto.

[0049] La extracción de características en el punto 80 de la figura 4 generalmente implica proyectar desde algún espacio de entrada dimensional normalmente alto asociado a un dispositivo sensor de entrada 20 hacia un espacio de parámetro dimensional bajo asociado a un modelo de objetos de interés. En este caso, la extracción de características supone proyectar un patrón de evento de longitud variable sobre un vector de características de longitud fija distintivo. [0050] Los eventos se descomponen también en regiones que corresponden a subeventos comunes de niveles más bajos, como una sola persona, dos personas a poca distancia o una persona con un carrito. Para ello, se construye un modelo 82 de dichos subeventos. Los modelos lineales son la opción más simple para ello puesto que existen soluciones de forma cerrada para su construcción, como el Análisis de Componentes Principales (ACP) o el Análisis Discriminante Lineal (ADL). Aunque estos métodos producen modelos que representan de manera compacta y distintiva los subeventos, no proporcionan un método directo de clasificación. Para esto, se utiliza un Modelo de Mezcla Gaussiano (MMG) para dividir el subespacio producido por ACP y ADL en clases. El modelo de subeventos consiste en dos modelos relacionados, un modelo de búsqueda simple utilizado para encontrar de manera eficiente (el punto 84 en la figura 4) subeventos dentro de un evento; y un modelo de clasificación más complejo utilizado para clasificarlos de manera provisional o débil en el punto 86. Ambos modelos consisten en una base lineal construida mediante ADL y un MMG definido en el sub espacio abarcado por la base. Los subeventos abarcan una ventana de tamaño fijo dentro de un evento mayor. En este caso se utiliza una ventana de 6 x 4 x 16. Si la ventana se extiende más allá de las dimensiones del evento, los ceros son sustituidos por los elementos fuera de los límites. Aumentada a los datos de los subeventos extraídos de la ventana, se encuentra la ubicación lateral relativa de la ventana así como el conjunto de periodos generados por compresión RLE que corresponden a los fotogramas de la ventana. [0051] Como se ha indicado con anterioridad, se usa un modelo de subevento simple para encontrar eficazmente en el punto 84 subeventos válidos dentro de un evento. Este modelo simple trata de distinguir entre tres clases: [0052] Los ejemplos para cada una de las clases cuando son proyectadas de nuevo en el espacio del evento se muestran en la siguiente tabla:

Hacia dentro

-subeventos que, en término medio, son en la dirección hacia dentro

como se muestra en el punto A de la figura 2;

Hacia fuera

-subeventos que, en término medio, son en la dirección hacia fuera

como se muestra en el punto B de la figura 2; y

Nulo

-regiones del evento que no corresponden a gente en movimiento.

[0053] En la figura 14 se representa el MMG utilizado para distinguir estas clases

5 dentro del subespacio de LDM. En la figura, las líneas corresponden a las líneas de isoprobabilidad de los componentes individuales gaussianos. Obsérvese que los componentes gaussianos tienen matrices de covarianza no restringidas, de esa manera las líneas de isoprobabilidad trazan un elipsoide. La imagen en el fondo en la figura representa las fronteras de decisión suaves generadas por la probabilidad a

10 posteriori de las clases. [0054] En el punto 84 se encuentran los subeventos mediante la búsqueda exhaustiva del evento en el tiempo y a lo largo de la dirección de movimiento lateral. Una ventana tridimensional, del tamaño del modelo de subevento, se desliza por el evento, clasificando cada punto como centro de un subevento hacia dentro, hacia fuera o nulo.

15 Esto produce un par de imágenes de búsqueda bidimensional como se muestra en la figura 15, que corresponden a las direcciones hacia dentro y hacia fuera. Estas imágenes se unen y suavizan para producir una imagen con máximos bien definidos como se muestra en la figura 16. Son estos máximos los que definen los centros de los subeventos. Los máximos de la figura 16 están indicados por píxeles negros 100

20 en los centros de las manchas (blob). Las imágenes de las direcciones hacia dentro y hacia fuera se utilizan de nuevo más tarde para el cálculo de las características. [0055] Una vez se han encontrado los centros de subeventos como se ha explicado arriba, deben ser débilmente clasificados en el punto 86 en la figura 4. Esta tarea se realiza con modelos de clasificación de subeventos más elaborados. Resulta más caro

25 computacionalmente y más exigente, pero sólo se aplica a subeventos ya encontrados y no a los eventos completos. Este modelo utiliza una base de cinco dimensiones. [0056] En este modelo se distinguen doce clases de subeventos. Estas clases se resumen en la siguiente tabla:

[0057] Como en el modelo simple, cada clase es modelada como un componente gaussiano con covarianza no restringida. La figura 17 muestra las primeras cuatro dimensiones del modelo de subeventos. [0058] Las x en la figura 17 señalan los subeventos encontrados en el evento de ejemplo en la figura 15 con cada cuadrado catalogado según una versión redondeada de la clasificación del modelo de subeventos del mismo. En la figura 18 se muestra la apariencia correspondiente de estos subeventos en el espacio del evento y su clasificación. [0059] El modelo de clasificación de subeventos parece haberse comportado bastante bien en este caso concreto puesto que el recuento real para todo el evento es 4-2. Cada subevento se clasifica a su vez produciendo cada uno un vector de probabilidades a posteriori en el que el elemento iº corresponde a la probabilidad de que el subevento respresente a la clase iº. Estos vectores se suman para todos los subeventos de manera que se obtiene un vector z que forma parte del vector de características final. Los componentes de z corresponden aproximadamente al número de subeventos de cada clase dentro del evento. Se dos subeventos se encuentran muy próximos con una coincidencia apreciable en sus ventanas asociadas, surge la posibilidad de que la información coincidente se cuente dos veces, una para cada subevento. Para mitigar esto, un vez que se ha clasificado cada subevento, el resultado de la clasificación se proyecta de nuevo en el espacio del evento y se resta del evento original marcando de manera eficaz esa parte del evento como ya contada. La figura 19 muestra el evento original y lo que queda después de haber eliminado sucesivamente los subeventos.

[0060] La construcción del modelo de subeventos exige que se conozcan las localizaciones y etiquetas de los subeventos dentro de los datos de entrenamiento. Sin embargo, este dato no está disponible, puesto que los datos de entrenamiento no se segmentan al nivel de los subeventos, sino que hay una única etiqueta por evento. De 5 ese modo, se utiliza un modelo iterativo para construir el modelo de subeventos. El proceso comienza con un modelo inicial construido bajo la asunción de que hay un solo subevento por evento, centrado en el centroide del evento. Utilizando este modelo aproximado se encuentra un nuevo grupo de subeventos y se clasifican, y a partir de éste el modelo puede ser recalculado y así el proceso continúa hasta que el modelo

10 converge. [0061] El vector de características f está compuesto de un grupo de estadísticas agregadas sobre el evento completo. La estructura del vector de características es la siguiente:

[0062] Donde:

te Duración del evento en fotogramas

tc Longitud del evento comprimido

min Momentos de la imagen de búsqueda hacia dentro

mout Momentos de la imagen de búsqueda hacia fuera

s Suma de los valores máximos correspondientes a los centros de los

subeventos.

z Vector de clasificación total de los subeventos

[0063] Los vectores de momento min y mout constan de momentos de grado 0 y 2º de

las imágenes de búsqueda hacia dentro y hacia fuera ilustradas en la figura 15. Cada 20 vector de momento tiene 4 dimensiones de la siguiente forma

[0064] Donde si fxs representa un elemento de la imagen en la posición lateral x y el momento t

[0065] El vector de clasificación de subeventos tiene doce dimensiones, puesto que hay doce clases de subeventos, los vectores de momento aportan cuatro componentes cada uno y hay tres escalares, por lo que el vector de características final tiene veintitrés dimensiones. [0066] En relación de nuevo a la figura 4, el objetivo de la clasificación en el punto 90 es extraer el recuentro final de “entrada” y “salida” a partir de cada vector de características. Se debe construir una correlación entre los vectores de características y los recuentos, lo que constituye un problema de regresión. Se utiliza una red neuronal artificial 92 para implementar esta correlación. La red neuronal aprende esta correlación a partir de un gran grupo de eventos etiquetados optimizando el error de regresión. Se utiliza una Percepción Multicapa Estándar (MLP, en inglés), con una única capa oculta que utiliza funciones de activación sigmoides y capa de salida con activación lineal para la regresión. [0067] El entrenamiento del MLP supone esencialmente un problema de optimización, minimizando el error de salida con respecto al peso de las aristas, para ello se utiliza un algoritmo de gradiente descendente conjugado. Los datos de entrenamiento toman la forma de un conjunto de vectores de característica y las correspondientes etiquetas de recuento. Sin embargo, antes del entrenamiento, las características son blanqueadas, normalizando el espacio de las características a una covarianza de la unidad, aumentando así las probabilidades de convergencia a un mínimo absoluto. Las proyecciones normalizadas son incorporadas de nuevo a los pesos de la primera capa de la red neuronal después de haber sido entrenada. [0068] Se entenderá que la producción de la red neuronal podría usarse para contar las personas en movimiento a través una región y en cualquiera de las direcciones A y B mostradas en la figura 2.

Claims (10)

1. Reivindicaciones

   1. Un aparato para el control del movimiento de objetos en una región de control. El aparato comprende lo siguiente: − un dispositivo de detección sensible a la presencia o ausencia de un objeto en cada una de la pluralidad de zonas adyacentes en la región individualmente; − zonas dispuestas de manera que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas de zonas adyacentes en un dirección perpendicular a la primera dirección; − cada zona está asociada a un índice de zona respectivo; − el dispositivo de detección es capaz de capturar representaciones de forma secuencial de los objetos moviéndose a través de la región que comprenden los datos observados relativos a la presencia o ausencia de objetos en cada una de las zonas;

   − un dispositivo procesador conectado al dispositivo de detección y que procese los datos obtenidos en un patrón multidimensional de la presencia

   o ausencia de objetos en las zonas, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona; − el dispositivo procesador está configurado para segmentar el patrón en partes de patrón relacionadas con los eventos; y

   − un clasificador para clasificar las partes del patrón en relación con los datos históricos relativos a los eventos anticipados.

2. 2.

   El aparato de la reivindicación 1, en el que el dispositivo de detección comprende al menos una cámara que se monta en lo alto de la región de control.

3. 3.

   El aparato de la reivindicación 1 o 2, en el que el dispositivo de detección comprende un par estéreo de cámaras que cubren la región desde ángulos diferentes.

4. 4.

   El aparato de cualquiera de las reivindicaciones de la 1 a la 3, en el que la pluralidad de zonas forman una matriz de zonas inmediatamente adyacentes y en el que cada zona tiene una primera dimensión en la primera dirección, una segunda dimensión en una segunda dirección y un área.

5. 5.

   El aparato de la reivindicación 4, en el que los datos obtenidos comprenden un parámetro proporcional a la parte del área de la zona que está siendo ocupada por el objeto.

6. 6.

   El aparato de cualquiera de las reivindicaciones de la 1 a la 5, en el que el procesador se configura para segmentar el patrón a lo largo de la dimensión del tiempo, en regiones del patrón de inactividad.

7. 7. Un método de control del movimiento de objetos a través de una región de control. El método comprende los siguientes pasos: − dividir la región en una pluralidad de zonas, con cada zona asociada a un índice de zona; − disponer las zonas de tal forma que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas de zonas adyacentes en una dirección perpendicular a la primera dirección; − utilizar un dispositivo sensor automáticamente y de manera secuencial para detectar la presencia o ausencia de objetos en cada una de las zonas individualmente; − generar datos relativos al patrón multidimensional de la presencia o ausencia de los objetos en las zonas, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona;

   − segmentar el patrón en partes de patrón relacionadas con los eventos; y − clasificar las partes de patrón en relación a los datos históricos relacionados con los eventos anticipados.
8. 8. Un soporte legible por ordenador que contenga un programa de ordenador para el control del movimiento de objetos a través de una región de control. El programa lleva a cabo los siguientes pasos: − recibir desde un dispositivo sensor los datos obtenidos en relación con las representaciones secuenciales de objetos en movimiento a través de la región, comprendiendo los datos obtenidos información relativa a la presencia o ausencia de objetos en cada una de la pluralidad de zonas, estando las zonas dispuestas de manera que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas de zonas adyacentes en una dirección perpendicular a la primera dirección y en el que cada zona está asociada a un índice de zona; − generar datos relativos al patrón multidimensional de la presencia o ausencia de los objetos en las zonas, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona;

   − segmentar el patrón en partes de patrón relacionadas con los eventos; y − clasificar las partes de patrón en relación con los datos históricos relativos a los eventos anticipados,

   de ese modo, en uso, proporcionar una salida, el recuento de objetos en movimiento en al menos una dirección a través de la región.
9. 9. Un firmware que alberga un programa de ordenador para el control del movimiento de los objetos a través de una zona de control, llevando a cabo el programa los siguientes pasos: − recibir desde un dispositivo sensor los datos obtenidos en relación con las representaciones secuenciales de objetos en movimiento a través de la región, comprendiendo los datos obtenidos información relativa a la presencia o ausencia de objetos en cada una de la pluralidad de zonas, estando las zonas dispuestas de manera que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas de zonas adyacentes en una dirección perpendicular a la primera dirección y en el que cada zona está asociada a un índice de zona; − generar datos relativos al patrón multidimensional de la presencia o ausencia de los objetos en las zonas, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona; − segmentar el patrón en partes de patrón relacionadas con los eventos; y − clasificar las partes de patrón en relación con los datos históricos

   relativos a los eventos anticipados, de ese modo, en uso, proporcionar una salida, el recuento de objetos en movimiento en al menos una dirección a través de la región.
10. 10. Un programa de ordenador para el control del movimiento de los objetos a través de una región de control, llevando a cabo el programa los siguientes pasos: − recibir desde un dispositivo sensor los datos obtenidos en relación con las representaciones secuenciales de objetos en movimiento a través de la región, comprendiendo los datos obtenidos información relativa a la presencia o ausencia de objetos en cada una de la pluralidad de zonas, estando las zonas dispuestas de manera que haya al menos dos filas de zonas adyacentes en una primera dirección y al menos dos filas de zonas adyacentes en una dirección perpendicular a la primera dirección y en el que cada zona está asociada a un índice de zona; − generar datos relativos al patrón multidimensional de la presencia o ausencia de los objetos en las zonas, en el que una primera dimensión es el tiempo y una segunda dimensión es el índice de zona;

    − segmentar el patrón en partes de patrón relacionadas con los eventos; y

    − clasificar las partes de patrón en relación con los

    datos históricos relativos a los eventos anticipados, de ese modo, en uso, proporcionar una salida, el recuento de objetos en movimiento en al menos una dirección a través de la región.