ES2320826B1

ES2320826B1 - Procedimiento para describir el comportamiento geometrico de humanos en una escena captada por un sistema de vision artificial, basado en un modelo de bloques y, especial, orientado a la tarea de video-vigilancia.

Info

Publication number: ES2320826B1
Application number: ES200603272A
Authority: ES
Inventors: Mariano Rincon Zamorano; Encarna Folgado Zuñiga; Enrique Carmona Suarez; Margarita Bachiller Mayoral
Original assignee: Universidad Nacional de Educacion a Distancia UNED
Current assignee: Universidad Nacional de Educacion a Distancia UNED
Priority date: 2006-12-27
Filing date: 2006-12-27
Publication date: 2010-02-25
Anticipated expiration: 2026-12-27
Also published as: ES2320826A1

Abstract

Procedimiento para describir el comportamiento geométrico de humanos en una escena captada por un sistema de visión artificial, basado en un modelo de bloques y, en especial, orientado a la tarea de vídeo-vigilancia.

Procedimiento que es capaz de monitorizar, en tiempo real y con una carga computacional mínima, el "comportamiento geométrico" de un humano en una escena captada por un sistema de visión artificial. Donde, por "comportamiento geométrico" de un humano, nos referimos a la descripción de eventos en un espacio 3D relacionados con características estáticas (posición) y dinámicas (movimiento) del comportamiento de un humano o de partes de éste.

El procedimiento se basa en caracterizar el humano mediante un modelo de bloques. Este modelo, relativamente simple, permite tratar de forma similar distintas vistas del humano y proporciona la información necesaria para una descripción robusta y fiable de distintos eventos de interés para la tarea de vigilancia mediante visión artificial.

Description

Estado de la técnica

El objetivo final de un sistema de visión artificial es la descripción de la escena captada orientada a una tarea (en nuestro caso vigilancia). Centrándonos en la descripción de la actividad humana, y de acuerdo a las referencias [1, 2, 3], el reconocimiento de actividades es considerado como un problema de clasificación de características espacio-temporales o, alternativamente, como "queries" sobre construcciones de más alto nivel obtenidas a partir de dichas características espacio-temporales mediante procesos de abstracción.

Actualmente, existen gran cantidad de modelos de humanos que permiten conseguir este tipo de información espacio-temporal a partir de la región asociada a un humano obtenida en un proceso de segmentación previo. Sin embargo, estos modelos presentan inconvenientes: o son demasiado simples, y sólo determinan algunas características del humano como, por ejemplo, la postura, o son demasiado sofisticados, con lo que resultan difíciles de implementar y presentan un elevado coste computacional. Esto los hace, en ambos casos, poco recomendables en tareas de vigilancia que requieran tiempo real y bajo coste computacional.

Descripción resumida de la invención

La presente invención se refiere a un procedimiento que es capaz de monitorizar, en tiempo real y con una carga computacional mínima, el "comportamiento geométrico" de un humano en una escena a partir de imágenes de vídeo segmentadas previamente. Por "comportamiento geométrico", nos referimos a la descripción de eventos, en un espacio 3D, relacionados con características estáticas (posición) y dinámicas (movimiento) de un humano o de partes de éste (cabeza, manos, pies, etc) desde el punto de vista de unas cámaras que captan su imagen. Como ejemplos de estos eventos, podemos citar: "está parado", "está de pie", "avanza hacia la izquierda", "lleva un objeto en la mano derecha", "comienza a andar", "se desplaza rápido", etc).

Estas características pueden utilizarse, a modo de librería, para la descripción de actividades más complejas en multitud de tareas, en especial en vigilancia (vigilancia de equipajes en aeropuertos, vigilancia de comportamientos de clientes en bancos, vigilancia de pacientes en hospitales, etc).

Descripción de la invención

El objetivo del procedimiento de la presente invención es solventar los inconvenientes que presentan los procedimientos actuales para caracterizar el comportamiento geométrico de un humano en una escena captada mediante un sistema de visión artificial, proporcionando las ventajas que se describen a continuación.

Partiendo de que 1) la cámara se ha calibrado, de forma que es posible establecer la correspondencia entre los puntos de la imagen y las coordenadas 3D de la escena y 2) se dispone de un método para segmentar la imagen de vídeo e identificar la silueta correspondiente a un humano, el procedimiento objeto de la presente invención consta de las siguientes etapas:

-: Descripción previa de los eventos que se desea detectar en base a expresiones que contienen parámetros del modelo de humano propuesto en la presente invención (modelo de bloques). Por evento entendemos la caracterización de una situación de interés, tanto si es un estado estable, como si es una transición entre dos estados.

-: Definición de un modelo de referencia a partir del modelo de humano propuesto.

-: Obtención, en cada instante de tiempo, de una caracterización de la situación en la que se encuentra el humano basada en el modelo de humano propuesto.

-: Comparación, en cada instante de tiempo, entre las descripciones de los eventos de interés y la caracterización de la situación actual del humano y, así, detectar tales eventos.

La principal novedad de este procedimiento es el modelo de humano utilizado para describir la actividad del humano. Este modelo se basa en dividir horizontalmente la región correspondiente a un humano en N subregiones y utilizar el rectángulo que circunscribe a cada una de ellas para su caracterización. Al modelo se le denomina modelo de bloques (MB).

\newpage

Este modelo (MB) tiene la gran ventaja de que permite descomponer el análisis del humano y su actividad en partes, lo que reduce la carga computacional necesaria. Otra ventaja de este modelo (MB) es que trata del mismo modo la vista del humano tomada desde distintas perspectivas, desde las vistas frontal y lateral puras, hasta combinaciones parciales de éstas, lo que permite tratar de forma simple, con bajo coste computacional, cualquier situación típica en tareas de vigilancia.

Además, como la detección de los eventos de interés consiste en el simple reconocimiento de cada uno de sus patrones asociados, se obtiene un sistema modular y fácilmente extensible. Actualmente, los eventos detectados por este procedimiento, sin perjuicio de que puedan detectar más en un futuro, son los siguientes:

-: Localización de la posición de distintas partes del cuerpo del humano (manos, pies, cabeza, torso, piernas y rodillas).

-: Información sobre el movimiento del humano: dirección en un espacio 3D, velocidad, periodicidad del movimiento, trayectoria y detección de movimiento.

-: Información sobre la postura: de pie, sentado, tumbado, girando, saltando, andando, corriendo.

-: Situaciones especiales: oclusión total o parcial con indicación de la parte ocluida, detección de acarreamiento de objetos por parte del humano con indicación de su posición (en las manos, en la espalda, en la cabeza).

Breve descripción de los dibujos

Con el fin de facilitar la descripción de cuanto se ha expuesto anteriormente, se adjuntan unos dibujos en los que, esquemáticamente y sólo a título de ejemplo no limitativo, se representa un caso práctico del procedimiento para describir el comportamiento geométrico de un humano en una escena, en especial orientado a la tarea de vídeo-vigilancia.

La figura 1 muestra el esquema general del procedimiento de la presente invención.

La figura 2 muestra la división, según el modelo de bloques (MB), de la región correspondiente a un humano, los puntos significativos y los distintos parámetros que forman parte del modelo de humano de la presente invención.

Descripción de la realización preferida

Tal como se observa en la figura 1, los pasos para obtener una descripción del comportamiento geométrico de un humano son los siguientes:

-: Previamente, es necesario describir los eventos primitivos que se desea detectar (11) en base a expresiones que relacionan las características del modelo de humano que se va a manejar (4).

-: Se obtiene (3) el modelo de referencia (6) a partir de características del humano descritas en el modelo de humano (4) en una situación conocida (1). (6) servirá como referencia para caracterizar la situación en la que se encuentra el humano en un instante dado.

-: En cada instante de tiempo, t:

-: se añade (5) al modelo del caso (8) la descripción del humano en ese instante t. La descripción consistirá en la determinación de un conjunto de parámetros descritos en (4) a partir de las características de la región asociada al humano (2). Simultáneamente, se elimina de (8) la información más antigua, de forma que (8) contendrá la evolución temporal de los parámetros que describen al humano durante un periodo de tiempo finito, desde el momento actual hacia atrás.

-: se agrupa (7) la información proporcionada por (6) y por (8) para obtener una descripción paramétrica del humano (9).

-: se compara (10) cada una de las descripciones contenidas en (11) con (9) y se determina si se ha detectado alguna de los eventos de interés (12).

Tal como se muestra en la figura 2, el modelo de humano utilizado para describir el comportamiento geométrico del humano, el modelo de bloques (MB), se basa en dividir horizontalmente la región correspondiente a un humano en seis subregiones de la misma altura. A partir de estas subregiones y los rectángulos que las circunscriben (cajas limítrofes), se obtienen una serie de puntos significativos y parámetros que permiten determinar la perspectiva y la posición de las distintas partes del cuerpo. Así, por ejemplo, se aprecia que los bloques B1 y B2 presentan una anchura muy superior para el caso frontal que para el lateral o que los cambios en el tamaño de los bloques B3 y B4 con el movimiento de los brazos serán mayores en el caso lateral que en el frontal. Por el contrario, los bloques B5 y B6 son más anchos para el caso lateral, si bien esto no va a ocurrir en todo momento, ya que la amplitud irá aumentando o disminuyendo de acuerdo al movimiento de las piernas, mientras que para el caso frontal prácticamente apenas variarán. Otro ejemplo representativo podría consistir en la localización de las manos, donde nos fijamos solamente en los bloques B3 y B4: las manos se localizarán en los puntos intermedios más extremos horizontalmente de los bloques B3 o B4, pudiendo estar en el bloque B3 cuando el humano esté en movimiento o en B4 tanto cuando está en reposo como cuando está en movimiento.

Dentro del modelo de referencia (6) se define la altura del humano de pie (H_{Tref}) como parámetro de referencia.

El modelo del caso (8) contiene la siguiente información:

a) Los parámetros y puntos significativos utilizados en el modelo son los siguientes:

\bullet: Altura, H_{T}(t), y Anchura, W_{T}(t) de la caja limítrofe que circunscribe la región completa asociada al humano.

\bullet: Altura, Hi(t), y Anchura, Wi(t) de cada una de las cajas limítrofes asociadas a cada una de las seis regiones en que se ha dividido la región principal (i=1..6).

\bullet: Punto de unión de las dos piernas (P_{\Lambda}).

\bullet: Punto asociado a la cabeza (P_{C}): Punto extremo superior del bloque B1 o punto medio extremo superior del bloque B2. Se encontrará en Bien situación normal o en B2 en la situación de brazos elevados por encima de la cabeza.

\bullet: Puntos asociados a las manos (P_{M1} y P_{M2}): para cada mano, será el punto intermedio más extremo horizontalmente de los bloques B3 o B4. Se encontrará en B3 fuera de la situación de reposo o en B4 tanto en reposo como en movimiento.

\bullet: Puntos asociados a los pies (P_{P1} y P_{P2}): Para cada pie, será el punto extremo en horizontal al lado correspondiente más inferior de los bloques B5 o B6. Se encontrará en B5 fuera de la situación de reposo y en B6 tanto en reposo como en movimiento.

b) A partir del reconocimiento de las partes del cuerpo principales (cabeza, manos y pies) se definen una serie de parámetros dependientes relacionados con las distintas situaciones que se desea detectar:

\bullet: El ángulo \theta, que se define como el ángulo que forma el punto asociado a la cabeza (P-c), con los puntos asociados a los pies (P_{P1} y P_{P2}).

\bullet: El ángulo \alpha, que es el ángulo que forma la línea que une los puntos asociados a las dos manos (P_{M1} y P_{M2}) con la horizontal.

\bullet: La relación_altura_entrepierna (HC), que se obtiene como la relación entre la altura del punto de unión de las dos piernas (H_{\Lambda}) y la altura total (H_{T}(t)). (H_{\Lambda}) se calcula como la distancia desde (P_{\Lambda}) al punto más inferior del bloque B6 situado en la vertical (P_{inf}),

HC = H_{\Lambda}/H_{T}(t)

\bullet: El coeficiente cambio_de_anchura (CA), que se define como el vector de seis coordenadas que contiene, para cada bloque B_{i}, la relación entre la anchura del bloque entre un "frame" y el anterior.

CA = (CA_{1}, ..., CA_{6}).\ Para\ i=1..6, CA_{i} = W_{i}(t)/W_{i}(t-1)

\bullet: El coeficiente de simetría (CSB4_B5), que representa, mediante un vector de dos coordenadas, la proporción entre las anchuras de las partes de los bloques B4 y B5 a derecha e izquierda de la recta divisoria que une el punto central de la cabeza con el punto medio del bloque B6:

CSB4\_B5 = (W_{I4}/W_{I5}, W_{D4}/W_{D5}).

Finalmente, todos estos parámetros se utilizan para definir expresiones que describen los distintos eventos de interés para su posterior detección mediante comparación de patrones. Estas expresiones se basan principalmente en proporciones entre los bloques y/o variaciones de éstas en el tiempo, de ahí que el modelo de referencia pueda ser tan sencillo. Por ejemplo, supongamos que se desea detectar si la persona ha levantado los brazos en algún instante. Dicha acción se caracteriza con los parámetros: H_{T}, W_{T}, H_{B1}, W_{B1}, H_{B2}, W_{B2} y \alpha. Analizando estos parámetros, se aprecia que se produce un aumento significativo de la anchura y la altura de los bloques B1 y/o B2 en el frame actual respecto a frames anteriores, así como, una gran variación del ángulo \alpha. De forma normal, el bloque B1 va asociado a la cabeza y el B2 a los hombros, con lo que el estudio de la variación de dichos parámetros permite el análisis de dicha situación.

\vskip1.000000\baselineskip

Documentos de categoría A (reflejan el estado de la técnica)

[1] D. Gavrila. The Visual Analysis of Human Movement: A Survey. Computer Vision and Image Understanding, 73(1):82- - 98, Jan. 1999.

[2] Bolles, B. and Nevatia, R.: A hieralchical video event ontology in OWL. Final report 2004 ARDA Project.

[3] Bremond, F., Maillot, N. Thonnat, M. and Vu, V.-T: Ontologies for video events. INRIA: Report de investigación: 5189. (2004).

Claims

```
\global\parskip0.900000\baselineskip
```
1. Procedimiento para describir el comportamiento geométrico de un humano en una escena captada por un sistema de visión artificial, basado en un modelo de bloques y, en especial, orientado a la tarea de vídeo-vigilancia, caracterizado por el hecho de que comprende los siguientes pasos:

-

Describir previamente los eventos que se desea detectar en base a expresiones que contienen parámetros del modelo de humano propuesto en la presente invención (modelo de bloques MB). Por evento entendemos la caracterización de una situación de interés, tanto si es un estado estable, como si es una transición entre dos estados.

-

Definir un modelo de referencia a partir del modelo de humano propuesto (MB).

-

Obtener, en cada instante de tiempo, una caracterización de la situación en la que se encuentra el humano basado en el modelo de humano propuesto (MB).

-

Comparar, en cada instante de tiempo, entre las descripciones de los eventos de interés y la caracterización de la situación actual del humano y, así, detectar tales eventos.
2. Procedimiento según la reivindicación 1, caracterizado por el hecho de que el modelo de humano utilizado (MB) está basado en dividir horizontalmente la región de la imagen correspondiente a un humano en un número N de subregiones y utilizar el rectángulo que circunscribe a cada una de ellas para su caracterización.
3. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que el modelo de humano comprende los siguientes parámetros y puntos significativos

\bullet

Altura, H_{T}(t), y Anchura, W_{T}(t) de la caja limítrofe que circunscribe la región completa asociada al humano.

\bullet

Altura, Hi(t), y Anchura, Wi(t) de cada una de las cajas limítrofes asociadas a cada una de las seis regiones en que se ha dividido la región principal (i=1..6).

\bullet

Punto de unión de las dos piernas (P_{\Lambda}).

\bullet

Punto asociado a la cabeza (P_{C}): Punto extremo superior del bloque B1 o punto medio extremo superior del bloque B2. Se encontrará en B1 en situación normal o en B2 en la situación de brazos elevados por encima de la cabeza.

\bullet

Puntos asociados a las manos (P_{M1} y P_{M2}): para cada mano, será el punto intermedio más extremo horizontalmente de los bloques B3 o B4. Se encontrará en B3 fuera de la situación de reposo o en B4 tanto en reposo como en movimiento.

\bullet

Puntos asociados a los pies (P_{P1} y P_{P2}): Para cada pie, será el punto extremo en horizontal al lado correspondiente más inferior de los bloques B5 o B6. Se encontrará en B5 fuera de la situación de reposo y en B6 tanto en reposo como en movimiento.
4. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que se utilizan como parámetro del modelo de referencia la altura del humano de pie (H_{Tref}).
5. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que el modelo de humano comprende el parámetro dependiente "ángulo \theta", que se define como el ángulo que forma el punto asociado a la cabeza (P_{C}), con los puntos asociados a los pies (P_{P1} y P_{P2}).
6. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que el modelo de humano comprende el parámetro dependiente "ángulo \alpha", que es el ángulo que forma la línea que une los puntos asociados a las dos manos (P_{M1} y P_{M2}) con la horizontal.
7. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que el modelo de humano comprende el parámetro dependiente La relación_altura_entrepierna (HC), que se obtiene como la relación entre la altura del punto de unión de las dos piernas (H_{\Lambda}) y la altura total (H_{T}(t)). (H_{\Lambda}) se calcula como la distancia desde (P_{\Lambda}) al punto más inferior del bloque B6 situado en la vertical (P_{inf}):

HC = H_{\Lambda}/H_{T}(t)
8. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que el modelo de humano comprende el parámetro dependiente cambio_de_anchura (CA), que se define como el vector de seis coordenadas que contiene, para cada bloque B_{i}, la relación entre la anchura del bloque entre un "frame" y el anterior:

CA = (CA_{1}, ..., CA_{6}).\ Para\ i=1..6, CA_{i} = W_{i}(t)/W_{i}(t-1).
```
\newpage
```
```
\global\parskip1.000000\baselineskip
```
9. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que el modelo de humano comprende el parámetro dependiente "Coeficiente de simetría" (CSB4_B5), que representa, mediante un vector de dos coordenadas, la proporción entre las anchuras de las partes de los bloques B4 y B5 a derecha e izquierda de la recta divisoria que une el punto central de la cabeza con el punto medio inferior del bloque B6:

CSB4\_B5 = (W_{I4}/W_{I5}, W_{D4}/W_{D5}).
10. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que se utilizan los parámetros definidos en las reivindicaciones anteriores para definir expresiones que describen los distintos eventos de interés mediante expresiones, las cuales se basan, principalmente, en proporciones entre los parámetros o variaciones de éstos en el tiempo.
11. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que se utilizan las expresiones descritas en la reivindicación 8 para detectar, mediante comparación de patrones, los eventos de interés para la tarea de vídeo-vigilancia.
12. Procedimiento según las reivindicaciones anteriores, caracterizado por el hecho de que reconoce eventos relacionados con lo siguiente:

-

Localización de la posición de distintas partes del cuerpo del humano (manos, pies, cabeza, torso, piernas y rodillas).

-

Información sobre el movimiento del humano: dirección en un espacio 3D, velocidad, periodicidad del movimiento, trayectoria y detección de movimiento.

-

Información sobre la postura: de pie, sentado, tumbado, girando, saltando, andando, corriendo.

-

Situaciones especiales: oclusión total o parcial con indicción de la parte ocluida, detección de acarreamiento de objetos por parte del humano con indicación de su posición (en las manos, en la espalda, en la cabeza).