ES2633152B1

ES2633152B1 - Método y sistema para el reconocimiento del estado de ánimo por medio de análisis de imagen

Info

Publication number: ES2633152B1
Application number: ES201730259A
Authority: ES
Inventors: Javier Varona Gómez; Diana ARELLANO TÁVARA; Miquel MASCARÓ OLIVER; Cristina MANRESA YEE; Simón GARCÉS RAYO; Juan Sebastián FILIPPINI
Original assignee: Universitat de les Illes Balears
Current assignee: Universitat de les Illes Balears
Priority date: 2017-02-27
Filing date: 2017-02-27
Publication date: 2018-05-03
Anticipated expiration: 2037-02-27
Also published as: ES2633152A1; WO2018154098A1

Abstract

Método y sistema para el reconocimiento del estado de ánimo por medio de análisis de imagen.#La invención se refiere a un método para reconocer el estado de ánimo de un sujeto (1) a partir de su relación con las expresiones/movimientos faciales. El método de la invención se centra en reconocer los estados de ánimo, un concepto distinto al de emoción. La forma de pasar las imágenes captadas de los sujetos (1) a movimientos faciales es personalizado, aprendiendo la forma particular de las características faciales del sujeto (1) analizado. La invención se basa en el análisis de una colección de imágenes de número determinado, pero mayor que el usado en el reconocimiento típico de la emoción. De esta forma se define un método de reconocimiento del estado de ánimo más robusto. El método comprende tres etapas fundamentales: definición de datos y criterios previos generales; definición de patrones de reposo personalizados y evaluación del estado de ánimo.

Description

5

10

15

20

25

30

35

DESCRIPCIÓN

MÉTODO Y SISTEMA PARA EL RECONOCIMIENTO DEL ESTADO DE ÁNIMO POR MEDIO DE ANÁLISIS DE IMAGEN

CAMPO DE LA INVENCIÓN

La presente invención se enmarca dentro del campo técnico correspondiente al sector de la inteligencia artificial y reconocimiento de expresiones faciales. Más concretamente, la invención se refiere a un procedimiento de reconocimiento de estados de ánimo a partir del procesamiento de secuencias de imágenes.

ANTECEDENTES DE LA INVENCIÓN

El reconocimiento de emociones de las expresiones faciales es un campo muy activo en la actualidad, por sus diversas aplicaciones al ámbito de la psicología, la publicidad o el marketing, entre otros. Típicamente, dicho reconocimiento se realiza según el sistema conocido como “Facial Action Coding System” (FACS). El FACS permite analizar las expresiones faciales humanas a través de codificación facial, y con él se puede clasificar prácticamente cualquier expresión facial anatómica, analizando los posibles movimientos de los músculos asociados a dicha expresión facial. Estos movimientos se dividen en los comúnmente llamados “Action Units” (AU) o unidades de acción, que son las acciones fundamentales de músculos o grupos individuales de los mismos (por ejemplo, según la citada clasificación, la AU6 se refiere a un levantamiento de mejillas). En el presente documento, los términos unidades de acción, gestos, expresiones faciales y AU se usarán indistintamente.

Por otro lado, los términos estado de ánimo y emoción suelen confundirse en el lenguaje coloquial y en sus definiciones formales. En la actualidad hay un consenso que marca al menos tres diferencias principales entre ambos términos:

-los estados de ánimo poseen mayor duración temporal que las emociones;

-los estados de ánimo no se exteriorizan directamente, al contrario que las emociones;

-los estados de ánimo están relacionados con las emociones en cuanto a que, una persona que se encuentra en un cierto estado de ánimo, es propensa a experimentar determinadas emociones. Es decir, mediante los efectos perceptibles que producen

5

10

15

20

25

30

35

las emociones, las expresiones faciales o gestos, es posible reconocer el estado de ánimo de una persona.

Como se ha mencionado, las aplicaciones del reconocimiento facial de estados de ánimo pueden tener utilidad en sectores diversos, tales como el marketing comercial o político, recursos humanos, videojuegos, aprendizaje a distancia, señalización digital (digital signage) e interacciones hombre-máquina en general.

En el ámbito del reconocimiento facial de las emociones, son conocidas diferentes tecnologías de análisis, tales como las divulgadas en las patentes US 8798374 B2, US 8879854 B2 o US 9405962 B2. En estos documentos se divulgan sistemas que se centran en reconocer las emociones, pero no los estados de ánimo (conceptos distintos), y sus procedimientos de análisis asociados se centran, por tanto, en el reconocimiento y procesado de imágenes instantáneas de los sujetos sometidos a estudio. En estos documentos se divulga, principalmente, la construcción de un conjunto de descriptores a partir de características faciales geométricas detectables, y un método de clasificación de AUs a partir de estos descriptores. Para la obtención de descriptores adecuados, se utiliza desde la definición heurística de un conjunto de reglas, hasta el empleo de métodos automáticos de selección de características en el contexto de los métodos de aprendizaje automático. Así, en US 8798374 B2 se presenta un método automático para el procesamiento de imagen para detección de AUs, y en US 8879854 B2 se presenta un aparato y un método para el reconocimiento de emociones sobre la base de unidades de acción. Los descriptores construidos de forma heurística poseen escaso poder discriminatorio, fundamentalmente en la detección interpersonal. Es por esta razón, que las líneas de trabajo han tendido a la construcción de descriptores más complejos mediante métodos automáticos de selección de características. Por ejemplo, en US 9405962 B2 se presenta un método para determinar emociones en una colección de imágenes en presencia de un artefacto facial (barba, bigote, gafas...) que incluye la detección de unidades de acción.

Por otro lado, en la actualidad es conocido también el modelo “Pleasure-Arousal- Dominance” (o PAD, “placer-excitación-dominancia”), como marco teórico de reconocimiento del estado de ánimo. El modelo PAD es un sistema que permite la definición y medición de los diferentes estados de ánimo, rasgos emocionales y rasgos de personalidad en función de tres dimensiones ortogonales: placer (P), excitación (A), y dominancia (D). El modelo PAD es un marco generalmente usado para la definición de los estados de ánimo y permite

5

10

15

20

25

30

su interrelación con la codificación facial del sistema FACS. Es decir, el PAD puede describir un estado de ánimo en términos de unidades de acción.

En el modelo PAD, a partir de la intersección de los ejes de placer, excitación y dominancia, se pueden derivar ocho octantes que representan las categorías básicas del estado de ánimo (Tabla 1).

Euforia: (+P +A +D) Hostilidad (-P +A +D)

Docilidad: (+P -A -D) Aburrimiento (-P -A -D)

Dependencia: (+P +A -D) Ansiedad (-P +A -D)

Relajación: (+P -A +D) Condescendencia (-P -A +D)

Tabla 1: Estados de ánimo, octantes del espacio PAD.

Es posible expresar emociones en términos de placer, excitación y dominancia de acuerdo con una cierta correlación (Tabla 2). Por tanto, un estado de ánimo puede dar lugar a diversas emociones. Por ejemplo, el estado de ánimo “ansiedad” puede manifestarse en emociones como “confusión”, “miedo”, “preocupación”, “vergüenza”, etc., que a su vez pueden relacionarse con unidades de acción (AUs).

Emoción: P A D Estado de ánimo

Confusión: -0.53 0.27 -0.32 -P+A-D Ansiedad

Miedo: -0.64 0.60 -0.43 -P+A-D Ansiedad

Resentimiento: -0.3 0.1 -0.6 -P+A-D Ansiedad

Vergüenza: -0.3 0.1 -0.6 -P+A-D Ansiedad

Terror: -0.62 0.8 -0.43 -P+A-D Ansiedad

Preocupación: -0.57 0.14 -0.42 -P+A-D Ansiedad

Tabla 2: Ejemplo de emociones representadas en el espacio PAD.

En especial, mediante el modelo PAD es posible definir la correspondencia entre las AU y los octantes del espacio PAD. El objetivo principal de esta correspondencia es la descripción de cada uno de los ocho estados de ánimo en términos de AU. Para dicha descripción es conocido el Repertorio de Expresión Facial (o FER).

En el estado de la técnica, la manera de transformar las imágenes captadas de las personas en expresiones/movimientos faciales es a través del empleo de métodos genéricos, basados en el procesado de imágenes instantáneas de los sujetos sometidos a análisis. Sin

5

10

15

20

25

30

35

embargo, estos métodos conllevan errores, al no poder “aprender” y personalizar la forma particular de las características faciales del sujeto analizado, de tal forma que el método de reconocimiento de la emoción sea más preciso. Adicionalmente, dichos métodos del estado de la técnica están restringidos a la identificación de emociones (felicidad, tristeza, etc.), pero no permiten detectar constructos complejos como son los estados de ánimo, cuya activación puede comprender, a la vez, diferentes configuraciones de emociones, en ocasiones incluso contrapuestas. Por ejemplo, un estado de ánimo de ansiedad se puede reflejar tanto en un sujeto triste como en un sujeto feliz. Por tanto, las soluciones conocidas del estado de la técnica siguen sin poder resolver el problema técnico que supone ofrecer un método de reconocimiento de estados de ánimo de una forma precisa.

La presente invención propone una solución a este problema técnico, a través de un novedoso método de reconocimiento facial de estados de ánimo en una colección de imágenes, que ofrece una personalización del sujeto para minimizar errores de detección de AUs.

DESCRIPCIÓN BREVE DE LA INVENCIÓN

El objeto principal de la invención se refiere a un método para reconocer el estado de ánimo de un sujeto a partir de su relación con las expresiones/movimientos faciales. El método de la invención se centra en reconocer los estados de ánimo, un concepto técnicamente distinto al de emoción. En el método de la invención, la forma de pasar las imágenes captadas de los sujetos a gestos/movimientos faciales es personalizado, “aprendiendo” la forma particular de las características faciales de la persona analizada, de tal forma que el método de reconocimiento del estado de ánimo es más preciso que si no se realizara esta personalización.

El citado objeto de la invención se realiza mediante un método de reconocimiento del estado de ánimo de un sujeto a partir de imágenes faciales del mismo, obtenidas por medio de un sistema que comprende una cámara adaptada para la toma de dichas imágenes, y un procesador para el almacenamiento y/o procesado de las mismas. Ventajosamente, dicho método comprende la realización de las siguientes etapas:

a) se registran una o más imágenes faciales del sujeto en un estado de ánimo de referencia;

b) se define una pluralidad de puntos faciales característicos del sujeto en una o más de las imágenes asociadas al estado de ánimo de referencia;

5

10

15

20

25

30

35

c) se definen uno o más patrones de reposo correspondientes las distancias entre los puntos faciales característicos del sujeto, definidos en el paso b);

d) se definen una o más unidades de acción (AUs) correspondientes al movimiento de los puntos faciales respecto a los patrones de reposo;

e) se definen una o más reglas de activación de cada unidad de acción para el estado de ánimo a reconocer, basadas en valores umbral asociados a la cantidad de movimiento de los puntos faciales característicos respecto a los patrones de reposo;

f) se define una distribución de probabilidad patrón asociada a la activación de una o más unidades de acción asociadas a un estado de ánimo;

g) se registra una secuencia de imágenes faciales del sujeto, asociada al estado de ánimo a reconocer;

h) se obtiene, para cada imagen de la secuencia, la distribución de probabilidad de activación de las unidades de acción asociadas al estado de ánimo a reconocer, de acuerdo con las reglas definidas en el paso e);

i) se determina la similitud entre la distribución de probabilidad obtenida en el paso h) y la distribución de probabilidad patrón definida en el paso f).

Se consigue con ello un método de reconocimiento del estado de ánimo fiable y robusto, donde el análisis de imagen se realiza en secuencias captadas por la cámara, de forma que las mismas permiten evaluar dinámicamente la contribución de las unidades de acción al estado de ánimo del sujeto.

En otra realización preferente de la invención, el método de reconocimiento del estado de ánimo comprende además la realización de las siguientes etapas en el paso f):

- se define una distribución de probabilidad patrón asociada a la activación de una o más unidades de acción asociadas a un estado de ánimo i, definiendo para ello un valor p¡¡ entre 0 y 1 para designar la contribución de cada unidad de acción j, donde el valor 0 se asigna a la mínima contribución y el valor 1 a la máxima;

- se construye con estos valores pij un vector p¡ para cada estado de ánimo i, siendo n

el número de unidades de acción que intervienen en la determinación de los estados

de ánimo:

Pi=Cp {pjj} = Cp {p¡1, p¡2,... pin} ,

donde Cp es una constante de normalización para imponer la condición de que Znj=i p¡¡

=1.

5

10

15

20

25

30

35

En otra realización preferente de la invención, el método de reconocimiento del estado de ánimo comprende además la realización de las siguientes etapas en el paso h):

- se registra un número W de imágenes faciales del sujeto;

- se obtiene, para el conjunto de imágenes W, la distribución de probabilidad de activación q]={q¡} de las unidades de acción j asociadas al estado de ánimo i a reconocer, definiendo para ello un valor q¡ para designar la contribución de cada unidad de acción j, según la expresión:

q= Cq (1/W) tWk=o skj

donde k=0,1,...,W; j=1,2,...,n; y a skj se le asigna el valor skj=1 si la unidad de acción j se activa, y Skj=0 si la unidad de acción j no se activa; y Cq es una constante de normalización para imponer la condición de que Znj=i q=1.

En otra realización preferente de la invención, el método de reconocimiento del estado de ánimo comprende además la realización de la siguiente etapa en el paso i):

- se determina la similitud entre la distribución de probabilidad obtenida en el paso h) y la distribución de probabilidad patrón definida en el paso f) a través del cálculo del coeficiente de Bhattacharyya, D¡, para cada estado de ánimo i, según la expresión:

Dí=¡ (P¡¡ q)1/2

Más preferentemente, las W imágenes faciales del sujeto son consecutivas en la secuencia captada por la cámara.

En otra realización preferente del método de la invención, el conjunto de las n unidades de acción intervinientes en la determinación del estado o estados de ánimo del sujeto se escogen de entre todas las unidades de acción existentes en el sistema FACS.

Más preferentemente, las unidades de acción intervinientes en la determinación del estado o estados de ánimo del sujeto son una o más de las siguientes: levantamiento interior de las cejas; levantamiento exterior de las cejas; bajar las cejas; levantamiento del párpado superior; levantamiento de las mejillas; levantamiento del labio superior; estiramiento labial esquinal; depresión labial esquinal; deslizamiento labial; caída de la mandíbula; ojos cerrados.

En otra realización preferente del método de la invención, los estados de ánimo considerados son los ocho estados de ánimo del espacio Pleasure-Arousal-Dominance (PAD).

5

10

15

20

25

30

35

Más preferentemente, la relación de los ocho estados de ánimo del espacio PAD de Mehrabian con las unidades de acción que se activan en cada uno de ellos son las definidas en el Repertorio de Expresión Facial (FER).

En otra realización preferente del método de la invención, se definen uno o más patrones de reposo correspondientes a las distancias entre los puntos faciales característicos del sujeto, siendo dichas distancias una o más de las siguientes: distancia media ojo-ceja derecha; distancia interior ojo-ceja derecha; distancia media ojo-ceja izquierda; distancia interna ojo- ceja izquierda; distancia ojo abierto derecho; distancia ojo abierto izquierdo; distancia boca horizontal; distancia superior boca-nariz; distancia mandíbula-nariz; distancia boca casi inferior-boca exterior; distancia ceja izquierda-párpado superior; distancia ceja izquierda - párpado inferior; distancia ceja derecha-párpado superior; distancia ceja derecha - párpado inferior.

En otra realización preferente del método de la invención, se realiza una calibración de estado o estados de ánimo del sujeto en una sesión de estímulos conocidos y controlados, de forma que se puedan asociar una o más unidades de acción a uno o más estados de ánimo i de dicho sujeto.

Otro objeto de la invención se refiere a un sistema para el reconocimiento del estado de ánimo de un sujeto a través del método de reconocimiento del estado de ánimo según cualquiera de las realizaciones descritas en el presente documento, que comprende:

- una cámara adaptada para la toma de imágenes faciales de dicho sujeto;

- uno o más medios de procesamiento (3) para el almacenamiento y/o procesado de las imágenes faciales, donde dichos medios de procesamiento (3) están configurados mediante hardware y/o software para la realización de un método de reconocimiento de estados emocionales según cualquiera de las realizaciones descritas en el presente documento.

En una realización preferente del sistema de la invención éste comprende, adicionalmente, un subsistema de aprendizaje configurado por medios de hardware y/o software, para establecer criterios de clasificación de las secuencias tomadas por la cámara, en función de resultados obtenidos en análisis anteriores. Más preferentemente, dicho subsistema de aprendizaje está conectado al medio de procesamiento de forma local o remota.

DESCRIPCIÓN DE LAS FIGURAS

5

10

15

20

25

30

35

La Figura 1 muestra un diagrama de flujo de las etapas del método de la invención, según una realización preferente de la misma.

La Figura 2 muestra los puntos característicos faciales usados en la detección de unidades de acción del método de la invención, según una realización preferente de la misma.

La Figura 3 representa la detección de la activación de una unidad de acción (concretamente, la AU1) en una secuencia de imágenes al comparar la variación teórica mínima en píxeles con la variación experimental de los parámetros faciales respecto a los parámetros patrones de reposo personalizados (en este caso el parámetro P2).

La Figura 4 muestra un sistema de reconocimiento de estado de ánimo, según una realización preferente de la invención, donde se detallan sus elementos.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN

Se expone, a continuación, una descripción detallada del método de la invención referida a una realización preferente de la misma, basada en la Figura 1 del presente documento. Dicha realización se aporta con fines ilustrativos, pero no limitativos, de la invención reivindicada.

Un objeto de la invención se refiere a un método para reconocer el estado de ánimo de un sujeto (1) a partir de su relación con las expresiones/movimientos faciales. El método de la invención se centra en reconocer los estados de ánimo, un concepto distinto al de emoción. En la definición de dicha relación se usa la teoría que existe entre gestos/movimientos faciales y emociones (codificación FACS) y la teoría que relaciona emociones y estados de ánimo (modelo PAD). En el método de la invención, la forma de pasar las imágenes captadas de los sujetos (1) a gestos/movimientos faciales es personalizado, “aprendiendo” la forma particular de las características faciales del sujeto (1) analizado, de tal forma que el método de reconocimiento del estado de ánimo es más preciso que si no se realizara esta personalización.

El método de la invención tiene en cuenta, además, el historial previo de la secuencia de imágenes (es decir, el reconocimiento de expresiones en las imágenes anteriores a la imagen procesada). La invención se basa, por tanto, en el análisis de una colección de

5

10

15

20

25

imágenes de número determinado, a diferencia de los procedimientos basados en el reconocimiento instantáneo para la identificación de emociones.

Según la Figura 1, el método comprende tres etapas fundamentales: definición de datos y criterios previos generales; definición de patrones de reposo personalizados y evaluación del estado de ánimo. A continuación se describen en detalle cada una de las etapas.

1.- Definición de datos y criterios previos generales.

El método requiere unos datos base, previos al análisis del estado de ánimo del sujeto (1):

- En primer lugar, se necesita escoger un subconjunto n de unidades de acción (AUs) dentro de todas las que existen en el sistema FACS, que sean consideradas suficientes para poder describir y reconocer cualquier estado de ánimo del espacio PAD. Por ejemplo, en la Tabla 3 se muestra un subconjunto n=11 posible. De esta forma hay un conjunto de gestos o AUj cuya combinación pueden describir los estados de ánimo, donde j=1,2,...n.

AU1: Levantamiento interior de las cejas

AU2: Levantamiento exterior de las cejas

AU4: Bajar las cejas

AU5: Levantamiento del párpado superior

AU6: Levantamiento de las mejillas

AU10: Levantamiento del labio superior

AU12: Estiramiento labial esquinal

AU15: Depresión labial esquinal

AU25: Deslizamiento labial

AU26: Caída de la mandíbula

AU43: Ojos cerrados

Tabla 3: Subconjunto de unidades de acción consideradas en el reconocimiento del estado de ánimo.

- En segundo lugar, se necesita un criterio previo que relacione los ocho estados de ánimo del espacio PAD de Mehrabian con los gestos faciales o unidades de acción (AUs) que se activan en cada uno de ellos. En la Tabla 4 se presentan estos datos de partida definidos por Russel y Mehrabian y el Repertorio de Expresión Facial (FER) según el subconjunto de unidades de acción consideradas.

5

10

15

20

25

Estado de ánimo: AU activas

Euforia: AU5, AU6, AU12, AU25, AU26

Ansiedad: AU1, AU2, AU4, AU5, AU15, AU25, AU26

Aburrimiento: AU1, AU2, AU4, AU15, AU43

Docilidad: AU1, AU2, AU12, AU43

Hostilidad: AU4, AU10, AU5, AU15, AU25, AU26

Relajación: AU6, AU12, AU43

Dependencia: AU1, AU2, AU5, AU12, AU25, AU26

Condescendencia: AU4, AU15, AU43

Tabla 4. AU activas por cuadrante PAD

Los datos de partida también han de indicar la importancia de cada gesto o AUj en el correspondiente estado de ánimo. Para ello, se define un número entre 0 y 1 para determinar el peso de cada gesto o AUj. Si una AUj es muy determinante, se le asigna el valor 1, mientras que si no tiene importancia para cierto estado de ánimo, se le asigna el valor 0. Con estos valores se construye un vector para cada estado de ánimo i. A este vector le llamamos p¡, por ejemplo:

p¡= Cp {pij} = Cp {pii, p¡2,... pin} = Cp {1,1,1,0.7,0,0,0,1,1,1,°} (Eq.1)

Cada pij es un escalar que determina la importancia de una AUj en el estado de ánimo i , y Cp es una constante de normalización para imponer la condición de que Znj=i p¡¡=1 en la Eq. 1. Entonces p¡ es un patrón del estado de ánimo que lo relaciona con los gestos o AUs.

De esta forma se define una distribución de probabilidad patrón asociada a la activación de una o más unidades de acción asociadas a un estado de ánimo.

2.- Definición de patrones de reposo personalizados.

En una segunda etapa, el método requiere definir unos criterios de activación de cada AUj que a la hora de interpretar los datos de las imágenes se puedan utilizar para determinar si un gesto o AUj ha sido efectuado por el sujeto (1) del estudio. Para definir citados criterios, se realizan los siguientes pasos:

- Se registran una o más imágenes faciales del sujeto (1) en un estado de ánimo de referencia.

- Se define una pluralidad de puntos característicos faciales del sujeto (1) en una o más de las imágenes en el estado de ánimo de referencia. Por ejemplo, tal y como

5 muestra la Figura 2, se pueden tomar 24 puntos o curvas faciales. Estos puntos

característicos se asocian estratégicamente a los puntos o curvas faciales más susceptibles de sufrir cambios en su posición al activar una o más AUj.

- Se definen una pluralidad de distancias entre esos puntos característicos faciales escogidos en el paso anterior. A estas distancias las denominamos parámetros P.

10 Como ejemplo, en la Tabla 5 se definen 15 parámetros de distancia que se usarán en

la detección de AUs.

Parámetro: Distancia Descripción

P1: punto 2 a segmento 9-10 distancia media ojo-ceja derecha

P2: punto 5 a punto 12 distancia interior ojo-ceja derecha

P3: punto 7 a segmento 13-14 distancia media ojo-ceja izquierda

P4: punto 4 a punto 11 distancia interna ojo-ceja izquierda

P5: segmento 9-10 a segmento 15-16 distancia ojo abierto derecho

P6: segmento 13-14 a segmento 1718 distancia ojo abierto izquierdo

P7: punto 20 a punto 21 distancia boca horizontal

P9: punto 19 a punto 22 distancia superior boca-nariz

P10: punto 19 a punto 24 distancia mandíbula-nariz

P11: punto 20 a punto 23 en vertical distancia boca casi inferior-boca exterior

P12: Segmento 1 -3 a segmento 9-10 distancia ceja izquierda-párpado superior

P13: Segmento 1-3 a segmento 15-16 distancia ceja izquierda -párpado inferior

P14: Segmento 6-8 a segmento 13-14 distancia ceja derecha-párpado superior

P15: Segmento 6-8 a segmento 17-18 distancia ceja derecha -párpado inferior

Tabla 5. Parámetros de distancia para la detección de 15 AUs.

-Se definen uno o más patrones de reposo para cada parámetro P. La definición de estos patrones de reposo incluye la definición de un valor medio u y una desviación máxima o de del valor medio. Estos patrones de reposo se deben hallar para cada sujeto (1) que se somete al método de análisis de reconocimiento facial. Es una etapa incluida en cada análisis, no siendo una calibración previa e independiente.

-Se definen una o más reglas que relacionen las medidas fuera del reposo con los patrones de reposo para indicar la activación de cada AUj. Si una comparación respecto al patrón del reposo AP= Pimagen-P reposo es un número positivo se trata de una expansión AP(+) y, si por el contrario resulta una diferencia negativa, se trata de una contracción de este parámetro facial AP(-). En la Tabla 6 se muestran un ejemplo de conjunto de reglas para detectar activaciones de AUs que describen un valor umbral para cada variación de parámetros relacionados con las AUs y están definidos en función de la desviación o. Por ejemplo, si en una imagen AP7(+) > 2o, AU12 se habrá activado.

AU: Regla

AU1: AP2(+) > 1.5 o AND AP4(+) > 1.5 o

AU2: AP1(+) > 1.5 o AND AP3(+) > 1.5 o

AU4: AP1(-) > 2 o AND AP3(+) > 2 o

AU5: AP5(-) > 1.5 o AND APe(+) > 1.5 o

AU6: AP5(-) > o AND AP6(-)>o AND AP7(+) > o

AU10: AP7(-) > 2 o AND AP9(+)> 2 o

AU12: AP7(+) > 2 o

AU15: APi(+) > 1.5 o

AU25: AP4+) > 2 o

AU26: AP4+) > 3 o

AU43: AP12(+) > o AND AP13(+) > o AND APu(+)> o AND AP15(+)>o

Tabla 6. Reglas usadas en la detección de AUs.

20

3.- Evaluación del estado de ánimo.

5

10

15

Con estos pasos anteriormente descritos es posible determinar los cambios de los parámetros faciales en un paquete de imágenes consecutivas, tal y como muestra la Figura 3 a modo de

5

10

15

20

25

30

35

ejemplo. Según las reglas de activación, se pueden comparar cómo debe ser el cambio teórico para activar una AU con los cambios reales sufridos por el sujeto (1) a lo largo de una secuencia de imágenes. En la Figura 3 se muestra como ejemplo la regla de activación de la AU1 respecto al parámetro P2 y el valor experimental del parámetro P2 en píxeles en una secuencia de imágenes. Como la variación teórica se ajusta a la variación experimental, se considera que AU1 se ha activado en ese conjunto de imágenes.

El método de la invención comprende entonces un paso final de comparación para realizar la etapa final de evaluación del estado de ánimo:

Supongamos que tenemos un número W de imágenes, preferentemente consecutivas. Si comparamos cada una de esas imágenes con los criterios de activación de las AUs, tenemos que para cada gesto o AUj, podemos determinar si ésta se ha activado. Repitiendo esa comparación con todas las imágenes, podemos determinar si se ha activado en una o en varias imágenes. Dicho de otra forma, se puede obtener un valor de relevancia u ocurrencia para cada gesto o AUj. A cada uno de esos valores de ocurrencia los podemos denominar q¡. Cada qj se calcula con la siguiente expresión:

q= Cq (1/W) tWk=a skj (Eq. 2)

Donde k=0,1,...,W y cada k designa una imagen y donde Skj representa la activación o no activación del gesto AUj. Si el gesto AUj se ha activado, a Skj se le asigna el valor Skj=1, mientras que si no se ha activado, Skj=0. Finalmente, Cq es una constante de normalización para imponer la condición de que In¡=i q=1 en la Eq. 2.

Con el conjunto de escalares qj resultantes, podemos construir un vector qj={qj} de las mismas dimensiones que el patrón p¡ pero que esta vez denota el peso experimental o distribución de probabilidad de activación de cada gesto en un conjunto de imágenes W, asociadas al estado de ánimo a reconocer.

La última etapa del método de la invención consiste en comparar el patrón con el experimento. Para ello, se usa el coeficiente de Bhattacharyya, D¡, para cada estado de ánimo:

D=Inj=i (pj q)1/2 (Eq. 3)

Este coeficiente nos devuelve un valor que indica la cercanía de la distribución de probabilidad del experimento respecto a la distribución de probabilidad patrón.

5

10

15

20

25

30

35

A través de estos pasos es posible determinar el estado o estados de ánimo más cercanos al estado de ánimo experimental del sujeto (1) sometido al análisis.

En conclusión, en este invento se plantea el uso de descriptores de la dinámica temporal de la expresión facial de una persona para determinar el estado de ánimo de la misma. Estos descriptores codifican la importancia de la ocurrencia de cada AU para cada estado de ánimo. El invento utiliza un método de detección de AU capaz de aprender los parámetros particulares de la apariencia del movimiento facial de forma personalizada en la misma sesión de análisis sin una etapa previa de aprendizaje. El sistema final que se presenta, permite también la posibilidad de definición de un parámetro de análisis temporal W, relacionado con la colección de imágenes a procesar, que permite la correcta interpretación robusta frente a errores parciales del estado de ánimo de la persona participante en el análisis. El proceso de análisis es una iteración cuya duración depende del número de secuencias de imagen.

Alternativamente, es posible realizar una calibración especial del sujeto (1) en una sesión de estímulos conocidos, que permitan evaluar el grado de respuesta del sujeto (1) frente a estímulos patrón para luego reconocer estados de ánimo en estímulos no estándar con mayor precisión.

Otro objeto de la invención se refiere a un sistema de reconocimiento facial del estado de ánimo de un sujeto (1) a través del método de reconocimiento del estado de ánimo como el descrito en la realización anterior, que comprende:

- una cámara (2) adaptada para la toma de imágenes faciales de dicho sujeto (1);

El sistema de la invención puede comprender, adicionalmente, un subsistema de aprendizaje configurado por medios de hardware y/o software, para establecer criterios de clasificación de las secuencias tomadas por la cámara (2), en función de resultados obtenidos en análisis anteriores. Ello permite mejorar de forma progresiva la precisión del sistema y realimentarlo con la información obtenida previamente, asociando determinadas

unidades de acción a estados de ánimo del sujeto, de forma personalizada. El subsistema de aprendizaje puede estar conectado al medio de procesamiento (3) tanto de forma local como remota.

5

Claims

5

10

15

20

25

30

REIVINDICACIONES

1. - Método de reconocimiento del estado de ánimo de un sujeto (1) a partir de imágenes faciales de dicho sujeto (1), obtenidas por medio de un sistema que comprende una cámara (2) adaptada para la toma de dichas imágenes, y un procesador (3) para el almacenamiento y/o procesado de las mismas; donde dicho método está caracterizado por que comprende la realización de las siguientes etapas:

a) se registran una o más imágenes faciales del sujeto (1) en un estado de ánimo de referencia;

b) se define una pluralidad de puntos faciales característicos del sujeto (1) en una o más de las imágenes asociadas al estado de ánimo de referencia;

c) se definen uno o más patrones de reposo correspondientes las distancias entre los puntos faciales característicos del sujeto (1), definidos en el paso b);

d) se definen una o más unidades de acción (AUs) correspondientes al movimiento de los puntos faciales respecto a los patrones de reposo;

e) se definen una o más reglas de activación de cada unidad de acción para el estado de ánimo a reconocer, basadas en valores umbral asociados a la cantidad de movimiento de los puntos faciales característicos respecto a los patrones de reposo;

f) se define una distribución de probabilidad patrón asociada a la activación de una o más unidades de acción asociadas a un estado de ánimo;

g) se registra una secuencia de imágenes faciales del sujeto (1), asociada al estado de ánimo a reconocer;

h) se obtiene, para cada imagen de la secuencia, la distribución de probabilidad de activación de las unidades de acción asociadas al estado de ánimo a reconocer, de acuerdo con las reglas definidas en el paso e);

i) se determina la similitud entre la distribución de probabilidad obtenida en el paso h) y la distribución de probabilidad patrón definida en el paso f).
2. - Método de reconocimiento del estado de ánimo según la reivindicación anterior,

donde:

- se define una distribución de probabilidad patrón asociada a la activación de una o más unidades de acción asociadas a un estado de ánimo i, definiendo para ello un valor pj entre 0 y 1 para designar la contribución de cada unidad de acción j, donde el valor 0 se asigna a la mínima contribución y el valor 1 a la máxima;

5

10

15

20

25

30

35

- se construye con estos valores p¡ un vector p¡ para cada estado de ánimo i, siendo n

el número de unidades de acción que intervienen en la determinación de los estados

de ánimo:

pi= Cp {pjj} = Cp {pi1, p¡2,... pin} ,

donde Cp es una constante de normalización para imponer la condición de que Zn¡=i pj

=1.
3. - Método de reconocimiento del estado de ánimo según cualquiera de las reivindicaciones anteriores, donde:

- se registra un número W de imágenes faciales del sujeto (1);

- se obtiene, para el conjunto de imágenes W, la distribución de probabilidad de activación q]={q¡} de las unidades de acción j asociadas al estado de ánimo i a reconocer, definiendo para ello un valor qj para designar la contribución de cada unidad de acción j, según la expresión:

qj=(1/W) ¿Wk=o sk¡

donde k=0,1,...,W; ¡=1,2,...,n; y a s¡ se le asigna el valor s¡=1 si la unidad de acción ¡ se activa, y s¡=0 si la unidad de acción ¡ no se activa; y Cq es una constante de normalización para imponer la condición de que Zn¡=i q¡=1.
4. - Método de reconocimiento del estado de ánimo según cualquiera de las

reivindicaciones anteriores, donde se determina la similitud entre la distribución de

probabilidad obtenida en el paso h) y la distribución de probabilidad patrón definida en el paso f) a través del cálculo del coeficiente de Bhattacharyya, D¡, para cada estado de ánimo i, según la expresión:

Di=In¡=i (p¡ q¡)1/2
5. - Método de reconocimiento del estado de ánimo según la reivindicación anterior, donde las W imágenes faciales del sujeto (1) son imágenes consecutivas en una secuencia captada por la cámara (2).
6. - Método de reconocimiento del estado de ánimo según cualquiera de las

reivindicaciones anteriores, donde el conjunto de las n unidades de acción intervinientes en la determinación del estado o estados de ánimo del sujeto (1) se escogen de entre todas las unidades de acción existentes en el sistema Facial Action Coding System (FACS).

5

10

15

20

25

30

35
7. - Método de reconocimiento del estado de ánimo según la reivindicación anterior, donde las unidades de acción intervinientes en la determinación del estado o estados de ánimo del sujeto (1) son una o más de las siguientes: levantamiento interior de las cejas; levantamiento exterior de las cejas; bajar las cejas; levantamiento del párpado superior; levantamiento de las mejillas; levantamiento del labio superior; estiramiento labial esquinal; depresión labial esquinal; deslizamiento labial; caída de la mandíbula; ojos cerrados.
8. - Método de reconocimiento del estado de ánimo según cualquiera de las reivindicaciones anteriores, donde los estados de ánimo considerados son los ocho estados de ánimo del espacio PAD de Mehrabian.
9. - Método de reconocimiento del estado de ánimo según la reivindicación anterior, donde la relación de los ocho estados de ánimo del espacio PAD de Mehrabian con las unidades de acción que se activan en cada uno de ellos son las definidas por Russel y Mehrabian y el Repertorio de Expresión Facial (FER).
10. - Método de reconocimiento del estado de ánimo según cualquiera de las reivindicaciones anteriores, donde se definen uno o más patrones de reposo correspondientes a las distancias entre los puntos faciales característicos del sujeto (1) siendo dichas distancias una o más de las siguientes: distancia media ojo-ceja derecha; distancia interior ojo-ceja derecha; distancia media ojo-ceja izquierda; distancia interna ojo-ceja izquierda; distancia ojo abierto derecho; distancia ojo abierto izquierdo; distancia boca horizontal; distancia superior boca-nariz; distancia mandíbula-nariz; distancia boca casi inferior-boca exterior; distancia ceja izquierda-párpado superior; distancia ceja izquierda- párpado inferior; distancia ceja derecha-párpado superior; distancia ceja derecha-párpado inferior.
11. - Método de reconocimiento del estado de ánimo según cualquiera de las reivindicaciones anteriores, donde se realiza una calibración de estado o estados de ánimo del sujeto (1) en una sesión de estímulos conocidos.
12. - Sistema para el reconocimiento del estado de ánimo de un sujeto (1) a través de un método de reconocimiento del estado de ánimo según cualquiera de las reivindicaciones 1-11, que comprende:

- una cámara (2) adaptada para la toma de imágenes faciales de dicho sujeto (1);

- un procesador (3) para el almacenamiento y/o procesado de las imágenes faciales;

uno o más medios de procesamiento (3) para el almacenamiento y/o procesado de las imágenes faciales, donde dichos medios de procesamiento (3) están configurados mediante hardware y/o software para la realización de un método de reconocimiento de estados de ánimo según cualquiera de las reivindicaciones anteriores.

5
13.- Sistema para el reconocimiento del estado de ánimo de un sujeto (1), según la reivindicación anterior, donde las imágenes de la secuencia registrada son imágenes consecutivas obtenidas por la cámara (2).

10 14.- Sistema para el reconocimiento del estado de ánimo de un sujeto (1), según

cualquiera de las reivindicaciones anteriores, que adicionalmente un subsistema de aprendizaje configurado por medios de hardware y/o software, para establecer criterios de clasificación de las secuencias tomadas por la cámara (2), en función de resultados obtenidos en análisis anteriores, donde dicho subsistema de aprendizaje está conectado al 15 medio de procesamiento (3) de forma local o remota.