ES2980940T3 - Método para detectar un conjunto predefinido de puntos característicos de un rostro - Google Patents

Método para detectar un conjunto predefinido de puntos característicos de un rostro Download PDF

Info

Publication number
ES2980940T3
ES2980940T3 ES12708270T ES12708270T ES2980940T3 ES 2980940 T3 ES2980940 T3 ES 2980940T3 ES 12708270 T ES12708270 T ES 12708270T ES 12708270 T ES12708270 T ES 12708270T ES 2980940 T3 ES2980940 T3 ES 2980940T3
Authority
ES
Spain
Prior art keywords
face
detection
statistical
texture
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12708270T
Other languages
English (en)
Inventor
Ariel Choukroun
Gallou Sylvain Le
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FITTINGBOX
Original Assignee
FITTINGBOX
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FITTINGBOX filed Critical FITTINGBOX
Application granted granted Critical
Publication of ES2980940T3 publication Critical patent/ES2980940T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

La invención se refiere a un método para detectar un conjunto predefinido de puntos característicos de un rostro a partir de una imagen de dicho rostro. El método comprende una etapa de hacer que la forma y/o la textura de una jerarquía de modelos estadísticos de porciones de un rostro converjan con los datos reales suministrados por la imagen del rostro. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Método para detectar un conjunto predefinido de puntos característicos de un rostro
La presente invención se refiere al campo del procesamiento de imágenes. Esta se refiere más particularmente a la detección y al seguimiento de puntos característicos de un rostro.
Contexto de la invención y problemas planteados
La identificación de puntos característicos de un rostro en una imagen tiene numerosas aplicaciones, entre ellas la seguridad o la realidad aumentada.
En este último ámbito, podemos citar, por ejemplo, la prueba virtual de gafas totalmente automática, es decir, la superposición en una pantalla de una imagen real del rostro de un usuario y una imagen virtual de unas gafas cuyos parámetros característicos, como la forma y la textura, han sido previamente memorizados.
Entonces es importante poder detectar los puntos característicos de un rostro a partir de una simple imagen de un usuario. Este proceso se llama
alineación facial.
Entre los métodos de alineación, podemos citar los métodos de modelado estadístico. Estos suelen tener dos fases:
- una fase de aprendizaje que consiste en la creación del modelo estadístico y
- una fase de detección que consiste en hacer converger la forma y/o textura del modelo estadístico sobre datos reales.
Los tres algoritmos principales que utilizan modelos estadísticos son los modelos de forma activa ASM (Active Shape Models), los modelos de apariencia activa AAM (Active Appearance Models) y los modelos locales restringidos CLM (Constrained Local Models).
En la fase de aprendizaje, los ASM solo modelan la forma (conjunto de puntos conectados entre sí) de un objeto, los AAM modelan la forma y la textura (píxeles contenidos dentro de la cubierta convexa de la forma) y los CLM modelan la forma y los parches de textura (píxeles contenidos en una zona de vecindad en cada punto de la forma).
En la fase de detección, tanto ASM como CLM convergen la forma del objeto en función de las superficies de respuesta (que son unidimensionales para ASM y bidimensionales para CLM), la textura del modelo estadístico CLM es estática o está bien definida por predicciones. Mientras que para AAM la convergencia se realiza conjuntamente en la textura y la forma (con métodos de descenso de gradiente), la textura del modelo busca aproximarse lo mejor posible a la textura de la imagen sobre la que se realiza la detección.
Los CLM tienen la ventaja de ser más resistentes a las ocultaciones y cambios de apariencia, pero son más sensibles a los mínimos locales. Los AAM son más robustos contra los mínimos locales, pero la convergencia de texturas es problemática en los métodos de descenso de gradiente (problema de triangulación de formas cuya función de deformación de la malla siempre debe crear una malla unida), y los AAM se adaptan menos a la variabilidad de los rostros.
Los siguientes documentos presentan otros métodos para detectar puntos característicos de un rostro:
Zihian Xu et al. : "A hierarchical compositional model for face représentation and sketching", 2008, ISSN: 1262-8828;
Zhang Li et al. : "Robust Face Alignment Based on Hierarchical Classifier Network", 2006, ISBN: 978-3-030 71592-2; y
Liang Lin et al. : "Face Alignment Via Component-Based Discriminative Search", 2008, ISBN: 978-3-540 74549-5.
Por lo tanto, estos diferentes algoritmos no son completamente satisfactorios.
Divulgación de la invención
Según un primer aspecto, la presente invención tiene como objetivo un método para detectar un conjunto predefinido de puntos característicos de un rostro a partir de una imagen de este rostro.
El método comprende un grupo de pasos 300-400 que consiste en hacer converger la forma y textura de una jerarquía de modelos estadísticos de partes del rostro sobre los datos reales proporcionados por la imagen del rostro.
En la literatura también llamamos reconstrucción facial a este proceso de detección o identificación de puntos característicos, ya que permite reconstruir la forma tridimensional y la posición del rostro y, por lo tanto, calcular varias dimensiones si es necesario, por ejemplo, en el contexto de probarse un par de gafas virtuales.
Preferiblemente, los modelos estadísticos utilizados son del tipo Modelos de Apariencia Activa por Parches (PAAM). Ventajosamente, estos se crean a partir de los mismos datos de aprendizaje (texturas y formas), solo que se utilizan diferentes subconjuntos de puntos que definen las formas.
Se trata, por tanto, de un algoritmo de reconstrucción facial, denominado en la siguiente Jerarquía de Modelos de Apariencia Activa por Parches jerárquicos ("Hierarchical Patches Active Appearance Models" en inglés o HPAAM).
El método comprende el uso de una jerarquía de modelos estadísticos de partes del rostro (HPAAM) para la detección de puntos que caracterizan rostros simplificados o partes del rostro (tales como, por ejemplo, los ojos y la boca) (paso 300) y luego una jerarquía de modelos estadísticos del rostro para la detección final (paso 400).
Preferiblemente, el grupo de etapas 300-400 utiliza un método de alineación de modelado que comprende dos fases:
- una fase de aprendizaje que consiste en la creación de un modelo estadístico y
- una fase de detección que consiste en hacer converger la forma y/o textura del modelo estadístico sobre datos reales.
Según una implementación preferida, la construcción de un modelo estadístico de forma y textura se realiza alineando y normalizando todas las formas y texturas aplicando luego un análisis de componentes principales sobre las formas alineadas y sobre las texturas alineadas.
El método de detección utiliza, en un caso particular, una etapa de minimización mediante un algoritmo compositivo inverso (ICA) para la reconstrucción del rostro haciendo converger parámetros de forma p, de poseqyde texturaAde cada modelo estadístico de parte del rostro.
En esta fase de detección utilizando un enfoque tipo Gauss Newton mediante el algoritmo ICA, se optimiza la textura, forma y pose del modelo PAAM para que la textura de cada uno de los parches converja hacia la textura de la imagen utilizada para la detección.
El modelo jerárquico es un conjunto compuesto por un modelo estadístico de partes del rostro (MSV1) y un modelo estadístico del rostro (MSV2).
Según diversas implementaciones posiblemente utilizadas conjuntamente:
- el método incluye una etapa 100 de preprocesamiento de la imagen para superar mejor las condiciones de iluminación de la captura, incluyendo este preprocesamiento la ecualización del histograma.
- el método comprende una etapa 200 de detección del rostro en la imagen, realizada utilizando un algoritmo del tipo de Viola y Jones.
Presentación de las figuras
Las características y ventajas de la invención se apreciarán mejor gracias a la descripción que sigue, descripción que recoge las características de la invención a través de un ejemplo de aplicación no limitativo. La descripción se basa en las figuras adjuntas que representan:
Figura 1: un diagrama de flujo del método como se describe aquí
Figura 2: un ejemplo de un modelo estadístico de rostro.
Descripción detallada de una realización de la invención
En el contexto del ejemplo aquí descrito, el proceso según la invención (ilustrado Figura 1) está destinado a ser implementado en forma de software, por ejemplo, mediante un microordenador disponible comercialmente; conocido en sí mismo.
El método funciona con datos de entrada representativos de una imagen del rostro de un individuo.
El método y el dispositivo para adquirir la imagen del rostro como tal quedan fuera del alcance de la presente invención y, por lo tanto, no se detallan más aquí.
Modo de funcionamiento
El algoritmo de la solución de alineación de rostros propuesta consta de cuatro etapas:
Etapa 100: Preprocesamiento de la imagen para superar mejor las condiciones lumínicas de la captura. El preprocesamiento de imágenes utilizado es la ecualización de histograma.
Etapa 200: Detección de rostros en la imagen. La detección de rostros se realiza mediante un algoritmo ya conocido, del tipo de Viola y Jones
Etapa 300: Detección de partes del rostro (como los ojos y la boca) en la zona del rostro detectada en la etapa 200 anterior. La detección de partes del rostro consiste en hacer converger un modelo estadístico de rostro simplificado (MSV1) del tipo modelo de apariencia activa por parches (denominado PAAM por simplificación).
Cabe señalar que esta etapa 300 puede contener subetapas intermedias que no son esenciales, pero que facilitan la reconstrucción (es decir, la detección de los puntos característicos del rostro, permitiendo reconstruirla bajo cualquier ángulo) más robusta. Esta consiste en hacer converger en cada subetapa un modelo estadístico de tipo PAAM cada vez más rico o complejo en número de puntos y/o tamaño de parches. La última subetapa es la convergencia del modelo estadístico simplificado más complejo.
El objetivo de cada subetapa es hacer converger un algoritmo de tipo ICA (algoritmo composicional inverso), conocido per se, en un modelo estadístico antes que otro modelo estadístico más complejo.
Este algoritmo ICA permite encontrar iterativamente los parámetros de forma (p), pose (q) y textura (A) que mejor se corresponden con la imagen procesada.
En efecto, esto permite, en particular, mejorar la estimación del parámetro de pose q, que es bastante impreciso utilizando la detección de rostros de Viola y Jones.
También cabe señalar que, en una variante de implementación, se puede considerar una inicialización más compleja de los modelos PAAM. Varias instancias o inicializaciones del modelo estadístico PAAM (del rostro simplificado MSV1 o de una subetapa) pueden iniciarse, por ejemplo, dentro del área del rostro encontrada en la etapa 200. Los puntos de las partes del rostro detectadas serán entonces los dados por el mejor ejemplo en términos de correlación o error de convergencia.
Etapa 400: Detección de puntos característicos del rostro. La detección de puntos característicos del rostro consiste en hacer converger un modelo estadístico de rostro (MSV2) del tipo PAAM. La Figura 2 ilustra un ejemplo de un modelo estadístico de rostro.
Los modelos estadísticos MSV1 y MSV2 se crean a partir de la misma base de aprendizaje, luego existen factores multiplicativos que permiten hacer coincidir los parámetros que rigen las formas correspondientes a los modelos estadísticos MSV1 y MSV2. Por ejemplo, el parámetro que modifica la forma de un movimiento del rostro de izquierda a derecha para el modelo estadístico MSV1 es -1 veces el del modelo estadístico MSV2. La inicialización de la etapa 400 se realiza utilizando estos factores multiplicativos aplicados a los parámetros encontrados en la etapa 300. Los otros parámetros que no encuentran una coincidencia se pueden instanciar en varias posiciones (-0,5, 0 y 0,5 por ejemplo), y sólo la convergencia produce el error más pequeño. Las pruebas mostraron que era mejor considerar el error dado por la correlación de la textura del modelo y la textura de la imagen (ZNCC) en lugar de la diferencia al cuadrado de estas texturas (SSD).
El parámetro de pose (q) se inicializa usando la etapa 300.
Cabe señalar que esta etapa 400 también puede contener subetapas intermedias que no son esenciales, pero que hacen que la reconstrucción sea más robusta. Esta consiste en hacer converger en cada subetapa un modelo estadístico de rostros tipo PAAM cada vez más complejo en términos de tamaño de parche o resolución. La última subetapa es la convergencia del modelo estadístico de rostro más complejo.
Cabe destacar también que los parámetros de inicialización de las subetapas se pueden deducir de la subetapa anterior gracias a que se pueden crear los modelos estadísticos de rostros a partir de la misma base de aprendizaje.
Con respecto a los modelos estadísticos PAAM (utilizados en las etapas 300 y 400), el método de alineación por modelado estadístico tiene dos fases:
- una fase de aprendizaje que consiste en la creación del modelo estadístico y
- una fase de detección que consiste en hacer converger la forma y/o textura del modelo estadístico sobre datos reales.
La fase de aprendizaje del modelo estadístico PAAM por parches con apariencia activa (Patches Active Appearance Models), propuesta en el presente ejemplo de implementación de la invención, se diferencia de un algoritmo de modelos locales restringidos CLM en el hecho de que ahora se aprende una textura y cómo realizar la alineación de datos.
La fase de detección del modelo PAAM se realiza de forma similar a la de los AAM. Utilizamos una minimización de Gauss Newton conjuntamente sobre la textura, la forma y la pose del modelo, de modo que la textura de cada uno de los parches converja hacia la textura de la imagen utilizada para la detección. Una diferencia muy significativa proviene de la forma de modificar la forma (la forma de implementar las funciones de deformación o funciones 'Warp'). De hecho, los métodos de convergencia AAM requieren la composición de funciones de deformación de malla. Pero en el caso de las mallas, la composición en cada triángulo hace que se pierda la conectividad de la malla. Una malla es un conjunto de puntos conectados por triangulación.
La ventaja de este enfoque PAAM es que la resolución de la minimización no requiere aproximación debido a las funciones de deformación (o 'Warp') ya que ya no existe ninguna noción de conectividad de malla y podemos formalizar la solución del problema de forma matricial.
En una implementación preferida, en el presente método de alineación de caras se utiliza un modelo jerárquico (denominado HPAAM para simplificar en el resto de la descripción) que es la composición de modelos estadísticos PAAM, pudiendo crearse estos modelos a partir de los mismos datos de aprendizaje (texturas y formas).
Un modelo jerárquico se define como la composición de modelos estadísticos cuando estos modelos estadísticos se crean a partir de los mismos datos de entrenamiento (texturas y formas). Sólo se utilizan diferentes subconjuntos de puntos que definen la forma.
Se llama jerárquico porque la definición (en número de puntos) y por tanto el contenido semántico de los modelos involucrados aumenta gradualmente.
La construcción de un modelo estadístico de forma y textura se lleva a cabo, por su parte, alineando y normalizando todas las formas y texturas y luego aplicando un análisis en componente principal (observado por la simplificación ACP en el resto de la descripción) sobre las formas alineadas y las texturas alineadas. Los algoritmos de análisis de componentes principales son bien conocidos por los expertos en la técnica y, por lo tanto, no se detallan aquí.
Las formas (S) se parametrizan entonces de la siguiente manera: S=S+Osbs, en la que S denota la forma promedio y bS los vectores propios dados por el análisis de componentes principales. De manera similar, para las texturas:T= ? Orbr
Los modelos estadísticos presentados, en este ejemplo, se crean a partir de alrededor de un centenar de texturas y formas de rostros.
Una textura es la concatenación de parches rectangulares centrados en cada punto de la forma.
El modelo jerárquico propuesto es un conjunto compuesto por un modelo estadístico de partes del rostro (MSV1) y un modelo estadístico del rostro (M<s>V2).
A continuación, se procede a una alineación de las formas mediante un análisis de Procrustes, según un método ya conocido.
La forma del modelo estadístico del rostro MSV2 se compone, en este ejemplo de implementación, de cincuenta y un puntos. Sin embargo, está claro que se pueden utilizar modelos que utilicen mayor o menor número de puntos.
También en este caso realizamos una alineación de las formas mediante un análisis de Procrustes, según un método ya conocido. La textura es la concatenación de los 51 parches rectangulares.
En la solución de alineación de rostros presentada aquí como ejemplo no limitante, se usa un HPAAM para la detección de partes del rostro (etapa 300) y luego un HPAAM para el rostro para la detección final (etapa 400).
Un modelo estadístico PAAM utiliza dos parámetros estandarizados para estimar: un primer parámetropque define la forma y un segundo parámetroAque define la textura. Para la variabilidad en la pose de las caras en la imagen (rotación, homotecia, traslación) un tercer parámetroq(parámetro de pose) debe ser estimado. Para la parte HPAAM de las partes del rostro (paso 300), los parámetros p y A del modelo estadístico PAAM MSV1 se inicializan a 0, mientras que el parámetro de pose q se estima usando la detección de rostros. Asimismo, en el caso de que se utilicen subetapas intermedias, los parámetros p y A de los siguientes modelos estadísticos PAAM (modelos más complejos) se inicializan a 0.
Cabe señalar que en una realización no preferida debido a que es menos robusta, se puede eliminar la etapa 300 de convergencia de un modelo estadístico PAAM de una cara simplificada MSV1. En este caso, luego se inician varias instancias o inicializaciones del parámetro de forma de la etapa 400. Los puntos faciales detectados serán entonces los dados por el mejor ejemplo en términos de error de correlación o convergencia. El parámetro de textura A se inicializa a 0 ya que las texturas de las dos etapas (correspondientes a los dos niveles de resolución) no están vinculadas. Finalmente, el parámetro de pose q se puede tomar directamente de la etapa PAAM anterior.
Según un segundo aspecto, la presente invención tiene como objetivo un método para rastrear un conjunto predefinido de puntos característicos de un rostro en un vídeo. En efecto, el método de alineación de rostros descrito anteriormente permite detectar puntos característicos de un rostro que se encuentran en la primera imagen que compone un vídeo. Esta etapa permite, en particular, encontrar los parámetros de pose, textura y forma que explican el rostro detectado. Para las siguientes imágenes que componen el vídeo, dicha detección no es necesaria ya que siempre se trata de la misma identidad y las variaciones de forma y pose entre 2 imágenes consecutivas son mínimas. El seguimiento consiste, por tanto, en hacer converger un modelo estadístico del rostro (MSV2) de tipo PAAM sucesivamente para cada imagen. Los parámetros simplemente se inicializan utilizando los parámetros encontrados en la imagen anterior.
Para cada punto asociado al parche, es posible establecer correspondencias directas entre las imágenes y permitir así la reconstrucción 3<d>dispersa del modelo de rostro, así como su seguimiento 3D a lo largo de la secuencia de vídeo utilizando las técnicas clásicas de ajuste de haz conocidas por los expertos en la técnica. Ventajas de la realización
Un algoritmo de alineación de rostro HPAAM permite detectar los puntos característicos de un rostro liberándose al máximo de las condiciones de captura de la imagen (inducidas por el sistema de adquisición o por la iluminación de la escena) y de las variaciones específicas del rostro (identidad, pose, expresión). Cabe señalar que la elección de un modelo deformable por parche tiene la ventaja de crear menos dependencias de la iluminación, menos dependencias de las expresiones faciales y de evitar el problema de conectividad de la malla en comparación con un modelo completamente deformable.
La reconstrucción con parches propuesta ha demostrado su eficacia en bases de datos de rostros que contienen una gran variabilidad en identidades, poses e iluminaciones.
Variantes de realización
El alcance de la presente invención no se limita a los detalles de las realizaciones anteriores consideradas a modo de ejemplo, sino que por el contrario se extiende a modificaciones que están al alcance de los expertos en la técnica. El alcance de la protección lo proporcionan las reivindicaciones adjuntas.

Claims (13)

REIVINDICACIONES
1. Método para detectar un conjunto predefinido de puntos característicos de un rostro a partir de una imagen de este rostro,
en el que los puntos característicos se obtienen haciendo converger la forma y textura de una jerarquía de modelos estadísticos de partes del rostro, MSV1, y de una jerarquía de modelos estadísticos de rostro, MSV2, sobre los datos reales proporcionados por la imagen del rostro, los modelos estadísticos utilizados son del tipo Modelos de Apariencia Activa por Parches, PAAM, caracterizado porque comprende el uso de la jerarquía de modelos estadísticos de partes del rostro, MSV1, para la detección de partes del rostro en el área del rostro en la imagen (etapa 300), luego el uso de la jerarquía de modelos estadísticos de rostro, MSV2, para la detección final (paso 400) en el que las jerarquías de los modelos estadísticos MSV1 y MSV2 se crean a partir de la misma base de aprendizaje, factores multiplicativos correspondientes a parámetros que rigen las formas correspondientes a las jerarquías de modelos estadísticos MSV1 y MSV2, la inicialización de la detección final que se realiza utilizando dichos factores multiplicativos aplicados a los parámetros encontrados en la detección de las partes del rostro en el área del rostro en la imagen.
2. Método según la reivindicación 1, caracterizado porque la detección final comprende una pluralidad de subetapas intermedias, convergiendo en cada subetapa un modelo estadístico de rostro cada vez más complejo en términos de tamaño de parche o resolución.
3. Método según la reivindicación 2, caracterizado porque se considera un error dado por la correlación de la textura del modelo y la textura de la imagen para la convergencia de la jerarquía de modelos estadísticos de rostros para la detección final.
4. Método según una cualquiera de las reivindicaciones anteriores, caracterizado porque la detección de partes del rostro comprende una pluralidad de subetapas intermedias, convergiendo en cada subetapa un modelo estadístico de tipo PAAM cada vez más rico en número de puntos y/o en tamaño de parches.
5. Método según la reivindicación 4, caracterizado porque se utiliza un algoritmo compositivo inverso, ICA, para la convergencia del modelo estadístico durante cada subetapa de la detección de partes del rostro.
6. Método según una cualquiera de las reivindicaciones anteriores, caracterizado porque la detección de las partes del rostro y la detección final utilizan un método de alineación por modelado que comprende dos fases:
- una fase de aprendizaje que consiste en la creación de un modelo estadístico y
- una fase de detección que consiste en hacer converger la forma y/o la textura del modelo estadístico sobre datos reales.
7. Método según la reivindicación 6, caracterizado porque la construcción de un modelo estadístico de forma y textura se realiza alineando y normalizando todas las formas y texturas aplicando luego un análisis de componentes principales sobre las formas alineadas y sobre las texturas alineadas.
8. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque los modelos estadísticos se crean a partir de los mismos datos de aprendizaje, utilizándose únicamente diferentes subconjuntos de puntos que definen las formas.
9. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque comprende una etapa de minimización mediante un algoritmo compositivo inverso, ICA, para la detección de puntos característicos del rostro haciendo converger parámetros de forma p, de pose q y de texturaAde cada modelo estadístico de parte de rostro.
10. Método según cualquiera de las reivindicaciones 6 a 8, caracterizado porque en la fase de detección del modelo PAAM se utiliza conjuntamente una minimización de Gauss Newton sobre la textura, la forma y la pose del modelo, de modo que la textura de cada uno de los parches converge hacia la textura de la imagen utilizada para la detección.
11. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque comprende un pretratamiento de la imagen para superar mejor las condiciones de iluminación de la captura, comprendiendo este pretratamiento una ecualización del histograma.
12. Método según cualquiera de las reivindicaciones anteriores, caracterizado porque comprende una detección del rostro en la imagen, realizada mediante un algoritmo del tipo de Viola y Jones.
13. Método de seguimiento de un conjunto predefinido de puntos característicos de un rostro en un vídeo, caracterizado porque dicho método comprende una detección de puntos característicos del rostro para la primera imagen que compone el vídeo, y que consiste en hacer converger la forma y textura de un modelo estadístico de partes del rostro sobre los datos reales proporcionados por las imágenes siguientes que componen el vídeo, siendo el modelo estadístico utilizado del tipo Modelo de Apariencia Activa por Parches, PAAM,
implementando dicho método de seguimiento el método de detección de un conjunto predefinido de puntos según cualquiera de las reivindicaciones 1 a 12.
ES12708270T 2011-02-22 2012-02-21 Método para detectar un conjunto predefinido de puntos característicos de un rostro Active ES2980940T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1151424A FR2971873B1 (fr) 2011-02-22 2011-02-22 Procede de detection d'un ensemble predefini de points caracteristiques d'un visage
PCT/EP2012/052958 WO2012113805A1 (fr) 2011-02-22 2012-02-21 Procédé de détection d'un ensemble prédéfini de points caractéristiques d'un visage

Publications (1)

Publication Number Publication Date
ES2980940T3 true ES2980940T3 (es) 2024-10-03

Family

ID=45815508

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12708270T Active ES2980940T3 (es) 2011-02-22 2012-02-21 Método para detectar un conjunto predefinido de puntos característicos de un rostro

Country Status (5)

Country Link
US (1) US9262695B2 (es)
EP (1) EP2678804B1 (es)
ES (1) ES2980940T3 (es)
FR (1) FR2971873B1 (es)
WO (1) WO2012113805A1 (es)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356364B2 (en) * 2013-09-10 2019-07-16 Minerva Project, Inc. Registering and displaying visual attention metadata in a web video conferencing and seminar system
US9086582B1 (en) 2014-08-20 2015-07-21 David Kind, Inc. System and method of providing custom-fitted and styled eyewear based on user-provided images and preferences
CN107408315B (zh) 2015-02-23 2021-12-07 Fittingbox公司 用于实时、物理准确且逼真的眼镜试戴的流程和方法
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
WO2018002533A1 (fr) 2016-06-30 2018-01-04 Fittingbox Procédé d'occultation d'un objet dans une image ou une vidéo et procédé de réalité augmentée associé
EP3355101B1 (de) 2017-01-27 2019-05-15 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur bestimmung einer repräsentation eines brillenfassungsrands oder einer repräsentation der ränder der gläser einer brille
EP3355102B1 (de) 2017-01-27 2025-11-26 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur bestimmung von zentrierparametern
FR3067151B1 (fr) 2017-05-30 2019-07-26 Fittingbox Procede d'essayage virtuel realiste d'une paire de lunettes par un individu
EP3425446B1 (de) 2017-07-06 2019-10-30 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11635617B2 (en) 2019-04-23 2023-04-25 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
US12159354B2 (en) 2019-04-23 2024-12-03 Evolution Optiks Limited Light field display and vibrating light field shaping layer and vision testing and/or correction device
WO2021038422A2 (en) 2019-08-26 2021-03-04 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US12112665B2 (en) 2019-11-01 2024-10-08 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US12360592B2 (en) 2019-11-01 2025-07-15 Evolution Optiks Limited Light field device and vision testing system using same
JP7713949B2 (ja) 2020-02-21 2025-07-28 ディット テクノロジーズ インコーポレイテッド ライブフィッティングを含む眼鏡フレームのフィッティング
CN114511882B (zh) * 2022-01-28 2024-06-28 杭州师范大学 一种耳穴定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
GB0607143D0 (en) * 2006-04-08 2006-05-17 Univ Manchester Method of locating features of an object
US7720284B2 (en) * 2006-09-08 2010-05-18 Omron Corporation Method for outlining and aligning a face in face processing of an image
US8155399B2 (en) * 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems

Also Published As

Publication number Publication date
FR2971873B1 (fr) 2014-01-03
WO2012113805A1 (fr) 2012-08-30
EP2678804A1 (fr) 2014-01-01
EP2678804B1 (fr) 2024-04-10
US9262695B2 (en) 2016-02-16
FR2971873A1 (fr) 2012-08-24
US20140010439A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
ES2980940T3 (es) Método para detectar un conjunto predefinido de puntos característicos de un rostro
US11455496B2 (en) System and method for domain adaptation using synthetic data
US10803365B2 (en) System and method for relocalization and scene recognition
US9916494B2 (en) Positioning feature points of human face edge
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
CN103177269B (zh) 用于估计对象姿态的设备和方法
EP3362946B1 (en) Eye pose identification using eye features
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
Papadhimitri et al. Uncalibrated Near-Light Photometric Stereo.
ES3012985T3 (en) Method, system and computer program product for point of gaze estimation
US20160325096A1 (en) System and method for processing sensor data for the visually impaired
CN109697688A (zh) 一种用于图像处理的方法和装置
Mahajan et al. Swapitup: A face swap application for privacy protection
Kohli et al. Key developments in human pose estimation for kinect
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN114402370B (zh) 基于面部-肩部特征坐标变换的自适应手部跟踪和手势识别
CN107610149B (zh) 图像分割结果边缘优化处理方法、装置及计算设备
EP4224421A1 (en) Appratus and method with 3d modeling
Vonikakis et al. Identity-invariant facial landmark frontalization for facial expression analysis
KR20110118495A (ko) 객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템
CN106530376B (zh) 一种三维角色创建方法及系统
CN116309998B (zh) 一种图像处理系统、方法及介质
Zepeda et al. A linear estimation method for 3d pose and facial animation tracking
Hur et al. View invariant body pose estimation based on biased manifold learning
Zhu et al. Supplemental Material for Face Alignment Across Large Poses: A 3D Solution