ES2237010T3 - Procedimiento para la creacion de modelos faciales en 3d a partir de imagenes faciales. - Google Patents

Procedimiento para la creacion de modelos faciales en 3d a partir de imagenes faciales.

Info

Publication number
ES2237010T3
ES2237010T3 ES99119498T ES99119498T ES2237010T3 ES 2237010 T3 ES2237010 T3 ES 2237010T3 ES 99119498 T ES99119498 T ES 99119498T ES 99119498 T ES99119498 T ES 99119498T ES 2237010 T3 ES2237010 T3 ES 2237010T3
Authority
ES
Spain
Prior art keywords
model
face
texture
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES99119498T
Other languages
English (en)
Inventor
Gianluca Francini
Mauro Quaglia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecom Italia SpA
Original Assignee
Telecom Italia SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecom Italia SpA filed Critical Telecom Italia SpA
Application granted granted Critical
Publication of ES2237010T3 publication Critical patent/ES2237010T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

El procedimiento permite la creación de modelos faciales 3-D, que puede utilizarse, por ejemplo, para la realización de avatares, aplicaciones de videocomunicaciones, videojuegos, producción de vídeo, y para la creación de interfaces avanzadas de hombre-máquina. Se prevé al menos una imagen de una cara junto con un modelo facial 3-D (M) que tiene una estructura de humana de vértice y que comprende un número de superficies elegidas dentro del conjunto formado por una superficie de cara (V), superficies del ojo derecho (OD) y ojo izquierdo (OS), respectivamente, y superficies de los dientes superiores (DS) y dientes inferiores (DI), respectivamente. Entre los vértices de la estructura del modelo (M) y sobre al menos dicha imagen de cara, se eligen respectivos juegos de puntos homólogos. La estructura de modelo (M) se modifica entonces de manera que coincidan los juegos respectivos anteriores de puntos homólogos.

Description

Procedimiento para la creación de modelos faciales en 3D a partir de imágenes faciales.
La presente invención se refiere a la técnica correspondiente a la creación de modelos faciales 3-D, la cual se puede usar por ejemplo para la implementación de los denominados avatares (modelos antropomorfos) a usar en entornos virtuales, aplicaciones de videocomunicación, videojuegos, producciones televisivas, y creación de interfaces hombre-máquina avanzadas.
Ya existen algunas soluciones técnicas conocidas para la creación de un modelo 3D.
Por ejemplo, a partir de la publicación "Realistic Modeling for Facial Animation" COMPUTER GRAPHICS PROCEEDINGS (SIGGRAPH) - 1995, de Yuencheng Lee y otros, se conoce un procedimiento de creación de modelos realistas de caras humanas mediante la adquisición de datos de reflexión a través de una exploración por láser de la cara de un objetivo captado o la cara de una persona. Dicho procedimiento posibilita el inicio de la creación de modelos realistas por medio de información 3D aunque requiere el uso de una herramienta "intrusiva", tal como un haz de
láser.
También se conoce a partir de la publicación "Tracking and Synthesizing Facial Motions with Dynamic Contours" - REAL TIME IMAGING, GB, ACADEMIC PRESS LIMITED - Abril de 1996, de Nesi P. y otros, un procedimiento para crear modelos realistas a partir de una fotografía de la cara de una persona. Dicho procedimiento no es "intrusivo", igual que el procedimiento según la presente invención, sino que utiliza un modelo 3D que presenta únicamente una superficie de estructura alámbrica que se debe ajustar según la fotografía de la cara de la persona.
Por otra parte, en relación con esta materia, se puede hacer referencia por ejemplo al producto Character Creator de la empresa Darwin 3D (ver sitio de Internet http://www.darwin3d.com) así como al producto Avatar Maker de la empresa Sven Technologies (ver sitio de Internet http://www.sven-tech.com). El producto "Character Creator" se basa en la elección de un modelo básico que se parece a la persona fotografiada. La cara de la fotografía se enmarca por medio de una elipse y el programa usa lo que queda dentro de la elipse como textura del modelo. En el producto "Avatar Maker", sobre la cara se marcan una docena de puntos, y a continuación se selecciona un modelo básico al cual se asocia la textura de la fotografía.
El principal inconveniente de dichas formas de realización conocidas es que la estructura del modelo generado no permite una posterior animación. Esto es debido al hecho de que el modelo (generado habitualmente como un modelo de "estructura alámbrica", es decir, a partir de una estructura de malla, tal como también se verá en la explicación posterior), no puede encajar exactamente en el perfil de la zona de la boca, evitando de este modo la reproducción de movimientos de los labios. Esto se aplica también a otras partes significativas de la cara, tales como ojos y nariz.
La presente invención pretende proporcionar un procedimiento el cual, a partir de la fotografía de la cara de una persona, permite la creación de modelos faciales que pueden presentar un aspecto realista tanto en condiciones estáticas como en condiciones de animación, en particular, por ejemplo, en lo que se refiere a la abertura y cierre de párpados y la posibilidad de simular la rotación de los ojos.
Según la invención, este objetivo se alcanza a través de un procedimiento que presenta las características mencionadas específicamente en las reivindicaciones adjuntas.
Sustancialmente, el procedimiento según la invención se basa en la adaptación de un modelo básico de una cara - típicamente una cara humana - que presenta las características fisonómicas de la persona fotografiada. El modelo básico (o "plantilla") se representa por medio de una estructura, preferentemente del tipo denominado "estructura alámbrica", formada por una pluralidad de superficies seleccionadas de entre un conjunto de cinco superficies, a saber:
- cara
- ojo derecho y ojo izquierdo, y
- dientes superiores y dientes inferiores.
Las superficies de los ojos se separan de las correspondientes a la cara para permitir, entre otras cosas, la creación de movimientos de abertura y cierre de los párpados, y una ligera traslación que simule la rotación real de los ojos. De forma similar, es posible conseguir la animación del modelo, en lo que al habla se refiere, a través de la animación de las superficies que representan los dientes superiores e inferiores.
A continuación se describirá la invención a título de ejemplo no limitativo, haciendo referencia a los dibujos adjuntos a la misma, en los cuales:
- las Figuras 1A y 1B representan el aspecto típico de los modelos usados en la forma de realización de la invención, representados en el modo de estructura alámbrica (Figura 2A) y en el modo sólido (Figura 2B), respectivamente,
- la Figura 2 representa el mismo modelo que el mostrado en la Figura 1 en una vista posterior, también en este caso tanto en el modo de estructura alámbrica (figura 2A) como en el modo sólido (Figura 2B),
- las Figuras 3A a 3I representan un conjunto de tablas que identifican los puntos característicos de una cara según el estado actual del estándar MPEG-4, pudiéndose usar dicha cara para la forma de realización de la invención,
- la Figura 4 muestra esquemáticamente una de las fases del procedimiento según la invención,
- la Figura 5 muestra esquemáticamente otra fase del procedimiento según la invención,
- la Figura 6 representa gráficamente, en tres partes indicadas respectivamente mediante las referencias 6A, 6B y 6C, la evolución del modelo en el procedimiento según la invención,
- la Figura 7, la cual comprende también tres partes, representa en la parte 7A una fotografía que realza los puntos característicos usados para la calibración en una posible forma de realización del procedimiento según la invención, y en las partes 7B y 7C dos vistas del modelo resultante, completo con textura,
- la Figura 8 representa gráficamente, en forma de un diagrama de bloques, la estructura de un sistema que se puede usar para llevar la invención a la práctica,
- la Figura 9 es un diagrama de flujo referente a una posible forma de realización del procedimiento según la invención,
- las Figuras 10 y 11 ejemplifican la aplicación de la denominada textura en la presente invención.
Las Figuras 1 y 2 muestran un modelo básico M de cara humana, el cual se puede usar en una posible forma de realización de la invención. En este caso, el modelo M se representa tanto en el modo de estructura alámbrica como en el modo sólido. Este último difiere con respecto a la estructura alámbrica esencialmente en el coloreado de fondo de los triángulos de la estructura alámbrica. El modelo M representando en este caso está formado por cinco superficies, a saber:
- cara V, formada - en la forma de realización ilustrada en el presente caso - por 360 vértices y 660 triángulos, usándose el término "vértice" con su significado geométrico, es decir, vértice de un ángulo,
- ojo derecho OD y ojo izquierdo OS, constando cada uno de ellos de 26 vértices y 37 triángulos,
- dientes superiores DS y dientes inferiores DI, constando cada uno de ellos de 70 vértices y 42 triángulos.
Se apreciará en particular que el modelo M es una estructura hueca, la cual se puede considerar prácticamente una especie de máscara, cuya forma está diseñada para reproducir los rasgos de la cara modelada. Evidentemente, aunque se corresponden con una forma de realización de la invención que es la preferida actualmente, el número de vértices y triángulos al que se ha hecho referencia previamente tiene un carácter meramente ilustrativo y en ningún caso se debe considerar como un aspecto limitativo del alcance de la invención.
Estas consideraciones se aplican también a la elección del uso de cinco superficies diferentes para implementar el modelo básico. De hecho, el número de dichas superficies podría ser menor (para la implementación de modelos más sencillos) o mayor (para la implementación de modelos más detallados y sofisticados), dependiendo de los requisitos de aplicación. La característica importante es la elección del uso, como modelo básico, de un modelo que comprende una pluralidad de superficies y en particular superficies que, dependiendo del tipo de cara a modelar (por ejemplo, una cara humana), se corresponden con formas que son conocidas sustancialmente en términos generales y que tienen una disposición relativa, la cual en conjunto, también ya es conocida.
De hecho, aunque la tipología de la cara humana es prácticamente infinita, se sabe que la superficie de la cara tiene un aspecto general de tipo cuenco, que los párpados presentan en general únicamente una superficie de "párpado", la cual es al menos ligeramente convexa, que los arcos dentales tienen forma de arco, etcétera. Así, se sabe que los párpados están situados en la zona central-superior de la superficie de la cara, mientras que las superficies de los dientes están situadas en la zona inferior.
Además, el hecho de usar superficies distintas para la creación del modelo permite aplicar al modelo condiciones de separación, como las correspondientes que posibilitan que se evite, por ejemplo, la interferencia de las superficies de los dientes, para modelar con precisión el efecto de congruencia de los arcos dentales.
Esta característica se podría apreciar todavía mejor en las vistas posteriores de la figura 2.
El procedimiento según la invención se basa sustancialmente en la siguiente solución:
- se capta una imagen (típicamente una fotografía frontal) de la cara a modelar, y
- se modifica el modelo o plantilla a través de una serie de transformaciones geométricas de manera que su proyección coincida con un conjunto de puntos identificados en la fotografía considerada como imagen inicial.
Para esta adaptación, se hace uso de unos conjuntos respectivos de puntos que se han seleccionado en correspondencia con otros tantos puntos denominados "puntos característicos": dichos puntos se definen en la sección "Face and body animation" del estándar ISO/IEC 14496-2 (MPEG-4) y se representan en las figuras 3A a 3H.
En particular, en una forma de realización de la invención preferida actualmente, el procedimiento según la invención se implementa usando los puntos característicos identificados en el estándar MPEG-4 (tal como está definido en la fecha de presentación de la presente invención) por medio de los siguientes índices: 11.4, 2.1,10.9, 10.10, 8.4, 8.1, 8.3, 8.2, 2.2, 2.3, 9.3, 9.2, 9.1, 4.1, 3.12, 3.8, 3.10, 3.14, 3.11, 3.13, 3.7, y 3.9. Cada uno de estos índices se corresponde con un vértice de la estructura del modelo.
La figura 4 sintetiza el procedimiento según la invención, de manera que el mismo se puede realizar a través del sistema mostrado en la figura 8.
Dicho sistema, indicado en su conjunto con la referencia 1, incluye una unidad 2 de captación, por ejemplo, una cámara digital o una unidad funcionalmente equivalente, tal como una cámara convencional capaz de producir fotografías las cuales, después del revelado y la impresión, se pueden someter a un proceso de escaneado. De este modo, a partir de un objetivo captado, la unidad 2 puede generar una imagen plana I de la cara a modelar: esta imagen es en la práctica una imagen del tipo mostrado en la figura 7A.
La imagen I obtenida de este modo se presenta en forma de una imagen digitalizada, es decir, de una secuencia de datos que representan píxel a píxel la información (brillo, características cromáticas, etcétera) referente a la misma imagen.
Dicha secuencia de datos se suministra a un sistema 3 de procesado (esencialmente un ordenador) el cual realiza - según los principios bien conocidos para un especialista, una vez que se han establecido los criterios de la forma de realización de la invención descrita detalladamente a continuación - las operaciones listadas seguidamente:
- identificación y extracción de los puntos característicos de la imagen I, designados para ser usados para el modelo M de procesado,
- lectura desde una memoria o un soporte similar 4, asociado al procesador, de los datos correspondientes al modelo inicial, habiéndose almacenado previamente dichos datos y siendo leídos también en este caso según modalidades bien conocidas,
- ejecución de las operaciones de procesado típicas del procedimiento según la invención, tal como se describe mejor en la descripción posterior, y
- generación del modelo de salida procesado, también en este caso en forma de datos digitales representativos del modelo 3-D; dichos datos se pueden transferir a otro sistema de procesado (por ejemplo, un sistema de animación) y se pueden cargar en dicho sistema y/o se pueden descargar en un soporte 5 de almacenamiento (disco flexible, CD-ROM, etcétera) para ser usados posteriormente.
La operación de adaptación del modelo inicial M, descrito previamente, a la imagen I se basa en una proyección óptica virtual, respectivamente, del modelo M y la imagen I, realizada en un sistema cuyo foco está dispuesto en el origen O de un espacio cartesiano tridimensional x, y, z en el cual el modelo M se sitúa en el semiespacio positivo a lo largo del eje Z y la imagen I se sitúa en el semiespacio negativo (ver el diagrama de la Figura 4).
Se apreciará que la adaptación precisa del modelo M a la imagen I se basa en la consideración de que el modelo M está orientado en general, con respecto al plano XY del sistema descrito anteriormente, en una posición en general de simetría especular con respecto a la imagen I. De este modo, el modelo M se sitúa con una orientación frontal, si es que se requiere una adaptación a una imagen frontal I. Por el contrario, el modelo M se orientará, por ejemplo, lateralmente, si es que se requiere conseguir una adaptación a una imagen lateral de la cabeza de la persona representada en la imagen I.
Esta situación se aplica también sustancialmente a la distancia \alpha entre el origen O y el centro del modelo M y la distancia \lambda entre el origen O y el plano de la imagen I. Para simplificar el proceso de calibración y evitar la introducción de valores desconocidos por el usuario, por lo menos la distancia \alpha se fija a un valor arbitrario (por ejemplo, 170 cm), determinado de antemano mediante el cálculo del valor medio de un conjunto de casos posibles. Debe seguir considerándose que el valor \alpha depende no solamente de la distancia del objetivo captado con respecto a la cámara 2 en el momento en el que se captó la imagen I, sino también de los parámetros de la misma cámara.
Sustancialmente, el procedimiento según la invención consta de una serie de transformaciones geométricas destinadas a conseguir que la proyección del conjunto de puntos característicos del modelo M de interés coincida con el conjunto homólogo de puntos homólogos identificados en la imagen I.
Consideremos en este caso que (x_{i.j}, y_{i.j}, z_{i.j}) son las coordenadas espaciales del vértice del modelo M asociado al punto característico ij (por ejemplo, el extremo izquierdo de la cara) y que (X_{ij}, Y_{ij}) son las coordenadas en la imagen I del mismo punto característico (referido a un sistema local en el plano de la imagen I, coincidiendo el origen con el ángulo superior de la imagen, en una posible forma de realización).
Después de iniciar el proceso (etapa 100 en el diagrama de flujo de la Figura 9), la primera etapa de funcionamiento (101 en la Figura 9) es el cálculo del valor \lambda.
Consideremos que X_{0}, Y_{0} son las coordenadas del centro de la cara captada en la imagen I. Estas coordenadas se obtienen aprovechando los cuatro puntos situados en el extremo de la cara (por ejemplo, en referencia a la actual versión del estándar MPEG-4, los puntos 10.9 y 10.10: extremo derecho y extremo izquierdo de la cara, y 11.4, 2.1: parte superior de la cabeza y punta de la barbilla). A continuación se aplicará la siguiente relación:
(I)X_{0} = \frac{X_{\text{10.9}} + X_{\text{10.10}}}{2}; \hskip0.8cm Y_{0} = \frac{Y_{\text{11.4}} + Y_{\text{2.1}}}{2}
La distancia \lambda se calcula de tal manera que se consigue que la anchura de la proyección del modelo coincida con la anchura de la cara en la fotografía, según la siguiente relación:
(II)\lambda = \frac{X_{\text{10.9}} - X_{0}}{X_{\text{10.9}}}
Subsiguientemente (etapa 102), se modifica la posición del modelo M a lo largo del eje Y de manera que su proyección queda alineada verticalmente con el contenido de la imagen I. A cada vértice se le suma un valor \Deltay, calculado según la relación:
(III)\Delta y = - \frac{Z_{\text{2.1}}(Y_{\text{11.4}} -Y_{\text{2.1}})}{Z_{\text{11.4}} + Z_{\text{2.1}}} - Y_{\text{2.1}}
De esta manera el modelo queda escalado verticalmente. Después de esta operación, el tamaño de su proyección coincide con el área de la cabeza reproducida en la imagen I.
En una etapa subsiguiente 103, cada coordenada Y de los vértices del modelo M se multiplica por un coeficiente c calculado de la manera siguiente:
(IV)c = - \frac{Z_{\text{2.1}} \cdot (Y_{\text{2.1}} - Y_{0})}{\lambda \cdot Y_{\text{2.1}}}
Llegado este momento (etapa 104), se realiza una transformación global en la dirección vertical sobre el modelo para conseguir que la posición de algunos rasgos característicos de la cara (por ejemplo, las cejas) coincidan con los correspondientes a la persona. El modelo se modifica sustancialmente a lo largo del eje Y, tal como se muestra en la Figura 5.
Preferentemente, la transformación global es una transformación no lineal, preferentemente de segundo orden, y con la mayor preferencia se basa en una ley parabólica, en particular del tipo correspondiente a una parábola genérica (y = az^{2}+ bz + c) que pasa por los tres puntos del plano YZ:
\left(y_{\text{11.4}'} - \frac{(Y_{\text{11.4}} - Y_{0})\cdot Z_{\text{11.4}} }{\lambda}\right)
\left(y_{\text{4.1}'} - \frac{(Y_{\text{4.1}} - Y_{0})\cdot Z_{\text{4.1}} }{\lambda}\right)
\left(y_{\text{2.1}'} - \frac{(Y_{\text{2.1}} - Y_{0})\cdot Z_{\text{2.1}} }{\lambda}\right)
En particular, en la Figura 5, el modelo mostrado en una posición recostada, es decir, en una dirección horizontal, se corresponde con el modelo antes de la transformación según la función parabólica descrita previamente, mientras que el modelo mostrado en una posición vertical es el resultado de dicha transformación.
A continuación (etapa 105, con una estructura esencialmente cíclica, definida por una etapa 106 de elección, que averigua si la secuencia se puede considerar como completa) se realiza una serie de transformaciones (traslaciones, reducciones a escala y transformaciones afines) diseñadas para posicionar correctamente los rasgos individuales características de la cara. Preferentemente las operaciones implicadas son las siguientes:
- los párpados y el contorno de los ojos se adaptan por medio de dos traslaciones y cuatro transformaciones afines;
- la nariz en primer lugar se adapta verticalmente a través de una reducción a escala y a continuación se deforma a través de dos transformaciones afines;
- la boca se modifica aplicando cuatro transformaciones afines;
- la zona entre la base de la nariz y el extremo superior de la boca se traslada y se reduce a escala; y
- la zona entre el extremo inferior de la boca y la punta de la barbilla se traslada y se reduce a escala.
Preferentemente las transformaciones afines adoptadas se corresponden con una transformación que se puede exponer según una relación del tipo:
x' = c_{1}x + c_{2}y + c_{3}
y' = c_{4}x + c_{5}y + c_{6}
en la que
c_{1} = \frac{(x'_{1} - x'_{3})(y_{1} - y_{2}) - (x'_{1} - x'_{2})(y_{1} - y_{3})}{(y_{1} - y_{2})(x_{1}-x_{3})-(y_{1} - y_{3})(x_{1}-x_{2})}
c_{2} = \frac{(x'_{1} - x'_{2})(x_{1} - x_{3}) - (x'_{1} - x'_{3})(x_{1} - x_{2})}{(y_{1} - y_{2})(x_{1}-x_{3})-(y_{1} - y_{3})(x_{1}-x_{2})}
c_{3} = x'_{1} - c_{1}x_{1} - c_{2} y _{1}
c_{4} = \frac{(y'_{1} - y'_{3})(y_{1} - y_{2}) - (y'_{1} - y'_{2})(y_{1} - y_{3})}{(y_{1} - y_{2})(x_{1}-x_{3})-(y_{1} - y_{3})(x_{1}-x_{2})}
c_{5} = \frac{(y'_{1} - y'_{2})(x_{1} - x_{3}) - (y'_{1} - y_{3})(x_{1} - x_{2})}{(y_{1} - y_{2})(x_{1}-x_{3})-(y_{1} - y_{3})(x_{1}-x_{2})}
c_{6} = y'_{1} - c_{4}x_{1} - c_{5}y_{1}
Las fórmulas descritas expresan una transformación plana controlada por el desplazamiento de tres puntos:
- (x_{1}, y_{1}), (x_{2}, y_{2}), (x_{3}, y_{3}) son las coordenadas de dichos puntos antes de la transformación,
- (x_{1}', y_{1}'), (x_{2}', y_{2}'), (x_{3}', y_{3}') son las coordenadas correspondientes después de la transformación.
Como últimas operaciones en relación con la geometría del modelo, dos estructuras alámbricas que representan los ojos (esclerótica e iris) se posicionan detrás de los párpados, para permitir el cierre de los mismos y dejar suficiente espacio para un desplazamiento que simule los movimientos de los ojos (etapa 107). A continuación, al modelo se le añaden unos dientes normalizados que no interfieren con los movimientos de la boca (108).
La secuencia mostrada en las Figuras 6A a 6C representa la evolución del modelo M (representado en este caso según el modo de estructura alámbrica, para realzar más adecuadamente las variaciones) en referencia a la apariencia frontal del modelo básico (Figura 6A), después de las transformaciones afines (Figura 6B) y después de completarlo con los ojos y los dientes (Figura 6C).
Llegado este momento, se realiza (etapa 109) la aplicación de la textura al modelo asociando a cada vértice una coordenada bidimensional que lo vincula con un punto específico de la imagen I, según un proceso conocido como "vinculación de la textura". Los datos referentes a la vinculación de la textura se calculan simplemente aprovechando parámetros de proyecciones \alpha y \lambda, definidos en el inicio de la calibración descrita al comienzo de la presente descripción. Los dientes presentan una textura normalizada, definida de antemano.
En el caso de que el modelo se cree a partir de varias imágenes, se realiza una etapa adicional referente a la generación de la textura. No obstante, dicha etapa no se representa específicamente en el diagrama de flujo de la Figura 9. De hecho, la imagen que contiene la textura del modelo se crea combinando la información asociada a los diversos puntos de vista.
Preferentemente, para aprovechar más adecuadamente la resolución de la imagen diseñada para contener la textura, la forma de la textura de todos los triángulos del modelo se transforma en un triángulo rectángulo de un tamaño constante. A continuación, los triángulos obtenidos de esta manera se acoplan dos a dos para obtener una forma rectangular. A continuación, los rectángulos se sitúan en la imagen según una disposición matricial para cubrir su superficie. El tamaño de los rectángulos es una función del número de triángulos del modelo y del tamaño de la imagen que almacena la textura del modelo.
La Figura 10 muestra un ejemplo de imagen que contiene la textura de los diversos triángulos. Cada rectángulo (los polígonos mostrados no son cuadrados, y están formados por N x N + 1 píxels) contiene la textura de dos triángulos. Al principio, la textura de los triángulos individuales tiene una forma triangular genérica que ha sido transformada en un triángulo rectángulo por medio de una transformación afín y un filtrado bilineal.
La Figura 11 ilustra un detalle de la anterior Figura 10, que muestra el área real de la textura usada por dos triángulos dentro del rectángulo 300. Para cada rectángulo de tamaño N x N + 1, el área efectiva es N x N píxels.
Vale la pena indicar que este proceso para la generación de textura no es específico para los modelos de cara humana, sino que se puede aplicar en todos los casos de creación de un modelo 3-D a partir de varias imágenes.
A continuación, el modelo obtenido de esta manera se puede representar usando diferentes formatos de gráficos comunes (entre los cuales, además del estándar MPEG-4 citado previamente, se encuentran los estándares VRML 2.0 y OpenInventor). Todos los modelos se pueden animar para reproducir los movimientos de los labios y los semblantes. En caso de que haya disponibles varias imágenes de la persona, captadas desde diferentes puntos de vista, es posible aplicar el procedimiento descrito a las diferentes imágenes para mejorar el aspecto del modelo. Evidentemente, el modelo resultante se orienta según la orientación de la imagen.
Es evidente que, aunque manteniendo sin variaciones los principios de la invención expuestos en la presente memoria, los detalles de implementación y las formas de realización se pueden variar considerablemente con respecto a los aspectos descritos e ilustrados, sin desviarse del alcance de la presente invención, según se definirá en las siguientes reivindicaciones.

Claims (11)

1. Procedimiento de creación de modelos faciales 3D (M) que comprende las siguientes operaciones:
- se proporciona una imagen (I) de la cara de una persona,
- se proporciona un modelo facial 3D (M) que tiene una estructura de vértices y que comprende una serie de superficies seleccionadas de entre el grupo formado por: una superficie (V) de la cara; superficies del ojo derecho y el ojo izquierdo (OD, OS); superficies de los dientes superiores y los dientes inferiores (DS, DI),
- se seleccionan conjuntos respectivos de puntos homólogos de entre los vértices de la estructura de dicho modelo (M) y sobre dicha imagen (I) de la cara,
- se modifica la estructura de dicho modelo (M), mediante
-
la selección de algunos rasgos característicos de la cara,
-
la realización de una transformación no lineal global (104) en la dirección vertical para conseguir que las posiciones de dichos rasgos característicos de la cara (V) coincidan con las correspondientes a la persona,
-
la selección de rasgos individuales característicos de la cara,
-
la realización de una serie de transformaciones específicas (105) en dichos rasgos característicos,
para conseguir que los conjuntos respectivos de puntos homólogos coincidan.
2. Procedimiento según la reivindicación 1, caracterizado por el hecho de que dichas superficies (OD, OS) de los ojos y superficies (DS, DI) de los dientes se seleccionan de tal manera que no interfieren con dicha superficie (V) de la cara.
3. Procedimiento según la reivindicación 1 ó la reivindicación 2, caracterizado por el hecho de que los conjuntos de puntos homólogos de entre los vértices de la estructura de dicho modelo (M) se seleccionan de acuerdo con el estándar MPEG-4.
4. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por el hecho de que la modificación de la estructura de dicho modelo (M) incluye las siguientes operaciones:
- se consigue que la anchura de la proyección del modelo (M) coincida con la anchura de dicha imagen (I) de la cara.
- se alinea verticalmente la proyección del modelo (M) con dicha imagen (I) de la cara,
- se realiza dicha transformación no lineal global del modelo (M) en la dirección vertical.
5. Procedimiento según la reivindicación 4, caracterizado por el hecho de que dicha transformación global no lineal se realiza a través de una función de segundo orden, preferentemente una función parabólica.
6. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por el hecho de que dicha serie de transformaciones específicas sobre dichos rasgos individuales incluye por lo menos una de las siguientes operaciones:
- adaptación de la proyección de los párpados y de los contornos de los ojos en el modelo (M) a las zonas homólogas en las imágenes (I) de la cara, a través de por lo menos una operación seleccionada de entre una traslación y una transformación afín,
- adaptación, en la dirección vertical, de la nariz a través de por lo menos una operación seleccionada de entre una reducción a escala y una deformación a través de una transformación afín,
- modificación de la boca a través de por lo menos una transformación afín,
- traslación y reducción a escala de la zona entre la base de la nariz y el extremo superior de la boca, y
- adaptación de la zona entre el extremo inferior de la boca y la punta de la barbilla por medio de traslación y reducción a escala.
7. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por el hecho de que incluye, como operación final de la modificación de dicho modelo (M), la aplicación de dichas superficies (OD, OS) de los ojos y/o superficies (DS, DI) de los dientes cerca de dicha superficie (V) de la cara.
8. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por el hecho de que dicha modificación de la estructura del modelo (M) se lleva a cabo en forma de una operación geométrica realizada mediante el posicionamiento de dicha imagen (I) de la cara y de dicho modelo (M) en posiciones opuestas y de simetría especular con respecto al origen (O) de un sistema cartesiano tridimensional (X, Y, Z).
9. Procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado por el hecho de que comprende adicionalmente la operación de aplicar una textura respectiva a dicho modelo modificado.
10. Procedimiento según la reivindicación 8 y la reivindicación 9, caracterizado por el hecho de que incluye las operaciones de calcular por lo menos uno de los parámetros seleccionados de entre el grupo que incluye:
- la distancia \alpha entre dicho origen (O) y un punto central de dicho modelo (M), y
- la distancia \lambda entre dicho origen (O) y el plano de dicha imagen (I) de la cara
- y de aplicar dicha textura a dicho modelo modificado (M) a través de un proceso de vinculación de textura realizado basándose en por lo menos uno de dichos parámetros de distancia.
11. Procedimiento según la reivindicación 9 ó la reivindicación 10, caracterizado por el hecho de que incluye las siguientes operaciones:
- se proporciona una pluralidad de dichas imágenes (I) de la cara correspondientes a diferentes puntos de vista de dicha cara,
- se crea la textura a aplicar a dicho modelo (M) generando, para cada una de dichas imágenes de la cara, una información de textura respectiva en forma de triángulos rectángulos de tamaño constante,
- se acoplan, dos a dos, triángulos relacionados con la información de textura obtenida a partir de una pluralidad de imágenes para obtener, como resultado del acoplamiento, unos rectángulos respectivos, y
- se aplica dicha textura a dicho modelo modificado en forma de una matriz de dichos rectángulos.
ES99119498T 1998-10-02 1999-10-01 Procedimiento para la creacion de modelos faciales en 3d a partir de imagenes faciales. Expired - Lifetime ES2237010T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ITTO980828 1998-10-02
IT1998TO000828A IT1315446B1 (it) 1998-10-02 1998-10-02 Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti.

Publications (1)

Publication Number Publication Date
ES2237010T3 true ES2237010T3 (es) 2005-07-16

Family

ID=11417076

Family Applications (2)

Application Number Title Priority Date Filing Date
ES04002244T Expired - Lifetime ES2366243T3 (es) 1998-10-02 1999-10-01 Procedimiento de creación de modelos faciales 3d a partir de imágenes faciales.
ES99119498T Expired - Lifetime ES2237010T3 (es) 1998-10-02 1999-10-01 Procedimiento para la creacion de modelos faciales en 3d a partir de imagenes faciales.

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES04002244T Expired - Lifetime ES2366243T3 (es) 1998-10-02 1999-10-01 Procedimiento de creación de modelos faciales 3d a partir de imágenes faciales.

Country Status (8)

Country Link
US (1) US6532011B1 (es)
EP (2) EP1424655B1 (es)
JP (1) JP3288353B2 (es)
AT (2) ATE286286T1 (es)
CA (1) CA2284348C (es)
DE (2) DE69943344D1 (es)
ES (2) ES2366243T3 (es)
IT (1) IT1315446B1 (es)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
DE10018143C5 (de) * 2000-04-12 2012-09-06 Oerlikon Trading Ag, Trübbach DLC-Schichtsystem sowie Verfahren und Vorrichtung zur Herstellung eines derartigen Schichtsystems
TW517210B (en) * 2000-08-31 2003-01-11 Bextech Inc A method for generating speaking expression variation without distortion in 2D picture using polygon computation
US20080040227A1 (en) 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
US6963839B1 (en) 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US7203648B1 (en) 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
US7035803B1 (en) 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
US7091976B1 (en) 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US6990452B1 (en) 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP4419320B2 (ja) * 2000-12-25 2010-02-24 コニカミノルタホールディングス株式会社 3次元形状データの生成装置
KR100422471B1 (ko) * 2001-02-08 2004-03-11 비쥬텍쓰리디(주) 정면 및 측면 사진 정보를 이용한 개인 포토 아바타 생성장치 및 방법
US20020154174A1 (en) * 2001-04-23 2002-10-24 Redlich Arthur Norman Method and system for providing a service in a photorealistic, 3-D environment
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
SE519929C2 (sv) * 2001-07-26 2003-04-29 Ericsson Telefon Ab L M Förfarande, system och terminal för att under pågående samtal ändra eller uppdatera tex. avatarer på andra användares terminaler i ett mobiltelekommunikationssystem
GB2382289B (en) 2001-09-28 2005-07-06 Canon Kk Method and apparatus for generating models of individuals
US20030069732A1 (en) * 2001-10-09 2003-04-10 Eastman Kodak Company Method for creating a personalized animated storyteller for audibilizing content
US7671861B1 (en) * 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
GB2389289B (en) * 2002-04-30 2005-09-14 Canon Kk Method and apparatus for generating models of individuals
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
JP4357155B2 (ja) * 2002-05-28 2009-11-04 株式会社セガ アニメーション画像の生成プログラム
ITTO20020724A1 (it) * 2002-08-14 2004-02-15 Telecom Italia Lab Spa Procedimento e sistema per la trasmissione di messaggi su
EP1431810A1 (de) * 2002-12-16 2004-06-23 Agfa-Gevaert AG Verfahren zur automatischen Bestimmung von Farbdichte-Korrekturwerten für die Wiedergabe von digitalen Bilddaten
US20040152512A1 (en) * 2003-02-05 2004-08-05 Collodi David J. Video game with customizable character appearance
US20040157527A1 (en) * 2003-02-10 2004-08-12 Omar Ruupak Nanyamka Novelty articles for famous persons and method for making same
WO2004081854A1 (en) * 2003-03-06 2004-09-23 Animetrics, Inc. Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery
US7643671B2 (en) * 2003-03-24 2010-01-05 Animetrics Inc. Facial recognition system and method
US7711155B1 (en) * 2003-04-14 2010-05-04 Videomining Corporation Method and system for enhancing three dimensional face modeling using demographic classification
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US7388580B2 (en) * 2004-05-07 2008-06-17 Valve Corporation Generating eyes for a character in a virtual environment
CA2553546A1 (en) * 2005-07-29 2007-01-29 Avid Technology, Inc. Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US7567251B2 (en) * 2006-01-10 2009-07-28 Sony Corporation Techniques for creating facial animation using a face mesh
US8047915B2 (en) 2006-01-11 2011-11-01 Lyle Corporate Development, Inc. Character for computer game and method
US8059917B2 (en) * 2007-04-30 2011-11-15 Texas Instruments Incorporated 3-D modeling
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
KR100940862B1 (ko) * 2007-12-17 2010-02-09 한국전자통신연구원 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법
US8131063B2 (en) 2008-07-16 2012-03-06 Seiko Epson Corporation Model-based object image processing
US8029140B2 (en) 2008-09-18 2011-10-04 Disney Enterprises, Inc. Device to produce a floating image
US8042948B2 (en) * 2008-09-18 2011-10-25 Disney Enterprises, Inc. Apparatus that produces a three-dimensional image
US8260038B2 (en) 2009-02-25 2012-09-04 Seiko Epson Corporation Subdivision weighting for robust object model fitting
US8260039B2 (en) 2009-02-25 2012-09-04 Seiko Epson Corporation Object model fitting using manifold constraints
US8204301B2 (en) 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
US8208717B2 (en) 2009-02-25 2012-06-26 Seiko Epson Corporation Combining subcomponent models for object image modeling
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
EP2337327B1 (de) 2009-12-15 2013-11-27 Deutsche Telekom AG Verfahren und Einrichtung zur Identifizierung von Sprechern in Bild- und Videonachrichten
ES2464341T3 (es) 2009-12-15 2014-06-02 Deutsche Telekom Ag Procedimiento y dispositivo para resaltar objetos seleccionados en mensajes de imagen y video
US8884982B2 (en) 2009-12-15 2014-11-11 Deutsche Telekom Ag Method and apparatus for identifying speakers and emphasizing selected objects in picture and video messages
WO2012007795A1 (en) * 2010-07-16 2012-01-19 Sony Ericsson Mobile Communications Ab Three dimensional face modeling and sharing based on two dimensional images
CN102129706A (zh) * 2011-03-10 2011-07-20 西北工业大学 一种虚拟人眼部情感表现模拟方法
CN102902355B (zh) * 2012-08-31 2015-12-02 中国科学院自动化研究所 移动设备的空间交互方法
GB2510201B (en) * 2013-01-29 2017-05-03 Toshiba Res Europe Ltd A computer generated head
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
KR101783453B1 (ko) * 2015-10-05 2017-09-29 (주)감성과학연구센터 Au 기반의 안면 움직임 정보 추출 방법 및 장치
KR20170081544A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 체험 아이템 3d 복원 장치 및 방법
WO2019177870A1 (en) * 2018-03-15 2019-09-19 Magic Leap, Inc. Animating virtual avatar facial movements
US10607065B2 (en) * 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars
CN108961369B (zh) * 2018-07-11 2023-03-17 厦门黑镜科技有限公司 生成3d动画的方法和装置
US10817365B2 (en) 2018-11-09 2020-10-27 Adobe Inc. Anomaly detection for incremental application deployments

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1045129C (zh) * 1993-03-29 1999-09-15 松下电器产业株式会社 个人识别装置
US6031539A (en) * 1997-03-10 2000-02-29 Digital Equipment Corporation Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology
US6154222A (en) * 1997-03-27 2000-11-28 At&T Corp Method for defining animation parameters for an animation definition interface

Also Published As

Publication number Publication date
ATE286286T1 (de) 2005-01-15
EP1424655B1 (en) 2011-04-06
CA2284348C (en) 2006-06-06
DE69943344D1 (de) 2011-05-19
US6532011B1 (en) 2003-03-11
DE69922898D1 (de) 2005-02-03
IT1315446B1 (it) 2003-02-11
EP0991023A2 (en) 2000-04-05
CA2284348A1 (en) 2000-04-02
EP1424655A2 (en) 2004-06-02
DE69922898T2 (de) 2005-12-15
ITTO980828A1 (it) 2000-04-02
JP2000113217A (ja) 2000-04-21
JP3288353B2 (ja) 2002-06-04
EP0991023B1 (en) 2004-12-29
ATE504896T1 (de) 2011-04-15
ES2366243T3 (es) 2011-10-18
EP1424655A3 (en) 2006-08-30
EP0991023A3 (en) 2001-02-21

Similar Documents

Publication Publication Date Title
ES2237010T3 (es) Procedimiento para la creacion de modelos faciales en 3d a partir de imagenes faciales.
US11517272B2 (en) Simulated orthodontic treatment via augmented visualization in real-time
Alexander et al. The digital emily project: photoreal facial modeling and animation
KR100327541B1 (ko) 3차원 얼굴 모델링 시스템 및 모델링 방법
Alexander et al. Creating a photoreal digital actor: The digital emily project
ES2944305T3 (es) Disposición de imágenes en 2D
JP5468047B2 (ja) デジタル顔モデルのアニメーション化のためのシステム及び方法
US10483004B2 (en) Model-based teeth reconstruction
KR101757642B1 (ko) 3d 얼굴 모델링 장치 및 방법
EP0807902A2 (en) Method and apparatus for generating moving characters
US20160231645A1 (en) Rear-projected life-like robotic head
ES2815523T3 (es) Método implementado por ordenador para modificar un modelo tridimensional digital de una dentición
JP2004094773A (ja) 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム
JP2011113421A (ja) 3次元モデリングシステム
KR20020049504A (ko) 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
CN114586069A (zh) 用于生成牙科图像的方法
Ju et al. Individualising Human Animation Models.
ES2284391B1 (es) Procedimiento para la generacion de imagenes de animacion sintetica.
JP7076861B1 (ja) 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム
EP4224428A1 (en) Method for generating a virtual 4d head and teeth
JP2006106950A (ja) 画像表示装置、画像表示方法、及びプログラム
KR20120121031A (ko) 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법
ES2877219T3 (es) Disposición de imágenes en 2D
Brilliant Building a digital human
KR20040067730A (ko) 레인지 스캐너를 이용한 3d 실사 아바타 생성장치 및 방법