FR3013871A1 - Procede et dispositif de retouche d'images de visage - Google Patents

Abstract

La présente divulgation concerne un procédé de retouche d'une image courante du visage d'un individu, ledit procédé étant apte à modifier au moins une partie de ladite image courante, appelée partie d'image à modifier, de manière à obtenir une partie d'image, appelée partie d'image modifiée, ledit procédé comprenant : - génération (E1), à partir d'un modèle appris dudit visage paramétrable en forme et en texture, d'une image du visage dudit individu comportant ladite partie modifiée, - extraction (E2) de ladite partie modifiée de l'image générée à partir du modèle, et - retouche (E3) de l'image courante avec ladite partie modifiée extraite.

Description

PROCEDE ET DISPOSITIF DE RETOUCHE D'IMAGES DE VISAGE Domaine technique La présente divulgation se rapporte au domaine du traitement d'images. La présente divulgation concerne un procédé et un dispositif de retouche d'une image du visage d'un individu. La présente divulgation vise plus particulièrement à corriger ou modifier une partie de l'image du visage d'un individu en fonction de besoins prédéfinis.

Arrière-plan Il existe de nombreux logiciels de retouche d'images ou de photos disponibles sur le marché. Ces logiciels regroupent différentes fonctions pour améliorer notamment le contraste, la luminosité et la netteté du contenu de l'image. Certains d'entre eux permettent également de modifier la forme et/ou la couleur de certains éléments de l'image. Même avec ce type de logiciels qui peuvent être des logiciels professionnels, le processus de retouche peut être 20 compliqué à réaliser lorsqu'il s'agit de modifier la forme d'une partie texturée du visage. Résumé Un objet de la présente divulgation est de proposer un procédé de retouche d'une image du visage d'un individu 25 qui soit une alternative aux procédés mis en oeuvre dans les logiciels de retouche actuels.

Le procédé de retouche selon un mode de réalisation particulier de la présente divulgation est basé sur l'utilisation d'un modèle appris du visage, tel que le modèle AAM (pour Active Appearance Model en langue Anglaise) habituellement employé pour la reconnaissance de personne ou la reconnaissance de l'expression d'un visage. Selon un mode de réalisation avantageux, pour retoucher une partie d'une image courante du visage d'un individu, il est proposé de générer, en plus de l'image courante, une image du visage de l'individu à partir d'un modèle appris de ce visage, en modifiant des paramètres de forme et/ou de texture de ce modèle afin d'obtenir la partie de visage souhaitée et de réutiliser cette partie d'image pour retoucher l'image courante. Plus particulièrement, la présente divulgation concerne un procédé de retouche d'une image courante du visage d'un individu, le procédé servant à modifier au moins une partie de ladite image courante, appelée partie d'image à modifier, pour obtenir une partie d'image, appelée partie d'image modifiée, le procédé comprenant: - génération, à partir d'un modèle appris du visage paramétrable en forme et en texture, d'une image du 25 visage de l'individu comportant la partie modifiée, - extraction de la partie modifiée de l'image générée à partir du modèle, et - retouche de l'image courante avec la partie modifiée extraite.

Selon un mode de réalisation particulier, le modèle utilisé est un modèle d'apparence actif. Selon un mode de réalisation particulier, la retouche consiste à insérer, dans l'image courante, la partie 5 modifiée extraite à l'endroit de la partie à modifier. Avantageusement, des opérations de blending (mélange des textures des pixels) sont réalisées aux frontières de la partie retouchée dans l'image courante pour améliorer le rendu de l'image finale. 10 La présente divulgation concerne également un dispositif pour retoucher une image courante du visage d'un individu, le dispositif étant configuré pour modifier au moins une partie de l'image courante, appelée partie d'image à modifier, de manière à obtenir 15 une partie d'image, appelée partie d'image modifiée, le dispositif comprenant au moins un processeur configuré pour: - générer, à partir d'un modèle appris du visage paramétrable en forme et en texture, une image du 20 visage de l'individu comportant la partie modifiée, - extraire la partie modifiée de l'image générée à partir du modèle, et - retoucher l'image courante avec la partie modifiée extraite. 25 La présente divulgation concerne également un produit programme d'ordinateur, remarquable en ce qu'il comprend des instructions de code de programme pour exécuter les étapes du procédé de retouche d'une image courante du visage d'un individu, lorsque le programme est exécuté par ordinateur. La présente divulgation concerne également un support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions de code de programme pour exécuter le procédé de retouche mentionné ci-dessus. D'autres avantages pourront encore apparaître à l'homme du métier à la lecture des exemples ci-dessous, 10 illustrés par les figures annexées, donnés à titre illustratif. Brève description des figures La figure 1 représente un exemple d'image à retoucher, selon un mode de réalisation particulier; 15 La figure 2 est un organigramme détaillant les étapes d'un mode d'implémentation particulier du procédé de la présente divulgation; et La figure 3 illustre un dispositif mettant en oeuvre le procédé de la présente divulgation, selon un 20 exemple de mise en oeuvre particulier. Description détaillée de modes de réalisation La présente divulgation concerne un procédé de retouche d'une image courante du visage d'un individu, selon un mode de réalisation avantageux et non limitatif. Ce 25 procédé est utilisé pour un ou plusieurs éléments du visage d'un individu, par exemple la bouche ou les yeux. Le procédé peut être utilisé pour retoucher l'image de la figure 1. Sur cette image, l'individu a l'oeil gauche fermé. L'opération de retouche souhaitée peut alors être d'ouvrir cet oeil et corriger éventuellement les autres déformations du visage engendrées par cet oeil fermé (position du sourcil gauche et de la bouche). Conformément à la figure 2, il est proposé selon un mode de réalisation particulier d'appliquer les étapes suivantes pour retoucher l'image courante : Etape El : générer, à partir d'un modèle appris du visage paramétrable en forme et en texture, une image du visage comportant la partie modifiée souhaitée, Etape E2 : extraire cette partie d'image générée à partir du modèle, et Etape E3 retoucher l'image courante avec la partie extraite. Dans l'exemple de la figure 1, le procédé consiste à générer une image du visage de l'individu dans laquelle ce dernier a l'oeil gauche ouvert, extraire cette partie d'image de l'image générée et à l'insérer dans l'image courante à l'endroit de la partie d'image comportant l'oeil gauche fermé. On peut aussi retoucher la bouche de la même façon en réutilisant l'image générée précédemment pour retoucher l'oeil gauche (si la forme de la bouche convient à l'utilisateur) ou en regénérant une autre image à partir du modèle.

Des traitements classiques dans le traitement d'image tels que des opérations de mélange de textures ou blending sont appliqués aux frontières de la partie retouchée dans l'image courante pour améliorer le rendu de l'image finale. Le modèle utilisé à l'étape El est un modèle de forme et de texture tel que par exemple le modèle AAM (Active Appearance Model) décrit notamment dans les documents "Active Appearance Models Revisited", I. Matthews and S. Baker, International Journal of Computer Vision, Vol. 60 n°2, Nov. 2004, pp. 135-164. Tout autre type de modèle de forme et de texture peut être employé, tels que les modèles basés sur une approche locale décrits dans les documents suivants: - "Active Shape Models Their Training and Application", T.F. Cootes et al., Computer Vision and Image Understanding, Vol. 61 n°1, Jan. 1995, pp. 38-59 - "Automatic Feature Localisation with Constrained Local Models", D. Cristinacce and T.F. Cootes, Pattern Recognition, Vol. 41 n°10, Oct. 2008, pp. 3054-3067; et "Face Detection, Pose Estimation, and Landmark Localization in the Wild", X. Zhu and D. Ramanan, IEEE International Conference on Computer Vision and Pattern Recognition CVPR 2012, pp. 2879-2886.

Le modèle AAM est créé à partir d'une vidéo ou de plusieurs images (environ une vingtaine d'images) du visage de l'individu pendant une phase d'apprentissage. Des points d'intérêts ou amers sont définis généralement manuellement dans les images employées pour cet apprentissage. Ces points d'intérêt portent sur des éléments caractéristiques du visage, par exemple le contour du menton, des yeux, du nez ou de la bouche, comme illustré sur la figure 1. Les images employées pour l'apprentissage comportent avantageusement toutes les déformations possibles du visage liées à différentes expressions du visage, par exemple des expressions de joie, de mépris, de colère, de surprise avec éventuellement yeux ouverts ou fermés. Un modèle est alors généré à partir de ces points 10 d'intérêt. Ce modèle rassemble toutes les variations possibles de forme et de texture du visage liées à ces expressions. Le modèle AAM, tel qu'il est présenté dans le document cité précédemment, représente la forme (ou géométrie) S 15 d'un visage par une combinaison linéaire de formes de base Si telle que So p; S;, So représentant la forme moyenne et pi représentant des paramètres de forme. La forme s est liée à la position des points d'intérêt. A chaque forme de base si est associée une position 20 particulière des points d'intérêts. Le modèle représente également la texture A du visage par une combinaison linéaire de textures de base telle que Ao+Liîiili, Alo représentant la texture moyenne et représentant des paramètres de texture. 25 Le modèle AAM est donc construit à partir de ces combinaisons linéaires So +L pi Si et Alo +2 )i A, ces combinaisons pouvant elles-mêmes être combinées comme décrit dans le document cité précédemment.

Selon un mode de réalisation avantageux, on utilise ce modèle pour construire une image dans laquelle on peut venir extraire une partie pour retoucher l'image courante. On construit l'image de visage en agissant sur différents paramètres du modèle, notamment les paramètres pi et )i, pour obtenir la partie d'image souhaitée, par une image avec l'oeil gauche grand ouvert et la bouche fermée rectiligne. Ainsi, lorsqu'on souhaite retoucher un élément de visage dans l'image courante, on génère avec le modèle une image dans laquelle ledit élément de visage a une forme et une texture telles que souhaitées après retouche de l'image courante. Une fois que cette image est générée, on extrait l'élément de visage souhaité et on l'insère dans l'image courante la place de l'élément de visage à retoucher. La figure 3 illustre schématiquement un exemple de réalisation matérielle d'un dispositif 1 apte à réaliser la retouche d'image tel que décrit précédemment, selon un exemple de mise en oeuvre particulier et non limitatif. Le dispositif 1 correspondant par exemple à un ordinateur personnel PC, à un ordinateur portable (de l'anglais « laptop »), à une tablette, un smartphone ou à une console de jeux.

Le dispositif 1 comprend les éléments suivants, reliés entre eux par un bus 15 d'adresses et de données qui transporte également un signal d'horloge : un microprocesseur 11 (ou CPU) ; une carte graphique 12; - un dispositif d'affichage 13 de type écran d'affichage relié directement à la carte graphique 12 pour afficher notamment les images à retoucher, les images issues du modèle ainsi qu'une interface permettant d'agir sur la texture et la forme du modèle; - une mémoire non volatile de type ROM (de l'anglais « Read Only Memory ») 16 ; - une mémoire vive ou RAM (de l'anglais « Random Access Memory ») 17 ; - un ou plusieurs dispositifs I/O (de l'anglais « Input/Output » ou en français « Entrée/Sortie ») 14, tels que par exemple un clavier, une souris, une webcam ; et - une alimentation 18.

Les mémoires 16 et 17 comportent des registres. Le terme «registre» désigne ici aussi bien une zone de mémoire de faible capacité (quelques données binaires) qu'une zone mémoire de grande capacité (permettant de stocker un programme entier ou tout ou partie des données représentatives de données calculées ou à afficher). A la mise sous tension, le microprocesseur 11 charge et exécute les instructions du programme contenu dans la RAM 17. La mémoire vive 17 comprend notamment: - dans un registre 170, le programme de fonctionnement du microprocesseur 11 chargé à la mise sous tension du dispositif 1 et les algorithmes nécessaires à la mise en oeuvre du procédé de retouche; et - dans un registre 171, le modèle destiné à générer la partie d'image qui sert à retoucher courante. La mémoire RAM sert également à enregistrer l'image 5 courante, avant et après retouche, et les images ou parties d'image issues du modèle. Le modèle décrit est donné à titre d'exemple. Il est évident pour l'homme de l'art que d'autres modèles équivalents peuvent être utilisés.

10 Bien entendu, la présente divulgation ne se limite pas aux modes de réalisation décrits précédemment. En particulier, la présente divulgation n'est pas limitée à un procédé de retouche d'une image courante du visage d'un individu mais s'étend également à 15 l'interface graphique utilisateur (GUI, de l'anglais « Graphical User Interface ») permettant de régler les paramètres associés au modèle. La présente divulgation s'étend également au dispositif mettant en oeuvre un tel procédé et au terminal multimédia mettant en oeuvre un 20 tel procédé. Les modes de réalisation décrits précédemment sont par exemple mis en oeuvre dans une méthode ou un processus, un appareil, un programme logiciel, un flux de données ou un signal. Un dispositif ou appareil mettant en 25 oeuvre le procédé de réglage de paramètres de configuration décrit est par exemple mis en oeuvre sous la forme de composants matériels programmables ou non, sous la forme d'un ou plusieurs processeur (avantageusement de type CPU mais également de type GPU ou ARM selon des variantes). Les méthodes décrites sont mises en oeuvre par exemple dans un appareil comprenant au moins un processeur, qui se réfère à des dispositifs de traitement en général, comprenant par exemple un ordinateur, un microprocesseur, un circuit intégré ou un dispositif logique programmable. Les processeurs comprennent également les dispositifs de communication, tels que par exemple les ordinateurs, les téléphones portables ou cellulaires, les téléphones intelligents (de l'anglais « smartphones »), les assistants As »), les dispositif numériques portables/personnes (dits « PD tablettes numériques ou tout autre permettant la communication d'information entre utilisateurs. De plus, les méthodes décrites peuvent être mises en oeuvre sous la forme d'instructions exécutées par un ou plusieurs processeurs, et de telles instructions peuvent être stockées sur un support lisible par un processeur ou un ordinateur, tel que par exemple un circuit intégré, tout dispositif de stockage tel que un disque dur, un disque optique (CD ou DVD), une mémoire à accès aléatoire RAM, une mémoire non volatile de type ROM. Les instructions forment par exemple un programme applicatif stocké dans un support lisible par un processeur. Les instructions prennent par exemple la forme d'un hardware, d'un firmware (ou logiciel embarqué en français) ou d'un software (ou logiciel en français).

Claims (10)

1. REVENDICATIONS1) Procédé de retouche d'une image courante du visage d'un individu, ledit procédé étant apte à 5 modifier au moins une partie de ladite image courante, appelée partie d'image à modifier, de manière à obtenir une partie d'image, appelée partie d'image modifiée, ledit procédé comprenant : - génération (El), à partir d'un modèle appris dudit 10 visage paramétrable en forme et en texture, d'une image du visage dudit individu comportant ladite partie modifiée, - extraction (E2) de ladite partie modifiée de l'image générée à partir du modèle, et 15 - retouche (E3) de l'image courante avec ladite partie modifiée extraite.
2. 2) Procédé selon la revendication 1, caractérisé en ce que le modèle est un modèle d'apparence actif. 20
3. 3) Procédé selon la revendication 1 ou 2, caractérisé en ce que la retouche consiste à insérer, dans l'image courante, la partie modifiée extraite à l'endroit de ladite partie à modifier. 25
4. 4) Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte en outre un mélange des textures appliquée aux frontières de la partie modifiée dans l'image courante.
5. 5) Dispositif configuré pour retoucher une image 30 courante du visage d'un individu, ledit dispositifétant configuré pour modifier au moins une partie de ladite image courante, appelée partie d'image à modifier, de manière à obtenir une partie d'image, appelée partie d'image modifiée, caractérisé en ce que ledit dispositif comprend au moins un processeur configuré pour: - générer, à partir d'un modèle appris dudit visage paramétrable en forme et en texture, une image du visage dudit individu comportant ladite partie 10 modifiée, - extraire ladite partie modifiée de l'image générée à partir du modèle, et - retoucher l'image courante avec ladite partie modifiée extraite. 15
6. 6) Dispositif selon la revendication 5, caractérisé en ce que le modèle est un modèle d'apparence actif.
7. 7) Dispositif selon la revendication 5 ou 6, caractérisé en ce que le au moins un processeur est en outre configuré pour insérer, dans l'image courante, la 20 partie modifiée extraite à l'endroit de ladite partie à modifier.
8. 8) Dispositif selon l'une quelconque des revendications 5 à 7, caractérisé en ce que le au moins un processeur est en outre configuré pour mélanger des textures 25 appliquée aux frontières de la partie modifiée dans l'image courante.
9. 9) Produit programme d'ordinateur, caractérisé en ce qu'il comprend des instructions de code de programmepour exécuter les étapes du procédé selon l'une quelconque des revendications 1 à 4, lorsque ledit programme est exécuté par ordinateur.
10. 10) Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions de code de programme pour exécuter le procédé de retouche de l'invention, selon l'une quelconque des revendications 1 à 4, lorsque ledit programme est exécuté par un ordinateur.10