FR3118241A1 - APPLYING A CONTINUOUS EFFECT VIA MODEL-ESTIMATED CLASS INCORPORATIONS - Google Patents
APPLYING A CONTINUOUS EFFECT VIA MODEL-ESTIMATED CLASS INCORPORATIONS Download PDFInfo
- Publication number
- FR3118241A1 FR3118241A1 FR2105404A FR2105404A FR3118241A1 FR 3118241 A1 FR3118241 A1 FR 3118241A1 FR 2105404 A FR2105404 A FR 2105404A FR 2105404 A FR2105404 A FR 2105404A FR 3118241 A1 FR3118241 A1 FR 3118241A1
- Authority
- FR
- France
- Prior art keywords
- age
- model
- estimated
- incorporations
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002844 continuous effect Effects 0.000 title claims abstract description 16
- 238000010348 incorporation Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000032683 aging Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000004088 simulation Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013136 deep learning model Methods 0.000 abstract 1
- 238000013459 approach Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000003716 rejuvenation Effects 0.000 description 3
- 230000003679 aging effect Effects 0.000 description 2
- 230000003712 anti-aging effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
APPLICATION D’UN EFFET CONTINU VIA DES INCORPORATION S DE CLASSE ESTIMÉ E PAR LE MODÈLE L’invention concerne des procédés, des dispositifs et des techniques pour traiter une image à l’aide d’un modèle d’apprentissage profond afin de réaliser une simulation d’effet continu par un réseau unifié où un simple estimateur (classe d’effet) est incorporé dans une architecture régulière d’encodeur-décodeur. L’estimateur permet l’apprentissage d’incorporation de classe estimée par le modèle de toutes les classes d’effets (par exemple, des degrés progressifs de l’effet), représentant ainsi les informations d’effet continu sans effort manuel pour sélectionner des groupes d’effets d’ancrage appropriés. Dans un mode de réalisation, étant donné une classe d’âge cible, il est dérivé une incorporation d’âge personnalisée qui prend en compte deux aspects de vieillissement de visage : 1) une incorporation d’âge résiduelle personnalisée à un âge estimé par le modèle du sujet, préservant des informations de vieillissement du sujet ; et 2) une base de vieillissement de visage exemplaire à l’âge cible, encodant les schémas de vieillissement partagés parmi la population entière. Les modes de réalisation d’entraînement et d’exécution (temps d’inférence) sont décrits, y compris une application AR qui génère des recommandations et fournit des services de commerce électronique. Figure pour l’abrégé : 1APPLYING A CONTINUOUS EFFECT VIA MODEL-ESTIMATED CLASS INCORPORATIONS Methods, devices, and techniques for processing an image using a deep learning model to perform a simulation of continuous effect by a unified network where a simple estimator (class of effect) is incorporated in a regular architecture of encoder-decoder. The estimator enables model-estimated class incorporation learning of all effect classes (e.g., incremental degrees of effect), thus representing continuous effect information without manual effort to select appropriate anchor effect groups. In one embodiment, given a target age class, a custom age embedding is derived that takes into account two aspects of face aging: 1) a residual age embedding customized to an age estimated by the subject model, preserving subject aging information; and 2) an exemplary face aging baseline at the target age, encoding shared aging patterns among the entire population. Training and execution (inference times) embodiments are described, including an AR application that generates recommendations and provides e-commerce services. Figure for abstract: 1
Description
DOMAINEDOMAIN
Cette demande concerne le traitement d’image et le traitement d’images pour générer une image actualisée en utilisant la technologie de réseau neuronal pour appliquer en continu un effet tel que le vieillissement d’une image faciale.This application relates to image processing and image processing to generate an updated image using neural network technology to continuously apply an effect such as aging to a facial image.
CONTEXTECONTEXT
Le vieillissement de visage, également connu sous le nom de progression de l’âge, vise à rendre esthétiquement des images de visage d’entrée avec des effets naturels de vieillissement ou de rajeunissement tout en préservant des informations d’identité de l’individu. Grâce aux récents progrès en matière d’apprentissage approfondi, la synthèse de visage a également montré une amélioration substantielle de la fidélité des images et de la précision d’âge dans les images de visages simulées [10, 41, 24]. Le manque de données constitue un défi majeur pour résoudre divers problèmes restants (par exemple, le vieillissement continu). Par exemple, de nombreux travaux de recherche sur le vieillissement de visage [20, 41, 43, 10] doivent regrouper des images en 4 à 5 groupes d’âge (tels que <30, 30-40, 40-50, 50+) et ne peuvent générer des images que dans un groupe d’âge cible, en raison de la quantité limitée de données à chaque âge. Un autre problème important est de savoir comment maintenir les traits personnels dans la progression d’âge, car les schémas de vieillissement peuvent être différents pour chaque individu.Face aging, also known as age progression, aims to aesthetically render input face images with natural aging or rejuvenation effects while preserving individual identity information. Thanks to recent advances in deep learning, face synthesis has also shown substantial improvement in image fidelity and age accuracy in simulated face images [10, 41, 24]. Lack of data is a major challenge to address various remaining issues (e.g. continuous aging). For example, many research works on face aging [20, 41, 43, 10] need to group images into 4-5 age groups (such as <30, 30-40, 40-50, 50+ ) and can only generate images in a target age group, due to the limited amount of data at each age. Another important issue is how to maintain personal traits as you age, as aging patterns can be different for each individual.
Le vieillissement de visage traditionnel comporte principalement deux approches : celle basée sur un modèle physique [3, 42] et celle basée sur un prototype [37, 16]. Les procédés basés sur un modèle physique consistent souvent en une modélisation physique complexe, prenant en compte les rides de la peau, la forme du visage, les changements musculaires, la couleur des cheveux, etc. Ce type de procédé nécessite typiquement une énorme quantité de données et est très coûteux sur le plan des calculs. Les procédés basés sur des prototypes explorent tout d’abord des conceptions basées sur des groupes en calculant un visage moyen dans les groupes d’âge prédéfinis, ce qui ne permet pas de retenir des informations personnalisées sur le vieillissement. En outre, tous ces procédés ne sont pas applicables au vieillissement continu du visage.Traditional face aging mainly involves two approaches: that based on a physical model [3, 42] and that based on a prototype [37, 16]. Physical model-based processes often consist of complex physical modeling, taking into account skin wrinkles, face shape, muscle changes, hair color, etc. This type of process typically requires a huge amount of data and is very computationally expensive. Prototype-based methods first explore group-based designs by calculating an average face within the pre-defined age groups, which does not retain personalized information about aging. Furthermore, not all of these methods are applicable to the continuous aging of the face.
Suite au succès de modèles génératifs récents, tels que les auto-encodeurs variationnels (VAE) et les réseaux antagonistes génératifs (GAN) [9], sur les tâches de translation d’images, les chercheurs ont consacré des efforts à adapter ces procédés à la synthèse de visage. IPCGAN [41] a montré des progrès significatifs dans la génération d’images de visage avec des effets de vieillissement évidents en appliquant une perte d’estimation de l’âge. Une variation ultérieure [43] crée une structure pyramidale pour le discriminateur afin d’améliorer la compréhension de vieillissement de visage à plusieurs échelles. Le vieillissement continu n’a pas été exploré parmi ces procédés. He et al. [10] ont présenté un générateur multi-branches pour l’entraînement sur des groupes et ont proposé l’idée d’approximer le vieillissement continu par interpolation linéaire des représentations latentes entre deux groupes d’âge adjacents. Les auteurs de [24] abordent également le problème en utilisant une approche d’interpolation linéaire similaire, qui est effectuée sur le code latent d’âge appris entre deux groupes voisins à la place. Ces types de procédés supposent que la progression de l’âge est linéaire entre les deux groupes adjacents et que l’incorporation de groupe apprise peut être utilisée directement comme incorporation d’âge médian. Par conséquent, cela peut entraîner un décalage de l’âge cible dans les images générées. Intuitivement, cette non-linéarité peut être interprétée comme suit : les gens ne vieillissent pas à la même vitesse pour des étapes différentes. De plus, ces procédés basés sur l’interpolation peuvent modifier les traits personnels lorsque le désenchevêtrement est imparfait.Following the success of recent generative models, such as variational autoencoders (VAEs) and generative adversarial networks (GANs) [9], on image translation tasks, researchers have devoted efforts to adapting these methods to face synthesis. IPCGAN [41] showed significant progress in generating face images with obvious aging effects by applying loss of age estimation. A later variation [43] creates a pyramidal structure for the discriminator to improve understanding of face aging at multiple scales. Continuous aging has not been explored among these processes. He et al. [10] presented a multi-branch generator for training on groups and proposed the idea of approximating continuous aging by linear interpolation of latent representations between two adjacent age groups. The authors of [24] also tackle the problem using a similar linear interpolation approach, which is performed on the learned age latent code between two neighboring groups instead. These types of methods assume that the age progression is linear between the two adjacent groups and that the learned group incorporation can be used directly as the median age incorporation. Therefore, this may cause the target age to shift in the generated images. Intuitively, this non-linearity can be interpreted as follows: people do not age at the same rate for different stages. Moreover, these interpolation-based processes can alter personal traits when the disentanglement is imperfect.
RÉSUMÉSUMMARY
La présente invention a pour objet un procédé de traitement d’image(s) comprenant :The present invention relates to a process for processing image(s) comprising:
-la fourniture d’un modèle unifié de simulation d’âge pour générer, à partir d’une image d’entrée d’un sujet, une nouvelle image à un âge cible pour le sujet ;-the provision of a unified age simulation model to generate, from an input image of a subject, a new image at a target age for the subject;
dans lequel le modèle unifié de simulation d’âge fournit une pluralité d’incorporations d’âge estimé par le modèle respectives à chacun d’une pluralité d’âges continus représentant des informations de vieillissement continu, les incorporations d’âge estimé par le modèle étant apprises par l’entraînement conjoint d’un générateur et d’un estimateur d’âge incorporé dans une architecture d’encodeur-décodeur du modèle, l’estimateur d’âge étant configuré pour déterminer des âges estimés par le modèle de sujets à partir de caractéristiques générées par encodeur respectives en réponse à des images d’entrée respectives ; etwherein the unified age simulation model provides a plurality of model-estimated age incorporations respective to each of a plurality of continuous ages representing continuous aging information, the model-estimated age incorporations being learned by the joint training of a generator and an age estimator incorporated in an encoder-decoder architecture of the model, the age estimator being configured to determine ages estimated by the model of subjects to from respective encoder-generated features in response to respective input images; and
dans lequel le générateur génère la nouvelle image en utilisant les caractéristiques générées par encodeur à partir de l’image d’entrée telle que transformée par les incorporations d’âge estimé par le modèle respectives déterminées conformément à l’âge cible et un âge estimé par le modèle du sujet.wherein the generator generates the new image using the encoder-generated features from the input image as transformed by the respective model-estimated age incorporations determined in accordance with the target age and an age-estimated by the model of the subject.
Suivant des modes particuliers de mise en œuvre, le procédé comprend une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles :According to particular modes of implementation, the method comprises one or more of the following characteristics, taken in isolation or in all technically possible combinations:
- l’architecture d’encodeur-décodeur comprend l’estimateur d’âge pour estimer un âge estimé par le modèle du sujet dans l’image d’entrée ;- the encoder-decoder architecture includes the age estimator to estimate an age estimated by the subject model in the input image;
- un encodeur du modèle unifié de simulation d’âge traite l’image d’entrée pour déterminer les caractéristiques générées par encodeur et dans lequel l’estimateur d’âge traite les caractéristiques générées par encodeur pour déterminer l’âge estimé par le modèle ;- an encoder of the unified age simulation model processes the input image to determine the features generated by the encoder and in which the age estimator processes the features generated by the encoder to determine the age estimated by the model;
- les caractéristiques générées par encodeur sont transformées par des incorporations d’âge personnalisées comprenant :- Encoder generated features are transformed by custom age embeddings including:
des incorporations respectives des incorporations d’âge estimé par le modèle déterminées conformément à l’âge estimé par le modèle ; etrespective incorporations of model-estimated age incorporations determined in accordance with the model-estimated age; and
les incorporations respectives des incorporations d’âge estimé par le modèle déterminées conformément à l’âge cible ;the respective incorporations of age incorporations estimated by the model determined in accordance with the target age;
- les incorporations d’âge personnalisées comprennent :- custom age incorporations include:
des incorporations d’âge résiduelles personnalisées déterminées à partir de la pluralité d’incorporations d’âge estimé par le modèle en réponse à l’âge estimé par le modèle pour préserver des informations d’identité du sujet ; etpersonalized residual age embeddings determined from the plurality of age embeddings estimated by the model in response to the age estimated by the model to preserve identity information of the subject; and
des incorporations d’âge exemplaires comprenant les incorporations d’âge respectives des incorporations d’âge estimé par le modèle, déterminées conformément à l’âge cible pour représenter des schémas de vieillissement partagés parmi une population entière.exemplary age incorporations comprising the respective age incorporations of the age incorporations estimated by the model, determined according to the target age to represent shared aging patterns among an entire population.
L’invention a également pour objet un procédé de traitement d’image(s) comprenant :The invention also relates to a process for processing image(s) comprising:
la fourniture d’un modèle unifié pour générer, à partir d’une image d’entrée d’un sujet, une nouvelle image à une classe cible d’un effet continu pour le sujet ;providing a unified model for generating, from an input image of a subject, a new image to a target class of a continuous effect for the subject;
dans lequel le modèle fournit une pluralité d’incorporations de classe estimée par le modèle respectives à chacune d’une pluralité de classes continues représentant des informations d’effet continu, les incorporations de classe estimée par le modèle étant apprises par l’entraînement conjoint d’un générateur et d’un estimateur de classe incorporé dans une architecture d’encodeur-décodeur du modèle, l’estimateur de classe étant configuré pour déterminer des classes estimées par le modèle de sujets respectifs à partir de caractéristiques générées par encodeur respectives en réponse à des images d’entrée respectives ; etwherein the model provides a plurality of model-estimated class embeddings respective to each of a plurality of continuous classes representing continuous effect information, the model-estimated class embeddings being learned by joint training of a generator and a class estimator incorporated into an encoder-decoder architecture of the model, the class estimator being configured to determine model-estimated classes of respective subjects from respective encoder-generated features in response to respective input images; and
dans lequel le générateur génère la nouvelle image en utilisant les caractéristiques générées par encodeur à partir de l’image d’entrée telle que transformée par des incorporations respectives des incorporations de classe estimée par le modèle déterminées conformément à la classe cible et une classe estimée par le modèle du sujet.wherein the generator generates the new image using the encoder-generated features from the input image as transformed by respective model-estimated class embeds determined in accordance with the target class and a class-estimated class the model of the subject.
La présente invention a également pour objet un dispositif informatique comprenant une unité de traitement et un dispositif de stockage couplé à celle-ci, l’unité de stockage stockant des instructions qui, lorsqu’elles sont exécutées par l’unité de traitement, configurent le dispositif informatique pour :The present invention also relates to a computer device comprising a processing unit and a storage device coupled thereto, the storage unit storing instructions which, when executed by the processing unit, configure the computing device for:
fournir une recommandation pour au moins un produit ou un service ; etprovide a recommendation for at least one product or service; and
fournir une image de simulation d’âge comprenant une nouvelle image générée à partir d’une image d’entrée et d’un âge cible, dans lequel la nouvelle image est générée conformément à un procédé tel que décrit précédemment.providing an age simulation image comprising a new image generated from an input image and a target age, wherein the new image is generated according to a method as previously described.
Pour résoudre les problèmes susmentionnés, il est proposé une nouvelle approche pour parvenir à l’application d’un effet de visage continu tel que le vieillissement par un réseau unifié où un simple estimateur de classe (par exemple un estimateur d’âge pour un effet de vieillissement, une progression de sourire (une classe) pour un effet de sourire continu, etc.) est incorporé dans une architecture régulière d’encodeur-décodeur. Cela permet au réseau d’apprendre des incorporations de classe estimée par le modèle (par exemple, l’âge, le sourire, etc.) de toutes les étapes ou classes progressives (par exemple, l’âge, le degré de sourire, etc.), représentant ainsi des informations d’effet continu sans effort manuel pour sélectionner les groupes d’étapes progressives d’ancrage appropriés (par exemple, l’âge, le degré de sourire, etc.). Dans l’exemple de l’âge, étant donné un âge cible (l’âge cible étant l’une des classes dans l’effet continu), est dérivée une incorporation d’âge personnalisée qui prend en compte deux aspects du vieillissement de visage : 1) une incorporation d’âge résiduelle personnalisée à l’âge actuel du sujet dans l’image, qui préserve les informations de vieillissement de l’individu ; et 2) une base de vieillissement de visage exemplaire à l’âge cible, qui encode les schémas de vieillissement partagés par la population entière. Le mécanisme détaillé de calcul et d’entraînement est décrit. L’incorporation d’âge cible calculée est ensuite utilisée pour une génération d’image finale. Des expériences sur des ensembles de données FFHQ [15] et CACD2000 [5] sont détaillées. Les résultats, tant qualitatifs que quantitatifs, montrent une amélioration significative par rapport à l’état de la technique dans divers aspects.To solve the above-mentioned problems, a new approach is proposed to achieve the application of a continuous face effect such as aging by a unified network where a simple class estimator (e.g. an age estimator for an effect of aging, a smile progression (a class) for a continuous smile effect, etc.) is incorporated into a regular encoder-decoder architecture. This allows the network to learn model-estimated class incorporations (e.g., age, smile, etc.) of all progressive stages or classes (e.g., age, degree of smile, etc. .), thus representing continuous effect information without manual effort to select the appropriate anchoring progressive step groups (e.g., age, degree of smile, etc.). In the age example, given a target age (the target age being one of the classes in the continuous effect), a custom age embedding is derived that takes into account two aspects of face aging : 1) residual age embedding customized to the subject's current age in the image, which preserves the individual's aging information; and 2) an exemplary face aging baseline at the target age, which encodes aging patterns shared by the entire population. The detailed calculation and training mechanism is described. The calculated target age incorporation is then used for a final image generation. Experiments on FFHQ [15] and CACD2000 [5] data sets are detailed. The results, both qualitative and quantitative, show a significant improvement over the state of the art in various aspects.
Dans le contexte de l’âge, des modes de réalisation comportent un nouveau procédé d’auto-estimation (par exemple, où "auto" fait référence à des estimations par le modèle (par exemple, une estimation par le modèle)) d’incorporations d’âge continues et dérivent des incorporations d’âge personnalisées pour une tâche de vieillissement de visage en entraînant conjointement un estimateur d’âge avec le générateur. Des expériences et des analyses démontrent quantitativement et qualitativement que les images générées préservent mieux les informations personnalisées, permettent un contrôle du vieillissement plus précis et présentent des détails du vieillissement plus fins. L’approche de vieillissement continu, conformément à un mode de réalisation de donné ici, génère des images avec des âges cibles mieux alignés, et préserve mieux des traits personnels détaillés, sans effort manuel pour définir des groupes d’âge appropriés.In the context of age, embodiments include a novel method of self-estimating (eg, where "self" refers to estimates by the model (eg, model-based estimation)) of continuous age embeddings and derive custom age embeddings for a face aging task by jointly training an age estimator with the generator. Experiments and analyzes demonstrate quantitatively and qualitatively that the generated images better preserve personalized information, allow more precise aging control and present finer aging details. The continuous aging approach, according to one embodiment given here, generates images with better aligned target ages, and better preserves detailed personal traits, without manual effort to define appropriate age groups.
Les techniques et procédés proposés, etc. pour estimer par le modèle une incorporation d’âge personnalisée à partir d’un modèle discriminant connexe peuvent être facilement appliqués à d’autres tâches de translation conditionnelle d’image à image, sans introduire de complexité supplémentaire. En particulier, des tâches impliquant une condition continue et une modélisation (par exemple, ne pas sourire à sourire, etc.), peuvent bénéficier de cette configuration.The techniques and processes proposed, etc. to model-estimate a custom age incorporation from a related discriminant model can be easily applied to other conditional image-to-image translation tasks, without introducing additional complexity. In particular, tasks involving a continuous condition and modeling (e.g., not smiling to smile, etc.), can benefit from this configuration.
Dans un mode de réalisation il est proposé un procédé comprenant : la fourniture d’un modèle unifié de simulation d’âge pour générer, à partir d’une image d’entrée d’un sujet, une nouvelle image à un âge cible pour le sujet ; et l’utilisation du modèle pour générer la nouvelle image ; dans lequel le modèle unifié de simulation d’âge fournit une pluralité d’incorporations d’âge estimé par le modèle respectives à chacun d’une pluralité d’âges continus représentant des informations de vieillissement continu, les incorporations d’âge estimé par le modèle étant apprises par l’entraînement conjoint d’un générateur et d’un estimateur d’âge incorporé dans une architecture d’encodeur-décodeur du modèle, l’estimateur d’âge étant configuré pour déterminer des âges estimés par le modèle des sujets à partir des caractéristiques générées par encodeur respectives en réponse à des images d’entrée respectives ; et dans lequel le générateur génère la nouvelle image en utilisant les caractéristiques générées par encodeur à partir de l’image d’entrée telle que transformée par des incorporations respectives des éléments d’âge estimés par le modèle déterminées conformément à l’âge cible et à un âge estimé par le modèle du sujet.In one embodiment there is provided a method comprising: providing a unified age simulation model to generate, from an input image of a subject, a new image at a target age for the subject ; and using the template to generate the new image; wherein the unified age simulation model provides a plurality of model-estimated age incorporations respective to each of a plurality of continuous ages representing continuous aging information, the model-estimated age incorporations being learned by the joint training of a generator and an age estimator incorporated in an encoder-decoder architecture of the model, the age estimator being configured to determine ages estimated by the model of the subjects to from respective encoder-generated features in response to respective input images; and wherein the generator generates the new image using the encoder-generated features from the input image as transformed by respective embeddings of the age elements estimated by the model determined in accordance with the target age and an age estimated by the subject model.
Dans un mode de réalisation, l’architecture d’encodeur-décodeur comprend l’estimateur d’âge pour estimer un âge estimé par le modèle du sujet dans l’image d’entrée.In one embodiment, the encoder-decoder architecture includes the age estimator for estimating a model-estimated age of the subject in the input image.
Dans un mode de réalisation, un encodeur du modèle traite l’image d’entrée pour déterminer les caractéristiques générées par encodeur et dans lequel l’estimateur d’âge traite les caractéristiques générées par encodeur pour déterminer l’âge estimé par le modèle.In one embodiment, a model encoder processes the input image to determine the encoder-generated features and wherein the age estimator processes the encoder-generated features to determine the model-estimated age.
Dans un mode de réalisation, les caractéristiques générées par encodeur sont transformées par des incorporations d’âge personnalisées comprenant : des incorporations respectives des incorporations d’âge estimé par le modèle déterminées conformément à l’âge estimé par le modèle ; et les incorporations respectives des incorporations d’âges estimé par le modèle déterminées conformément à l’âge cible. Dans un mode de réalisation, les incorporations d’âge personnalisées comprennent : des incorporations d’âge résiduelles personnalisées déterminées à partir de la pluralité d’incorporations d’âges estimé par le modèle respectives en réponse à l’âge estimé par le modèle pour préserver des informations d’identité du sujet ; et des incorporations d’âge exemplaires comprenant les incorporations respectives des incorporations d’âges estimé par le modèle déterminées conformément à l’âge cible pour représenter des schémas de vieillissement partagés parmi une population entière.In one embodiment, the encoder-generated features are transformed by custom age embeddings comprising: respective embeddings of the model-estimated age embeddings determined in accordance with the model-estimated age; and the respective incorporations of age incorporations estimated by the model determined in accordance with the target age. In one embodiment, the custom age incorporations include: custom residual age incorporations determined from the plurality of respective model-estimated age incorporations in response to the model-estimated age to preserve subject identity information; and exemplary age incorporations comprising respective incorporations of model-estimated age incorporations determined according to the target age to represent shared aging patterns among an entire population.
Dans un mode de réalisation, les incorporations d’âge personnalisées sont appliquées conformément à une transformation affine.In one embodiment, the custom age embeddings are applied according to an affine transformation.
Dans un mode de réalisation, le générateur traite les caractéristiques encodées telles que transformées par l’incorporation d’âge personnalisée pour générer la nouvelle image à l’âge cible.In one embodiment, the generator processes the encoded features as transformed by the custom age embedding to generate the new image at the target age.
Dans un mode de réalisation, le modèle est l’un ou les deux d’un modèle de réseau neuronal d’apprentissage profond et d’un modèle basé sur un réseau antagoniste génératif.In one embodiment, the model is one or both of a deep learning neural network model and a generative adversarial network-based model.
Dans un mode de réalisation, le procédé comprend la fourniture d’une interface de recommandation pour obtenir une recommandation pour l’un ou les deux d’un produit ou d’un service.In one embodiment, the method includes providing a recommendation interface to obtain a recommendation for one or both of a product or service.
Dans un mode de réalisation, le procédé comprend la fourniture d’une interface d’achat en ligne pour acheter les uns ou l’ensemble de produits ou de services.In one embodiment, the method includes providing an online shopping interface to purchase some or all of the products or services.
Dans un mode de réalisation, le procédé comprend la réception de l’image d’entrée et la fourniture de la nouvelle image pour un affichage.In one embodiment, the method includes receiving the input image and providing the new image for display.
Dans un mode de réalisation, la nouvelle image comprend un visage du sujet.In one embodiment, the new image includes a face of the subject.
Conformément à un mode de réalisation, il est prévu un procédé comprenant : la fourniture d’un modèle unifié pour générer, à partir d’une image d’entrée d’un sujet, une nouvelle image à une classe cible d’un effet continu pour le sujet ; et l’utilisation du modèle pour générer la nouvelle image ; dans lequel le modèle fournit une pluralité d’incorporations de classe estimée par le modèle respectives à chacune d’une pluralité de plages cibles continues représentant des informations d’effet continu, les incorporations de classe estimée par le modèle étant apprises par un entraînement conjoint d’un générateur et d’un estimateur d’effet incorporé dans une architecture d’encodeur-décodeur du modèle, l’estimateur d’effet étant configuré pour déterminer des classes estimées par le modèle de sujets respectifs à partir de caractéristiques respectives générées par encodeur en réponse à des images d’entrée respectives ; et dans lequel le générateur génère la nouvelle image en utilisant les caractéristiques générées par encodeur à partir de l’image d’entrée telle que transformée par les incorporations respectives des incorporations de classe estimée par le modèle déterminées conformément à la classe cible et une classe estimée par le modèle du sujet.According to one embodiment, a method is provided comprising: providing a unified model for generating, from an input image of a subject, a new image to a target class of a continuous effect for the subject; and using the template to generate the new image; wherein the model provides a plurality of respective model-estimated class embeds to each of a plurality of continuous target ranges representing continuous effect information, the model-estimated class embeds being learned by joint training of an effect generator and estimator incorporated in an encoder-decoder architecture of the model, the effect estimator being configured to determine model-estimated classes of respective subjects from respective encoder-generated features in response to respective input images; and wherein the generator generates the new image using the encoder-generated features from the input image as transformed by the respective model-estimated class embeds determined in accordance with the target class and an estimated class by the model of the subject.
Conformément à un mode de réalisation, il est prévu un procédé comprenant : la fourniture d’un modèle de transfert de domaine pour transférer une image d’entrée vers une nouvelle image, l’application d’un effet continu de manière continue pour transformer l’image d’entrée en une classe cible d’une pluralité de classes continues de l’effet continu en utilisant une pluralité d’incorporations de classe estimée par le modèle respectives apprises par le modèle pour chacune des classes continues de l’effet continu ; et le transfert de l’image d’entrée vers la nouvelle image en utilisant le modèle de transfert de domaine. Conformément à un mode de réalisation, l’effet continu est un effet de vieillissement et la classe cible est un âge cible. Conformément à un mode de réalisation, lors du transfert de l’image d’entrée, le modèle de transfert de domaine fonctionne pour : a) produire des caractéristiques encodées de l’image d’entrée ; b) transformer les caractéristiques encodées en utilisant : des incorporations d’âge résiduelles personnalisées déterminées à partir de la pluralité d’incorporations de classe estimée par le modèle respectives en réponse à un âge estimé par le modèle d’un sujet dans l’image d’entrée pour préserver des informations d’identité du sujet ; et des incorporations d’âge exemplaires comprenant des incorporations respectives des incorporations de classe estimée par le modèle déterminées conformément à l’âge cible pour représenter des schémas de vieillissement partagés parmi une population entière ; et c) générer la nouvelle image en utilisant les caractéristiques encodées telles que transformées. Conformément à un mode de réalisation, le modèle comprend un estimateur d’âge pour déterminer l’âge estimé par le modèle. Conformément à un mode de réalisation, l’estimateur d’âge comprend un classificateur entraîné conjointement avec un encodeur (du modèle), l’encodeur étant configuré pour produire les caractéristiques encodées, dans lequel l’estimateur d’âge est entraîné pour déterminer des âges respectifs estimés par le modèle de sujets dans des nouvelles images en utilisant des caractéristiques encodées respectives encodées par l’encodeur. Conformément à un mode de réalisation, les incorporations de classe estimées par le modèle sont définies pendant l’entraînement de l’estimateur d’âge conjointement avec l’encodeur, en associant des incorporations respectives des incorporations de classe estimée par le modèle respectives aux âges estimés par le modèle respectifs.According to one embodiment, a method is provided comprising: providing a domain transfer model to transfer an input image to a new image, applying a continuous effect continuously to transform the inputting a target class of a plurality of continuous classes of the continuous effect using a plurality of respective model-estimated class embeddings learned by the model for each of the continuous classes of the continuous effect; and transferring the input image to the new image using the domain transfer model. According to one embodiment, the continuous effect is an aging effect and the target class is a target age. According to one embodiment, when transferring the input image, the domain transfer model operates to: a) produce encoded features of the input image; b) transforming the encoded features using: personalized residual age incorporations determined from the plurality of respective model-estimated class incorporations in response to a model-estimated age of a subject in the image d entry to preserve subject identity information; and exemplary age incorporations comprising respective incorporations of the model-estimated class incorporations determined according to the target age to represent shared aging patterns among an entire population; and c) generating the new image using the encoded features as transformed. According to one embodiment, the model includes an age estimator to determine the age estimated by the model. According to one embodiment, the age estimator includes a classifier trained in conjunction with an encoder (of the model), the encoder being configured to produce the encoded features, wherein the age estimator is trained to determine respective ages estimated by the subject model in new images using respective encoded features encoded by the encoder. According to one embodiment, the model-estimated class incorporations are defined during training of the age estimator in conjunction with the encoder, by associating respective incorporations of the respective model-estimated class incorporations with the ages estimated by the respective model.
Conformément à un mode de réalisation, il est fourni un dispositif informatique comprenant une unité de traitement et un dispositif de stockage couplé à celle-ci, l’unité de stockage stockant des instructions qui, lorsqu’elles sont exécutées par l’unité de traitement, configurent le dispositif informatique pour exécuter un procédé conformément à l’un quelconque des modes de réalisation de procédé.According to one embodiment, there is provided a computing device comprising a processing unit and a storage device coupled thereto, the storage unit storing instructions which, when executed by the processing unit , configure the computing device to perform a method according to any one of the method embodiments.
Conformément à un mode de réalisation, il est fourni un produit-programme d’ordinateur comprenant un dispositif de stockage non transitoire stockant des instructions qui, lorsqu’elles sont exécutées par une unité de traitement d’un dispositif informatique, configurent le dispositif informatique pour exécuter un procédé conformément à l’un quelconque des modes de réalisation de procédé.According to one embodiment, there is provided a computer program product comprising a non-transitory storage device storing instructions which, when executed by a processing unit of a computing device, configure the computing device to performing a method in accordance with any of the method embodiments.
Conformément à un mode de réalisation, il est fourni un dispositif informatique comprenant une unité de traitement et un dispositif de stockage couplé à celle-ci, l’unité de stockage stockant des instructions qui, lorsqu’elles sont exécutées par l’unité de traitement, configurent le dispositif informatique pour : fournir une recommandation pour au moins l’un d’un produit et d’un service ; et fournir une image de simulation d’âge comprenant une nouvelle image générée à partir d’une image d’entrée et un âge cible, dans lequel la nouvelle image est générée.According to one embodiment, there is provided a computing device comprising a processing unit and a storage device coupled thereto, the storage unit storing instructions which, when executed by the processing unit , configure the computing device to: provide a recommendation for at least one of a product and a service; and providing an age simulation image comprising a new image generated from an input image and a target age, in which the new image is generated.
Conformément à un mode de réalisation, la recommandation est générée en réponse à une analyse de peau de l’image d’entrée.According to one embodiment, the recommendation is generated in response to a skin analysis of the input image.
Conformément à un mode de réalisation, la recommandation est générée en réponse à une entrée d’utilisateur de préférences.According to one embodiment, the recommendation is generated in response to user input of preferences.
Conformément à un mode de réalisation, l’âge cible est déterminé en réponse à la recommandation.According to one embodiment, the target age is determined in response to the recommendation.
Conformément à un mode de réalisation, le dispositif informatique est configuré pour communiquer avec un service de commerce électronique pour la recommandation.According to one embodiment, the computing device is configured to communicate with an e-commerce service for the recommendation.
Conformément à un mode de réalisation, le dispositif informatique est configuré pour fournir une image annotée générée à partir de l’image d’entrée pour présenter la recommandation.According to one embodiment, the computing device is configured to provide an annotated image generated from the input image to present the recommendation.
Conformément à un mode de réalisation, le dispositif informatique est configuré pour fournir une interface de commerce électronique permettant d’acheter des produits, des services ou les deux.In accordance with one embodiment, the computing device is configured to provide an electronic commerce interface for purchasing products, services, or both.
Conformément à un mode de réalisation, le dispositif informatique comprend une caméra et l’unité de traitement reçoit l’image d’entrée de la caméra.According to one embodiment, the computing device includes a camera and the processing unit receives the input image from the camera.
Conformément à un mode de réalisation, le produit comprend l’un d’un produit de rajeunissement, d’un produit anti-âge, et d’un produit de maquillage cosmétique ; et dans lequel le service comprend l’un d’un service de rajeunissement, d’un service anti-âge, et d’un service cosmétique.According to one embodiment, the product comprises one of a rejuvenation product, an anti-aging product, and a cosmetic makeup product; and wherein the service includes one of a rejuvenation service, an anti-aging service, and a cosmetic service.
[Figs. 2A, 2B, 2C, 2D, 2E, 2F] Les figures 2A, 2B, 2C, 2D, 2E et 2F sont des tableaux d’images montrant des images d’entrée avec des résultats de deux modèles conformément aux modes de réalisation respectifs de la présente invention et des résultats d’un modèle conformément à l’état de la technique pour six exemples montrant plus de détails de vieillissement et un préservation d’identité dans les résultats des deux modèles conformément aux modes de réalisation respectifs de la présente invention.[Figs. 2A, 2B, 2C, 2D, 2E, 2F] Figures 2A, 2B, 2C, 2D, 2E and 2F are image tables showing input images with results of two models according to respective embodiments of the present invention and model results according to the prior art for six examples showing more aging detail and identity preservation in the results of the two models according to respective embodiments of the present invention.
[Figs. 3A, 3B, 3C, 3D ] Les figures 3A, 3B, 3C et 3D sont des tableaux d’images montrant des images d’entrée avec des résultats d’un modèle conformément à un mode de réalisation de la présente invention et des résultats de trois modèles conformément à l’état de la technique pour quatre exemples.[Figs. 3A, 3B, 3C, 3D] Figures 3A, 3B, 3C and 3D are image tables showing input images with results of a model according to one embodiment of the present invention and results of three models according to the state of the art for four examples.
[Figs. 5A, 5B] Les figures 5A et 5B sont des tableaux d’images montrant des images d’entrée avec des résultats d’un modèle conformément à un mode de réalisation de la présente invention et des résultats d’un modèle conformément à l’état de la technique pour deux exemples montrant un vieillissement continu sur des écarts d’âge de 4 ans à partir de l’âge de 21 ans.[Figs. 5A, 5B] Figures 5A and 5B are image tables showing input images with results of a model according to one embodiment of the present invention and results of a model according to the state of the technique for two examples showing continuous aging over 4-year age gaps starting at age 21.
[Fig. 6A, 6B] Les figures 6A et 6B montrent des matrices de confusion de vieillissement continu comparant des résultants d’un modèle conformément à un mode de réalisation de la présente invention et des résultats d’un modèle conformément à l’état de la technique ;[Fig. 6A, 6B] Figures 6A and 6B show confounding matrices of continuous aging comparing results of a model according to an embodiment of the present invention and results of a model according to the state of the art;
Claims (7)
la fourniture d’un modèle unifié de simulation d’âge pour générer, à partir d’une image d’entrée d’un sujet, une nouvelle image à un âge cible pour le sujet ;
dans lequel le modèle unifié de simulation d’âge fournit une pluralité d’incorporations d’âge estimé par le modèle respectives à chacun d’une pluralité d’âges continus représentant des informations de vieillissement continu, les incorporations d’âge estimé par le modèle étant apprises par l’entraînement conjoint d’un générateur et d’un estimateur d’âge incorporé dans une architecture d’encodeur-décodeur du modèle, l’estimateur d’âge étant configuré pour déterminer des âges estimés par le modèle de sujets à partir de caractéristiques générées par encodeur respectives en réponse à des images d’entrée respectives ; et
dans lequel le générateur génère la nouvelle image en utilisant les caractéristiques générées par encodeur à partir de l’image d’entrée telle que transformée par les incorporations d’âge estimé par le modèle respectives déterminées conformément à l’âge cible et un âge estimé par le modèle du sujet.Process for processing image(s) comprising:
providing a unified age simulation model to generate, from an input image of a subject, a new image at a target age for the subject;
wherein the unified age simulation model provides a plurality of model-estimated age incorporations respective to each of a plurality of continuous ages representing continuous aging information, the model-estimated age incorporations being learned by the joint training of a generator and an age estimator incorporated in an encoder-decoder architecture of the model, the age estimator being configured to determine ages estimated by the model of subjects to from respective encoder-generated features in response to respective input images; and
wherein the generator generates the new image using the encoder-generated features from the input image as transformed by the respective model-estimated age incorporations determined in accordance with the target age and an age-estimated by the model of the subject.
des incorporations respectives des incorporations d’âge estimé par le modèle déterminées conformément à l’âge estimé par le modèle ; et
les incorporations respectives des incorporations d’âge estimé par le modèle déterminées conformément à l’âge cible.A method according to claim 1, wherein the encoder-generated features are transformed by custom age embeddings comprising:
respective incorporations of the model-estimated age incorporations determined in accordance with the model-estimated age; and
the respective incorporations of the age incorporations estimated by the model determined in accordance with the target age.
des incorporations d’âge résiduelles personnalisées déterminées à partir de la pluralité d’incorporations d’âge estimé par le modèle en réponse à l’âge estimé par le modèle pour préserver des informations d’identité du sujet ; et
des incorporations d’âge exemplaires comprenant les incorporations d’âge respectives des incorporations d’âge estimé par le modèle, déterminées conformément à l’âge cible pour représenter des schémas de vieillissement partagés parmi une population entière.A method according to claim 1, wherein the personalized age incorporations comprise:
personalized residual age embeddings determined from the plurality of age embeddings estimated by the model in response to the age estimated by the model to preserve identity information of the subject; and
exemplary age incorporations comprising the respective age incorporations of the age incorporations estimated by the model, determined according to the target age to represent shared aging patterns among an entire population.
la fourniture d’un modèle unifié pour générer, à partir d’une image d’entrée d’un sujet, une nouvelle image à une classe cible d’un effet continu pour le sujet ;
dans lequel le modèle fournit une pluralité d’incorporations de classe estimée par le modèle respectives à chacune d’une pluralité de classes continues représentant des informations d’effet continu, les incorporations de classe estimée par le modèle étant apprises par l’entraînement conjoint d’un générateur et d’un estimateur de classe incorporé dans une architecture d’encodeur-décodeur du modèle, l’estimateur de classe étant configuré pour déterminer des classes estimées par le modèle de sujets respectifs à partir de caractéristiques générées par encodeur respectives en réponse à des images d’entrée respectives ; et
dans lequel le générateur génère la nouvelle image en utilisant les caractéristiques générées par encodeur à partir de l’image d’entrée telle que transformée par des incorporations respectives des incorporations de classe estimée par le modèle déterminées conformément à la classe cible et une classe estimée par le modèle du sujet.Process for processing image(s) comprising:
providing a unified model for generating, from an input image of a subject, a new image to a target class of a continuous effect for the subject;
wherein the model provides a plurality of model-estimated class embeddings respective to each of a plurality of continuous classes representing continuous effect information, the model-estimated class embeddings being learned by joint training of a generator and a class estimator incorporated into an encoder-decoder architecture of the model, the class estimator being configured to determine model-estimated classes of respective subjects from respective encoder-generated features in response to respective input images; and
wherein the generator generates the new image using the encoder-generated features from the input image as transformed by respective model-estimated class embeds determined in accordance with the target class and a class-estimated class the model of the subject.
fournir une recommandation pour au moins un produit ou un service ; et
fournir une image de simulation d’âge comprenant une nouvelle image générée à partir d’une image d’entrée et d’un âge cible, dans lequel la nouvelle image est générée conformément à l’une quelconque des revendications de procédé précédentes.A computing device comprising a processing unit and a storage device coupled thereto, the storage unit storing instructions which, when executed by the processing unit, configure the computing device to:
provide a recommendation for at least one product or service; and
providing an age simulation image comprising a new image generated from an input image and a target age, wherein the new image is generated in accordance with any preceding method claim.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023538981A JP2024502777A (en) | 2020-12-23 | 2021-12-21 | Applying continuous effects with model estimated class embeddings |
| KR1020237021110A KR20230110588A (en) | 2020-12-23 | 2021-12-21 | Application of continuous effects via model-estimated class embeddings |
| EP21844280.4A EP4256535A1 (en) | 2020-12-23 | 2021-12-21 | Applying a continuous effect via model-estimated class embeddings |
| PCT/EP2021/087150 WO2022136471A1 (en) | 2020-12-23 | 2021-12-21 | Applying a continuous effect via model-estimated class embeddings |
| US17/558,955 US20220198830A1 (en) | 2020-12-23 | 2021-12-22 | Applying a continuous effect via model-estimated class embeddings |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063129794P | 2020-12-23 | 2020-12-23 | |
| USUS63/129,794 | 2020-12-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3118241A1 true FR3118241A1 (en) | 2022-06-24 |
Family
ID=82060208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2105404A Pending FR3118241A1 (en) | 2020-12-23 | 2021-05-25 | APPLYING A CONTINUOUS EFFECT VIA MODEL-ESTIMATED CLASS INCORPORATIONS |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116848560A (en) |
| FR (1) | FR3118241A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018222808A1 (en) * | 2017-05-31 | 2018-12-06 | The Procter & Gamble Company | Systems and methods for determining apparent skin age |
-
2021
- 2021-05-25 FR FR2105404A patent/FR3118241A1/en active Pending
- 2021-12-21 CN CN202180086978.2A patent/CN116848560A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018222808A1 (en) * | 2017-05-31 | 2018-12-06 | The Procter & Gamble Company | Systems and methods for determining apparent skin age |
Non-Patent Citations (48)
| Title |
|---|
| ANDREAS LANITISCHRISTOPHER J. TAYLORTIMOTHY F. COOTES: "Toward automatic simulation of aging effects on face images", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 24, no. 4, 2002, pages 442 - 455 |
| AUGUSTUS ODENACHRISTOPHER OLAHJONATHON SHLENS: "Conditional image synthesis with auxiliary classifier gans", INTERNATIONAL CONFÉRENCE ON MACHINE LEARNING, 2017, pages 2642 - 2651 |
| BERNARD TIDDEMANMICHAEL BURTDAVID PERRETT: "Prototyping and transforming facial textures for perception research", IEEE COMPUTER GRAPHIES AND APPLICATIONS, vol. 21, no. 5, 2001, pages 42 - 50 |
| BOR-CHUN CHENCHU-SONG CHENWINSTON H HSU: "European conférence on computer vision", 2014, SPRINGER, article "Cross-age reference coding for age-invariant face récognition and retrieval", pages: 768 - 783 |
| D MICHAEL BURTDAVID I PERRETT: "Perception of age in adult caucasian maie faces: Computer graphie manipulation of shape and colour information", PROCEEDINGS OF THE ROYAL SOCIETY OF LONDON. SERIES B: BIOLOGICAL SCIENCES, vol. 259, no. 1355, 1995, pages 137 - 143 |
| DUNCAN A ROWLANDDAVID I PERRETT: "Manipulating facial appearance through shape and color", IEEE COMPUTER GRAPHIES AND APPLICATIONS, vol. 15, no. 5, 1995, pages 70 - 76, XP000936434, DOI: 10.1109/38.403830 |
| GRIGORY ANTIPOVMOEZ BACCOUCHEJEAN-LUC DUGELAY: "2017 IEEE international conférence on image processing", 2017, IEEE, article "Face aging with conditional generative adversarial networks", pages: 2089 - 2093 |
| HARM DE VRIESFLORIAN STRUBJEREMIE MARYHUGO LAROCHELLEOLIVIER PIETQUINAARON C COURVILLE: "Advances in Neural Information Processing Systems", vol. 30, 2017, CURRAN ASSOCIATES, INC., article "Modulating early visual processing by language", pages: 6594 - 6604 |
| HONGYU PANHU HANSHIGUANG SHANXILIN CHEN: "Mean-variance loss for deep age estimation from a face", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2018, pages 5285 - 5294, XP033473441, DOI: 10.1109/CVPR.2018.00554 |
| HONGYU YANGDI HUANGYUNHONG WANGANIL K JAIN: "Learning face age progression: A pyramid architecture of gans", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2018, pages 31 - 39, XP033475962, DOI: 10.1109/CVPR.2018.00011 |
| HONGYU YANGDI HUANGYUNHONG WANGHENG WANGYUANYAN TANG: "Face aging effect simulation using hidden factor analysis joint sparse représentation", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 25, no. 6, 2016, pages 2493 - 2507, XP011606259, DOI: 10.1109/TIP.2016.2547587 |
| IAN J GOODFELLOWJEAN POUGET-ABADIEMEHDI MIRZABING XUDAVID WARDE-FARLEYSHERJIL OZAIRAARON COURVILLEYOSHUA BENGIO: "Generative adversarial networks", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, vol. 3, no. 06, 2014 |
| IRA KEMELMACHER-SHLIZERMANSUPASORN SUWAJANAKORNSTEVEN M SEITZ: "Illumination-aware age progression", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2014, pages 3334 - 3341, XP032649608, DOI: 10.1109/CVPR.2014.426 |
| JAMES T TODDLÉONARD S MARKROBERT E SHAWJOHN B PITTENGER: "The perception of human growth", SCIENTIFIC AMERICAN, vol. 242, no. 2, 1980, pages 132 - 145 |
| JINLI SUOFENG MINSONGCHUN ZHUSHIGUANG SHANXILIN CHEN: "2007 IEEE Conférence on Computer Vision and Pattern Récognition", 2007, IEEE, article "A multi-resolution dynamic model for face aging simulation", pages: 1 - 8 |
| JINLI SUOSONG-CHUN ZHUSHIGUANG SHANXILIN CHEN: "A compositional and dynamic model for face aging", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 32, no. 3, 2009, pages 385 - 401, XP011280708, DOI: 10.1109/TPAMI.2009.39 |
| JINLI SUOXILIN CHENSHIGUANG SHANWEN GAOQIONGHAI DAI: "A concate-national graph évolution aging model", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 34, no. 11, 2012, pages 2083 - 2096 |
| JUN-YAN ZHUTAESUNG PARKPHILLIP ISOLAALEXEI A EFROS: "Unpaired image-to-image translation using cycleconsistent adversarial networks", PROCEEDINGS OF THE IEEE INTERNATIONAL CONFÉRENCE ON COMPUTER VISION, 2017, pages 2223 - 2232 |
| KARL RICANEKTAMIRAT TESAFAYE: "7th International Conférence on Automatic Face and Gesture Récognition", 2006, IEEE, article "Morph: A longitudinal image database of normal adult age-progression", pages: 341 - 345 |
| LAURENCE BOISSIEUXGERGO KISSNADIA MAGNENAT THALMANNPREM KALRA: "Computer Animation and Simulation 2000", 2000, SPRINGER, article "Simulation of skin aging and wrinkles with cosmetics insight", pages: 15 - 27 |
| MARTIN HEUSELHUBERT RAMSAUERTHOMAS UNTERTHINERBERNHARD NESSLERSEPP HOCHREITER: "Gans trained by a two time-scale update rule converge to a local nash equilibrium", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 2017, pages 6626 - 6637 |
| MEHDI MIRZA AND SIMON OSINDERO: "Conditional generative adversarial nets", ARXIV:1411.1784, 2014 |
| MING LIUYUKANG DINGMIN XIAXIAO LIUERRUI DINGWANGMENG ZUOSHILEI WEN: "Stgan: A unified selective transfer network for arbitrary image attribute editing", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RE-COGNITION, 2019, pages 3673 - 3682 |
| NARAYANAN RAMANATHANRAMA CHELLAPPA: "2006 IEEE Computer Society Conférence on Computer Vision and Pattern Récognition (CVPR'06", vol. 1, 2006, IEEE, article "Modeling age progression in young faces", pages: 387 - 394 |
| NARAYANAN RAMANATHANRAMA CHELLAPPA: "2008 8th IEEE International Conférence on Automatic Face & Gesture Récognition", 2008, IEEE, article "Modeling shape and textural variations in aging faces", pages: 1 - 8 |
| PEIPEI LIYIBO HUQI LIRAN HEZHENAN SUN: "2018 24th International Conférence on Pattern Récognition", 2018, IEEE, article "Global and local consistent age generative adversarial networks", pages: 1073 - 1078 |
| PHILLIP ISOLAJUN-YAN ZHUTINGHUI ZHOUALEXEI A EFROS: "Image-to-image translation with conditional adversarial networks", CVPR, 2017 |
| RASMUS ROTHERADU TIMOFTELUC VAN GOOL: "Dex: Deep expectation of apparent age from a single image", PROCEEDINGS OF THE IEEE INTERNATIONAL CONFÉRENCE ON COMPUTER VISION WORKSHOPS, 2015, pages 10 - 15 |
| ROY OR-ELSOUMYADIP SENGUPTAOHAD FRIEDELI SHECHTMANIRA KEMELMACHER-SHLIZERMAN: "Lifespan age transformation synthesis", PROCEEDINGS OF THE EUROPEAN CONFÉRENCE ON COMPUTER VISION, 2020 |
| SI LIUYAO SUNDEFA ZHURENDA BAOWEI WANGXIANGBO SHUSHUICHENG YAN: "Face aging with contextual generative adversarial nets", PROCEEDINGS OF THE 25TH ACM INTERNATIONAL CONFÉRENCE ON MULTIMEDIA, 2017, pages 82 - 90 |
| TAESUNG PARK, MING-YU LIU, TING-CHUN WANG, AND JUN-YAN ZHU: "semantic image synthesis with spatially adaptive normalization", ACM SIGGRAPH 2019 REAL-TIME LIVE!, 2019 |
| TERO KARRASSAMULI LAINETIMO AILA: "A style-based generator architecture for generative adversarial networks", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2019, pages 4401 - 4410 |
| WEI WANGYAN YANSTEFAN WINKLERNICU SEBE: "Category specific dictionary learning for attribute specific feature selection", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 25, no. 3, 2016, pages 1465 - 1478, XP011599125, DOI: 10.1109/TIP.2016.2523340 |
| WEI WANGZHEN CUIYAN YANJIASHI FENGSHUICHENG YANXIANGBO SHUNICU SEBE: "Récurrent face aging", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2016, pages 2378 - 2386, XP033021417, DOI: 10.1109/CVPR.2016.261 |
| XIANGBO SHUJINHUI TANGHANJIANG LAILUOQI LIUSHUICHENG YAN: "Per-sonalized age progression with aging dictionary", PROCEEDINGS OF THE IEEE INTERNATIONAL CONFÉRENCE ON COMPUTER VISION, 2015, pages 3970 - 3978 |
| XU YAOGILLES PUYALASDAIR NEWSONYANN GOUSSEAUPIERRE HELLIER: "High resolution face age editing", ARXIV:2005.04410, 2020 |
| XUN HUANGSERGE BELONGIE: "Arbitrary style transfer in real-time with adaptive instance normalization", ICCV, 2017 |
| YIN WUNADIA MAGNENAT THALMANNDANIEL THALMANN: "Fundamentals of Computer Graphics", 1994, WORLD SCIENTIFIC, article "A plastic - visco-elastic model for wrinkles in facial animation and skin aging", pages: 201 - 213 |
| YOSUKE BANDOTAKAAKI KURATATETOMOYUKI NISHITA: "Pacific Conférence on Computer Graphics and Applications", 2002, CITESEER, article "A simple method for modeling wrinkles on human skin", pages: 166 - 175 |
| YUJUN SHENJINJIN GUXIAOOU TANGBOLEI ZHOU: "Interpreting the latent space of gans for semantic face editing", PROCEEDINGS OF THE IEEE/CVF CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2020, pages 9243 - 9252 |
| YUNFAN LIUQI LIZHENAN SUN: "Attribute-aware face aging with wavelet-based generative adversarial networks", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2019, pages 11877 - 11886 |
| YUNJEY CHOIMINJE CHOIMUNYOUNG KIMJUNG-WOO HASUNGHUN KIMJAEGUL CHOO: "Stargan: Unified generative adversarial networks for multi-domain image-to-image translation", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2018, pages 8789 - 8797, XP033473803, DOI: 10.1109/CVPR.2018.00916 |
| YUNJEY CHOIYOUNGJUNG UHJAEJUN YOOJUNG-WOO HA: "Stargan v2: Diverse image synthesis for multiple domains", PROCEEDINGS OF THE IEEE/CVF CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2020, pages 8188 - 8197 |
| ZEQI LI ET AL: "Continuous Face Aging via Self-estimated Residual Age Embedding", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 30 April 2021 (2021-04-30), XP081946655 * |
| ZHENLIANG HEMEINA KANSHIGUANG SHANXILIN CHEN: "S2gan: Share aging factors across ages and share aging trends among individuals", PROCEEDINGS OF THE IEEE INTERNATIONAL CONFÉRENCE ON COMPUTER VISION, 2019, pages 9440 - 9449 |
| ZHENLIANG HEWANGMENG ZUOMEINA KANSHIGUANG SHANXILIN CHEN.: "Attgan: Facial attribute editing by only changing what you want", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 28, no. 11, 2019, pages 5464 - 5478, XP011741889, DOI: 10.1109/TIP.2019.2916751 |
| ZHIFEI ZHANGYANG SONGHAIRONG QI: "Age progression/regression by conditional adversarial autoencoder", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2017, pages 5810 - 5818 |
| ZONGWEI WANGXU TANGWEIXIN LUOSHENGHUA GAO: "Face aging with identity-preserved conditional generative adversarial networks", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2018, pages 7939 - 7947, XP033473715, DOI: 10.1109/CVPR.2018.00828 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116848560A (en) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949655B2 (en) | Emotion recognition in video conferencing | |
| US11922356B1 (en) | Emotion recognition for workforce analytics | |
| JP7140848B2 (en) | System and method for hair coverage analysis | |
| KR102619221B1 (en) | Machine-implemented facial health and beauty aids | |
| US10916001B2 (en) | Facilitating sketch to painting transformations | |
| US20170270593A1 (en) | Systems and Methods For Providing Customized Product Recommendations | |
| US20210209427A1 (en) | Machine-implemented facial health and beauty assistant | |
| US10943156B2 (en) | Machine-implemented facial health and beauty assistant | |
| CN108846792B (en) | Image processing method, image processing device, electronic equipment and computer readable medium | |
| EP2450852A1 (en) | Method and device for virtual simulation of an image | |
| Peng et al. | DiffFaceSketch: high-fidelity face image synthesis with sketch-guided latent diffusion model | |
| FR3118241A1 (en) | APPLYING A CONTINUOUS EFFECT VIA MODEL-ESTIMATED CLASS INCORPORATIONS | |
| WO2022002964A1 (en) | High-resolution controllable face aging with spatially-aware conditional gans | |
| WO2021245273A1 (en) | Method and device for three-dimensional reconstruction of a face with toothed portion from a single image | |
| Peruzzo et al. | Interactive Neural Painting | |
| WO2023032224A1 (en) | Image processing device, training device, image processing method, training method, image processing program, and training program | |
| WO2023194466A1 (en) | Method for recommending cosmetic products using a knn algorithm | |
| JP2012510837A (en) | How to evaluate and select consumer products | |
| FR3133261A1 (en) | Styling Test with Reverse GANs | |
| Kips | Neural rendering for improved cosmetics virtual try-on | |
| FR3138548A1 (en) | METHODS AND APPARATUS FOR DETERMINING AND USING CONTROLABLE DIRECTIONS OF GAN SPACE | |
| KR20230118191A (en) | digital makeup artist | |
| FR3112633A1 (en) | High-resolution controllable facial aging with spatially sensitive conditional GANs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20220624 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |