FR3132583A1

FR3132583A1 - Création perfectionnée d’un avatar

Info

Publication number: FR3132583A1
Application number: FR2201154A
Authority: FR
Inventors: Guillaume Bataille
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2022-02-10
Filing date: 2022-02-10
Publication date: 2023-08-11
Also published as: WO2023152153A1

Abstract

Titre : Création perfectionnée d’un avatar La description propose un procédé de création d’un avatar d’un utilisateur, comprenant :- Obtenir (S1) au moins des données d’image de l’utilisateur et traiter (S2) lesdites données pour déterminer des paramètres morphologiques propres à l’utilisateur, et- Appliquer (S3) les paramètres morphologiques propres à l’utilisateur à un modèle d’avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l’utilisateur. Figure de l’abrégé : Figure 1

Description

Création perfectionnée d’un avatar

La présente description concerne la création d’un avatar d’une personne physique, selon des attributs propres à cette personne.

Un avatar peut intervenir pour représenter virtuellement la personne physique dans des applications informatiques, par exemple de messagerie, ou encore dans des jeux en ligne, ou plus généralement dans un environnement virtuel ou « métaverse ».

Les techniques actuelles de création d'un avatar d’un utilisateur de telles applications font appel :
- soit à une reconstruction dite « dense » de l'apparence de l’utilisateur via une ou plusieurs caméras (par exemple des caméras couleurs de type « RGB ») et/ou une caméra infrarouge, de profondeur, et ce à l'aide d'un dispositif physique (A),
- soit à une création d'un avatar paramétrique, qui permet à l'utilisateur de paramétrer l'apparence de son avatar à l'aide de modèles prédéfinis en cliquant sur des icônes dédiées (par exemple de type « sliders ») pour choisir sa coiffure, la couleur de ses cheveux, sa taille, la couleur de sa peau, de ses yeux, etc., et ce à l'aide d'une application informatique (B).

Or, la reconstruction dense donne un avatar non personnalisable et nécessite un très grand volume de données. Par exemple, la couleur des cheveux, des yeux, de la peau, etc., n’est pas modifiable. Par ailleurs, un avatar trop réaliste n’est pas toujours bien accueilli par les utilisateurs, lesquels trouvent choquante leur représentation virtuelle, car, bien que très proche, elle n’est pas absolument parfaite (selon la théorie de la « vallée de l’étrange » initiée notamment par Masahiro Mori).

La création d'un avatar paramétrique, quant à elle, n'est pas réaliste car elle ne correspond pas aux mensurations réelles de l'utilisateur et ne peut pas reproduire fidèlement ses traits, mais elle est légère en ressources et donc beaucoup plus adaptée aux applications virtuelles de téléprésence. Les avatars paramétriques ne proposent pas de tenir compte des traits réels de l’utilisateur. Il est proposé à l’utilisateur des traits prédéfinis, typiques de personnages de bande dessinée, auxquels l’utilisateur ajoute des couleurs d’yeux, cheveux, lunettes, barbe, etc., personnalisés. Le résultat reste « cartoonisé » (dans le sens d’une apparence proche d’un personnage de bande dessinée), malgré quelques attributs choisis par l’utilisateur.

La présente description vient améliorer cette situation.

Elle propose à cet effet un procédé de création d’un avatar d’un utilisateur, comprenant :
- Obtenir au moins des données d’image de l’utilisateur et traiter lesdites données pour déterminer des paramètres morphologiques propres à l’utilisateur, et
- Appliquer les paramètres morphologiques propres à l’utilisateur à un modèle d’avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l’utilisateur.

Ainsi, par la mise en œuvre du procédé ci-avant, il est possible d’obtenir un avatar paramétrique, donc modifiable par l’utilisateur selon ses propres choix ou besoins, mais néanmoins cet avatar initial est réaliste car personnalisé grâce aux données d’image de l’utilisateur.

Les paramètres morphologiques précités de l’utilisateur peuvent être typiquement la forme et la disposition dans le visage d’éléments tels que le nez, les yeux, la bouche, etc., ou encore les dimensions (relatives ou absolues) des segments des membres comme les avant-bras, les jambes, etc. ou encore la couleur de peau, de cheveux, de barbe éventuellement, etc.

Ils peuvent être identifiés dans les données d’image par la mise en œuvre d’une intelligence artificielle et/ou d’applications de colorimétrie et de photogrammétrie.

Par exemple, les données d’image peuvent être acquises par une pluralité de caméras pour construire par stéréoscopie un modèle 3D de l’utilisateur.

En complément ou en variante, les données d’image peuvent être acquises en outre par au moins une caméra infrarouge pour acquérir au moins des données de profondeur d’image de l’utilisateur et construire un modèle 3D de l’utilisateur.

Dans une réalisation, le procédé peut comporter :
- Déterminer à partir desdites données d’image au moins des mensurations relatives de l’utilisateur, par photogrammétrie, et évaluer des paramètres morphologiques caractéristiques de l’utilisateur.

Ces mensurations relatives peuvent être par exemple l’écart des yeux relativement à la largeur du visage, ou encore la hauteur du nez par rapport à la hauteur totale du visage, ou encore l’épatement du nez par rapport à la largeur du visage, ou encore la longueur de l’avant-bras par rapport à la longueur totale du bras, etc.

Ces mensurations sont relatives, mais il est possible de mesurer et paramétrer des dimensions absolues. Par exemple, les données d’image peuvent comporter en outre des données d’une mire de dimension connue (par exemple dans le champ des images prises de l’utilisateur) pour déterminer des mensurations absolues de l’utilisateur.

Le procédé peut comporter en outre :
- Déterminer par colorimétrie et à partir desdites données d’image, au moins des couleurs de peau et/ou cheveux de l’utilisateur.

Ainsi, l’avatar réaliste, construit initialement, peut présenter une couleur fidèle des cheveux et/ou de la peau et/ou d’une barbe éventuelle, etc., de l’utilisateur.

En complément ou en variante de l’utilisation d’applications de colorimétrie et/ou de photogrammétrie, le procédé peut prévoir de mettre en œuvre une intelligence artificielle pour identifier, à partir desdites données d’image, des parties distinctes du corps de l’utilisateur, et pour paramétrer lesdites parties distinctes du corps.

Par exemple, l’intelligence artificielle précitée peut déterminer une couleur, une longueur, etc. de ces différentes parties du corps en leur associer un identifiant (par traitement de « labellisation » des différentes parties du corps). Cet identifiant est alors reconnu par une application de création d’un avatar paramétrique qui reçoit ces données.

Dans un mode de réalisation, une application de création d’un avatar paramétrique peut être programmée pour admettre comme paramètres d’entrée au moins :
- des formes et dimensions d’éléments du visage de l’utilisateur,
- des couleurs au moins de peau et/ou de cheveux de l’utilisateur,
- des dimensions de segments des membres de l’utilisateur.

Des exemples d’une telle application de création d’avatar paramétrique sont donnés plus loin. Il est cité ici simplement à titre d’exemple non limitatif l’application « Make Human Project ».

Grâce à l’exploitation de ces données paramétrées, propres à l’utilisateur, l’avatar paramétrique créé est réaliste. Néanmoins, comme il est paramétrique, il est modifiable à souhait par l’utilisateur par exemple.

Ainsi, dans une réalisation, le procédé peut comporter en outre :
- modifier, sur requête de l’utilisateur, l’avatar paramétrique personnalisé de l’utilisateur.

Par exemple, l’utilisateur peut choisir de changer une couleur de cheveux, une couleur d’yeux, une couleur de peau, un type d’habillement, ou autres.

En complément ou en variante, le procédé peut comporter en outre, pendant l’exécution d’une application dans laquelle intervient l’avatar :
- modifier, sur réception d’une commande issue de l’application, l’avatar paramétrique personnalisé de l’utilisateur.

Dans cette réalisation, par exemple au fur et à mesure de l’exécution de l’application (par exemple un jeu en ligne), l’avatar peut être modifié automatiquement par l’application (par exemple en faisant grandir et épaissir l’avatar au fur et à mesure que l’utilisateur remporte des manches du jeu).

Dans une réalisation, outre les données d’image, des données vocales de l’utilisateur sont acquises pour accompagner une apparence physique de l’avatar personnalisé de l’utilisateur, d’une expression vocale réaliste de l’utilisateur.

Ainsi, dans une telle réalisation, l’avatar créé est fidèle tant sur l’apparence physique que par la voix donnée à l’avatar. Néanmoins, comme l’avatar est paramétrique, l’utilisateur peut choisir de lui attribuer une voix modifiée (plus grave par exemple, ou autre).

Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre du procédé tel que défini précédemment lorsque ces instructions sont exécutées par un processeur d’un circuit de traitement. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.

Selon un autre aspect, il est proposé un dispositif informatique comportant un circuit de traitement configuré pour mettre en œuvre le procédé présenté ci-dessus.

D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :

La illustre l’estimation d'un avatar paramétrique le plus réaliste possible d'après un modèle photoréaliste dense d’un l'utilisateur,

La illustre un mode de réalisation possible consistant en la création d'avatars multiples personnalisés, à partir de l'avatar paramétrique le plus réaliste possible,

La illustre un exemple de dispositif pour la mise en œuvre du procédé ci-avant.

L'objet de la présente description permet de créer un avatar utilisateur en combinant une application de création d'avatar paramétrique, à une capture dense de l'apparence réelle de l'utilisateur.

En référence à la , dans une première étape S1, l'utilisateur US se positionne devant un dispositif A de création de son avatar dense, par exemple une ou plusieurs caméras CAM ou encore une caméra infrarouge de profondeur.

Les caméras précitées CAM peuvent former un ensemble dit « rig » de caméras (avec une cinquantaine de caméras par exemple) enveloppant en un demi-cylindre ou en un cylindre l’utilisateur pour acquérir un modèle 3D du corps complet de l’utilisateur, par stéréoscopie. La caméra infrarouge de profondeur, précitée, peut donner, en alternative ou en complément, des informations 3D par projection par exemple d’une grille infrarouge avec détection de temps d’aller/retour des rayons en chaque point du corps de l’utilisateur. Un modèle de caméra infrarouge de ce type est connu sous le nom de « Kinect » ®.

Dans une deuxième étape S2, un circuit de traitement informatique (du type illustré sur la à titre d’exemple) est relié au dispositif A pour créer alors un « avatar photoréaliste » : de la même taille et ayant de mêmes proportions que l'utilisateur. On entend ici par « avatar photoréaliste » un modèle 3D de l’utilisateur particulièrement réaliste, qui peut consister a minima en un ensemble de données stockées en mémoire, ces données déterminant :
- La couleur de peau, des yeux, des cheveux, de la barbe éventuelle, des sourcils, etc.
- La forme du visage : forme et hauteur du nez par rapport à la hauteur du visage, forme et écart des yeux par rapport à la largeur du visage, disposition et forme de la bouche, disposition et forme des oreilles, forme du menton, etc.
- La forme des membres : longueur relative des avant-bras par rapport aux bras, du tronc, des jambes, etc.
- La posture : courbure du dos, avancement du bassin, etc.

Bien entendu, les exemples de données ci-dessus ne sont pas exhaustifs. Par ailleurs, les dimensions des parties du corps peuvent être données relativement à une autre partie du corps ou être données dans l’absolu. Dans le deuxième cas, une mire de dimensions connues peut être placée avec l’utilisateur dans le champ de la ou des caméras CAM pour la mise en œuvre de la première étape d’acquisition d’image S1.

Par exemple, à cette étape S2, une intelligence artificielle AI peut intervenir pour :
- Identifier dans les images acquises les couleurs de peau, de cheveux etc., ainsi que les dimensions de parties du corps, et autres,
- Paramétrer ces informations identifiées sous la forme desdites données stockées,
- Et fournir à l’étape suivante S3 ces données PARAM à un modèle d’avatar paramétrique.

En effet, l’étape S3 consiste à paramétrer de la façon la plus réaliste possible la création de l'avatar de l'utilisateur avec une application paramétrique B en fonction de l'avatar photoréaliste obtenu à l’étape S2. A cette étape S3, les données ainsi paramétrées (par exemple par l’intelligence artificielle précitée) peuvent alors être fournies à une application B de création d’un avatar paramétrique. Cette application B présente l’avantage d’admettre un grand nombre de paramètres (autres que la simple couleur de peau ou des cheveux, ou la simple existence d’une barbe), de sorte que l’avatar paramétrique créé reste fidèle à la morphologie de l’utilisateur.

A titre d’exemple, une application B pour la création d'avatar générique avec une approche paramétrique peut être « Make Human Project » : http://www.makehumancommunity.org/ (en libre accès au code source), ou encore MB-Lab https://mblab.dev/ (plugin pour le modeleur « 3D Blender »). De tels exemples d’application offrent l’avantage d’être souples en programmation et notamment d’admettre un grand nombre de paramètres morphologiques de l’utilisateur.

A l’étape S3, l’applications B reçoit les données paramétrées morphologiques de l’utilisateur (longueur des membres, formes exactes du visage, couleurs de peau, de cheveux, etc.) et construit un avatar paramétrique respectant toutes les données morphologiques fournies.

Ainsi, l'utilisateur obtient un avatar paramétrique aussi réaliste que l'application B le permet en s'appuyant sur un premier avatar, dense, obtenu grâce au dispositif d’acquisition A. Cet avatar est notamment aux mensurations de l'utilisateur, relatives ou absolues, ce qui est appréciable en particulier pour des systèmes de téléprésence en réalité mixte.

En référence maintenant à la , l'utilisateur peut ensuite, à l’étape S4, modifier son avatar paramétrique réaliste en fonction de ses propres souhaits. Il peut l'habiller avec des vêtements virtuels, créer différents avatars en fonction de ses besoin et choix de représentation dans un métaverse. Il peut modifier son apparence, gommer ses défauts physiques, changer la couleur de ses yeux, de ses cheveux, de sa peau, ou autres. Plusieurs modifications possibles de son avatar réaliste peuvent être enregistrées de sorte que l’utilisateur dispose alors d’un ensemble d'avatars qu'il peut choisir d'utiliser en fonction de son contexte dans le métaverse (par exemple en costume pour un métaverse avec des clients, en tenue décontractée avec des amis, ou encore déguisé et transformé physiquement pour fêter Halloween, ou autres). Ainsi par exemple :
- un premier avatar AVAT1 peut convenir pour une première application APPLI1, par exemple de vidéoconférence virtuelle dans le cadre d’un entretien de travail,
- un deuxième avatar AVAT2 peut convenir pour une deuxième application APPLI2, par exemple de jeu en ligne,
- un troisième avatar AVAT3 peut convenir pour une troisième application APPLI3, par exemple de discussion sur un réseau social informel,
- etc.

Outre l’apparence physique, il peut être prévu une modification de la posture de l’individu, ou encore une modification de la manière dont l’utilisateur met son corps en mouvement (par exemple les mouvements des mains, sa démarche, etc.).

Par ailleurs, de manière avantageuse, l’application courante APPLIi (i=1, 2, ou 3) , peut, au fur et à mesure de son déroulement, modifier automatiquement l’avatar AVATi de l’utilisateur. Par exemple, l'apparence de l’avatar de l'utilisateur peut être de plus en plus réaliste pendant une vidéoconférence virtuelle dans le cadre d’un entretien de travail, si l'application détecte que l'humeur des participants caractérise un climat de confiance entre les intervenants pendant l'entretien. Dans le cadre d’une application de jeu, l'apparence de l’avatar de l'utilisateur peut être de plus en plus « musclée » au fur et à mesure que l’utilisateur gagne des manches du jeu par exemple. Cette étape de modification de l’avatar en fonction du déroulement de l’application est illustrée par la flèche S5 sur la .

En référence maintenant à la , un dispositif DIS pour la mise en œuvre du procédé ci-avant peut comporter un circuit de traitement comportant par exemple :
- Une interface d’entrée IN pour recevoir par exemple des données d’images acquises par une ou plusieurs caméras A,
- Une mémoire MEM pour stocker les instructions d’un programme informatique du type introduit ci-dessus, et éventuellement stocker au moins temporairement les données d’images acquises,
- Un processeur PROC apte à coopérer avec la mémoire MEM pour lire et exécuter les instructions d’un tel programme afin de piloter une application de création d’avatar paramétrique en lui fournissant des paramètres pertinents, issus des données d’image, et
- Une sortie OUT pour délivrer les données d’un avatar paramétrique réaliste, dans l’exemple illustré.

Le dispositif DIS peut être hébergé auprès d’un serveur, pour fournir, via un réseau de communication, une version d’avatar à un terminal distant à disposition de l’utilisateur. Eventuellement, l’utilisateur peut choisir en ligne une version de l’avatar selon son choix et ses besoins. Ce choix peut être reçu (par exemple « changer la couleur des yeux », etc.) par exemple via l’interface d’entrée IN du dispositif DIS.

Alternativement à l’utilisation d’une interface de sortie, la création de l’avatar peut être réalisée en local, avec simple stockage dans la mémoire MEM des données de l’avatar, par exemple dans un terminal à disposition de l’utilisateur.

Ainsi, l’objet de la présente description permet la création d'avatars paramétriques personnalisables à partir de l'apparence réelle de l'utilisateur. L'usage d'un avatar peut être extrêmement large, et correspond de plus en plus à un élément essentiel de la communication non verbale entre utilisateurs distants. L’objet de la présente description réduit considérablement le temps de création de l'avatar, permet d'obtenir un avatar paramétrique aux mensurations de l'utilisateur (ou éventuellement transformé selon le choix de l’utilisateur), de créer de multiples avatars en fonction des besoins/goûts/choix/préférences de l'utilisateur.

Néanmoins, outre la paramétrisation des données d’apparence physique de l’utilisateur, il est possible de paramétrer en outre sa voix, ainsi que son expression et son élocution. Par exemple, outre les données d’image acquises à l’étape S1, il est possible de faire lire un texte à l’utilisateur et d’enregistrer à l’aide d’un ou plusieurs microphones la voix de l’utilisateur. A l’aide d’une détection tonale et des formants dans la voix de l’utilisateur, il est possible alors de fournir en outre des données paramétrées de la voix de l’utilisateur (fréquence tonale moyenne, intensités respectives moyennes des formants, et/ou autres) à une application de création d’avatar paramétrique, sonore, à l’étape S2. A l’étape S4, l’utilisateur peut transformer légèrement sa voix, par exemple en la rendant plus grave en fréquence tonale, ou encore l’application courante APPLIi peut modifier la voix en la rendant plus grave par exemple au fur et à mesure que l’utilisateur gagne les manches d’un jeu. Plus généralement, outre la transformation de la voix, il est possible de faire parler l’avatar dans une autre langue, ou encore de modifier/corriger son expression orale avec des mots plus appropriés à un contexte par exemple.

De manière plus générale, la présente description ne se limite pas aux formes de réalisation décrites ci-avant à titre d’exemples. Elle s’étend à d’autres variantes.

Par exemple, on a décrit ci-avant une intelligence artificielle pour déterminer les différentes parties du corps et les paramétrer. Néanmoins, une application de photogrammétrie, combinée à une application de colorimétrie, peut permettre déjà de déterminer les paramètres morphologiques de l’utilisateur, en nombre suffisant pour renseigner une application de création d’avatar paramétrique capable de générer un avatar réaliste, et ce donc sans avoir recours nécessairement à une intelligence artificielle. Bien entendu, ces applications peuvent être programmées pour être compatibles avec les paramètres attendus par le modèle de création d’avatar paramétrique.

Claims

Procédé de création d’un avatar d’un utilisateur, comprenant :
- Obtenir (S1) au moins des données d’image de l’utilisateur et traiter (S2) lesdites données pour déterminer des paramètres morphologiques propres à l’utilisateur, et
- Appliquer (S3) les paramètres morphologiques propres à l’utilisateur à un modèle d’avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l’utilisateur.
Procédé la revendication 1, dans lequel les données d’image sont acquises par une pluralité de caméras (CAM-A) pour construire par stéréoscopie un modèle 3D de l’utilisateur.
Procédé selon l'une des revendications précédentes, dans lequel les données d’image sont acquises par au moins une caméra infrarouge pour acquérir au moins des données de profondeur d’image de l’utilisateur et construire un modèle 3D de l’utilisateur.
Procédé selon l'une des revendications précédentes, comportant :
- Déterminer à partir desdites données d’image au moins des mensurations relatives de l’utilisateur, par photogrammétrie, et évaluer des paramètres morphologiques caractéristiques de l’utilisateur.
Procédé selon la revendication 4, dans lequel les données d’image comportent en outre des données d’une mire de dimension connue pour déterminer des mensurations absolues de l’utilisateur.
Procédé selon l'une des revendications précédentes, comportant :
- Déterminer par colorimétrie et à partir desdites données d’image, au moins des couleurs de peau et/ou cheveux de l’utilisateur.
Procédé selon l'une des revendications précédentes, comportant :
- Mettre en œuvre une intelligence artificielle (AI) pour identifier, à partir desdites données d’image, des parties distinctes du corps de l’utilisateur, et pour paramétrer lesdites parties distinctes du corps.
Procédé selon l'une des revendications précédentes, dans lequel une application de création d’un avatar paramétrique est programmée pour admettre comme paramètres d’entrée au moins :
- des formes et dimensions d’éléments du visage de l’utilisateur,
- des couleurs au moins de peau et/ou de cheveux de l’utilisateur,
- des dimensions de segments des membres de l’utilisateur.
Procédé selon l'une des revendications précédentes, comportant en outre :
- modifier (S4), sur requête de l’utilisateur, l’avatar paramétrique personnalisé de l’utilisateur.
Procédé selon l'une des revendications précédentes, comportant en outre, pendant une exécution d’une application dans laquelle intervient l’avatar de l’utilisateur :
- modifier (S5), sur réception d’une commande issue de l’application, l’avatar paramétrique personnalisé de l’utilisateur.
Procédé l’une des revendications précédentes, dans lequel, outre les données d’image, des données vocales de l’utilisateur sont acquises pour accompagner une apparence physique de l’avatar personnalisé de l’utilisateur, d’une expression vocale réaliste de l’utilisateur.
Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsque lesdites instructions sont exécutées par un processeur (PROC) d’un circuit de traitement.
Dispositif informatique (DIS) comportant un circuit de traitement configuré pour mettre en œuvre le procédé selon l’une des revendications 1 à 11.