EP4476691A1 - Création perfectionnée d'un avatar - Google Patents

Création perfectionnée d'un avatar

Info

Publication number
EP4476691A1
EP4476691A1 EP23703231.3A EP23703231A EP4476691A1 EP 4476691 A1 EP4476691 A1 EP 4476691A1 EP 23703231 A EP23703231 A EP 23703231A EP 4476691 A1 EP4476691 A1 EP 4476691A1
Authority
EP
European Patent Office
Prior art keywords
user
avatar
parametric
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23703231.3A
Other languages
German (de)
English (en)
Inventor
Guillaume Bataille
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4476691A1 publication Critical patent/EP4476691A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • This description concerns the creation of an avatar of a natural person, according to attributes specific to this person.
  • An avatar can intervene to virtually represent the physical person in computer applications, for example messaging, or in online games, or more generally in a virtual environment or "metaverse".
  • the dense reconstruction gives a non-customizable avatar and requires a very large volume of data.
  • the color of hair, eyes, skin, etc. is not editable.
  • an overly realistic avatar is not always well received by users, who find their virtual representation shocking, because, although very close, it is not absolutely perfect (according to the "valley of strange" initiated in particular by Masahiro Mori).
  • Creating a parametric avatar is not realistic because it does not correspond to the actual measurements of the user and cannot faithfully reproduce their features, but it is light in resources and therefore much more suitable for users.
  • virtual telepresence applications Parametric avatars do not offer to take into account the actual traits of the user.
  • the user is offered predefined traits, typical of comic book characters, to which the user adds personalized eye colors, hair, glasses, beard, etc. The result remains "cartoonized” (in the sense of an appearance close to a cartoon character), despite some attributes chosen by the user.
  • a method for creating an avatar of a user comprising: - Obtaining at least image data from the user and processing said data to determine morphological parameters specific to the user, and - Apply the user's own morphological parameters to a parametric avatar model, to obtain a personalized parametric avatar of the user.
  • the value of at least one parameter of the avatar is personalized according to at least one morphological parameter among the morphological parameters specific to the user determined according to the image data of the user obtained by the method of avatar creation.
  • the aforementioned morphological parameters of the user can typically be the shape and arrangement in the face of elements such as the nose, the eyes, the mouth, etc., or even the dimensions (relative or absolute) of the segments of the limbs such as forearms, legs, etc. or the color of skin, hair, possibly beard, etc.
  • the method according to the invention makes it possible to create a personalized avatar more quickly because it does not require the complex and fine configuration implemented for the creation of an avatar by volumetric capture of the user.
  • the method according to the invention proposes modifying the morphological parameters of the avatar not by selecting values from a catalog but using morphological parameters of the user, which makes it possible to create a personalized parametric avatar morphologically conforming to the user.
  • the morphological conformity to the user of the parametric avatar created by the method according to the invention is at least partial (height and/or waist circumference and/or dimension of the hand, etc.).
  • a personalized parametric avatar morphologically conforming to the user allows the user to try out products in the virtual world prior to a purchase, see to their manufacture (furniture, car, clothing, house , apartment etc).
  • Another advantage of a personalized parametric avatar morphologically conforming to the user is that it allows interaction in augmented reality with real objects by limiting interaction errors since the avatar conforms to the morphology of the user .
  • a technical effect of this personalized configuration of the avatar as a function of the user's morphological parameter is that the parametric character of the avatar makes it possible to subsequently modify the avatar to create one or more different versions thereof.
  • the image data can be acquired by a plurality of cameras to construct a 3D model of the user by stereoscopy.
  • the image data may be further acquired by at least one infrared camera to acquire at least image depth data of the user and build a 3D model of the user.
  • the method may include: - Determining from said image data at least relative measurements of the user, by photogrammetry, and evaluating characteristic morphological parameters of the user.
  • These relative measurements can be, for example, the distance between the eyes relative to the width of the face, or the height of the nose relative to the total height of the face, or the flatness of the nose relative to the width of the face, or again the length of the forearm compared to the total length of the arm, etc.
  • the image data may further include data from a target of known size (for example in the field of images taken of the user) to determine absolute measurements of the user.
  • the method may further comprise: - Determine by colorimetry and from said image data, at least the colors of the user's skin and/or hair.
  • the realistic avatar constructed initially, can present a faithful color of the hair and/or of the skin and/or of a possible beard, etc., of the user.
  • the method may provide for the implementation of artificial intelligence to identify, from said image data, distinct parts of the body of the user, and to parameterize said distinct parts of the body.
  • the aforementioned artificial intelligence can determine a color, a length, etc. of these different parts of the body by associating an identifier with them (by “labeling” processing of the different parts of the body). This identifier is then recognized by an application for creating a parametric avatar which receives this data.
  • an application for creating a parametric avatar can be programmed to accept as input parameters at least: - the shapes and dimensions of elements of the user's face, - at least skin and/or hair colors of the user, - dimensions of segments of the members of the user.
  • the parametric avatar created is realistic. However, as it is parametric, it can be modified as desired by the user, for example.
  • the method may further comprise: - modify, on request of the user, the user's personalized parametric avatar.
  • the user can choose to change a hair color, an eye color, a skin color, a type of clothing, or others.
  • the method may further comprise, during the execution of an application in which the avatar intervenes: - modify, upon receipt of a command from the application, the personalized parametric avatar of the user.
  • the avatar can be modified automatically by the application (for example by making the avatar grow and thicken as the user wins rounds of the game).
  • voice data of the user is acquired to accompany a physical appearance of the user's personalized avatar, a realistic voice expression of the user.
  • the avatar created is faithful both in physical appearance and in the voice given to the avatar.
  • the user can choose to assign it a modified voice (lower pitch for example, or other).
  • a computer program comprising instructions for implementing the method as defined above when these instructions are executed by a processor of a processing circuit.
  • a non-transitory, computer-readable recording medium on which such a program is recorded.
  • a computer device comprising a processing circuit configured to implement the method presented above.
  • the object of the present description makes it possible to create a user avatar by combining a parametric avatar creation application, with a dense capture of the real appearance of the user.
  • a first step S1 the user US positions himself in front of a device A for creating his dense avatar, for example one or more CAM cameras or else an infrared depth camera.
  • the aforementioned CAM cameras can form a so-called "rig" set of cameras (with about fifty cameras for example) enveloping the user in a half-cylinder or in a cylinder to acquire a 3D model of the user's complete body, for stereoscopy.
  • the aforementioned depth infrared camera can give, as an alternative or in addition, 3D information by projection, for example, of an infrared grid with detection of the outward/return time of the rays at each point of the user's body.
  • a model of infrared camera of this type is known as "Kinect" ®.
  • a computer processing circuit (of the type illustrated in the by way of example) is connected to the device A to then create a “photorealistic avatar”: of the same size and having the same proportions as the user.
  • “photorealistic avatar” means a particularly realistic 3D model of the user, which can consist at least of a set of data stored in memory, this data determining: - The color of skin, eyes, hair, any beard, eyebrows, etc. - The shape of the face: shape and height of the nose in relation to the height of the face, shape and distance of the eyes in relation to the width of the face, arrangement and shape of the mouth, arrangement and shape of the ears, shape of the chin, etc. . - The shape of the limbs: relative length of the forearms in relation to the arms, of the trunk, of the legs, etc. - Posture: curvature of the back, advancement of the pelvis, etc.
  • the examples of data above are not exhaustive.
  • the dimensions of the parts of the body can be given relative to another part of the body or be given in absolute terms.
  • a pattern of known dimensions can be placed with the user in the field of the camera(s) CAM for the implementation of the first image acquisition step S1.
  • an artificial intelligence AI can intervene to: - Identify in the acquired images the colors of skin, hair etc., as well as the dimensions of parts of the body, and others, - Parameterize this information identified in the form of said stored data, - And provide in the next step S3 this PARAM data to a parametric avatar model.
  • step S3 consists in configuring the creation of the avatar of the user in the most realistic way possible with a parametric application B according to the photorealistic avatar obtained in step S2.
  • the data thus parameterized (for example by the aforementioned artificial intelligence) can then be provided to an application B for creating a parametric avatar.
  • This application B has the advantage of admitting a large number of parameters (other than the simple color of skin or hair, or the simple existence of a beard), so that the parametric avatar created remains faithful to the morphology of the user.
  • a B application for creating generic avatars with a parametric approach can be “Make Human Project”: http://www.makehumancommunity.org/ (free access to the source code), or even MB -Lab https://mblab.dev/ (plugin for the “3D Blender” modeler).
  • Such examples of application offer the advantage of being flexible in programming and in particular of admitting a large number of morphological parameters of the user.
  • the applications B receives the parametric morphological data of the user (length of the limbs, exact shapes of the face, colors of skin, hair, etc.) and builds a parametric avatar respecting all the morphological data provided .
  • the user obtains a parametric avatar as realistic as the application B allows by relying on a first avatar, dense, obtained thanks to the acquisition device A.
  • This avatar is in particular the measurements of the user, relating or absolute, which is appreciable in particular for telepresence systems in mixed reality.
  • step S4 modify his realistic parametric avatar according to his own wishes. He can dress it with virtual clothes, create different avatars according to his needs and choice of representation in a metaverse. He can modify his appearance, erase his physical defects, change the color of his eyes, his hair, his skin, or others. Several possible modifications of their realistic avatar can be saved so that the user then has a set of avatars that they can choose to use depending on their context in the metaverse (e.g. in costume for a metaverse with customers, in casual clothes with friends, or disguised and physically transformed to celebrate Halloween, or other).
  • a first AVAT1 avatar may be suitable for a first APPLI1 application, for example virtual videoconferencing as part of a job interview
  • a second AVAT2 avatar may be suitable for a second APPLI2 application, for example an online game
  • a third AVAT3 avatar may be suitable for a third APPLI3 application, for example discussion on an informal social network, - etc.
  • the appearance of the user's avatar can be increasingly realistic during a virtual videoconference in the context of a job interview, if the application detects that the mood of the participants characterizes a climate of trust between stakeholders during the interview.
  • the appearance of the avatar of the user can be more and more “muscular” as the user wins rounds of the game, for example.
  • This step of modifying the avatar according to the progress of the application is illustrated by the arrow S5 on the .
  • a DIS device for implementing the above method may comprise a processing circuit comprising for example: - An input interface IN to receive, for example, image data acquired by one or more cameras A, - A memory MEM for storing the instructions of a computer program of the type introduced above, and possibly storing at least temporarily the acquired image data, - A processor PROC capable of cooperating with the memory MEM to read and execute the instructions of such a program in order to drive a parametric avatar creation application by supplying it with relevant parameters, resulting from the image data, and - An output OUT to deliver the data of a realistic parametric avatar, in the example illustrated.
  • a processing circuit comprising for example: - An input interface IN to receive, for example, image data acquired by one or more cameras A, - A memory MEM for storing the instructions of a computer program of the type introduced above, and possibly storing at least temporarily the acquired image data, - A processor PROC capable of cooperating with the memory MEM to read and execute the instructions of such a program in order to drive a parametri
  • the DIS device can be hosted on a server, to provide, via a communication network, an avatar version to a remote terminal available to the user.
  • the user can choose a version of the avatar online according to his choice and his needs. This choice can be received (e.g. "change eye color", etc.) for example via the IN input interface of the DIS device.
  • the avatar can be created locally, with simple storage in the memory MEM of the avatar data, for example in a terminal available to the user.
  • the object of the present description allows the creation of customizable parametric avatars from the real appearance of the user.
  • the use of an avatar can be extremely broad, and increasingly corresponds to an essential element of non-verbal communication between distant users.
  • the object of the present description considerably reduces the avatar creation time, makes it possible to obtain a parametric avatar to the measurements of the user (or possibly transformed according to the user's choice), to create multiple avatars in based on the needs/tastes/choices/preferences of the user.
  • the user can slightly transform his voice, for example by making it more serious in tonal frequency, or else the current application APPLIi can modify the voice by making it more serious for example as the user wins the rounds of a game. More generally, in addition to transforming the voice, it is possible to make the avatar speak in another language, or to modify/correct its oral expression with words more appropriate to a context for example.
  • an artificial intelligence has been described above for determining the different parts of the body and configuring them.
  • a photogrammetry application combined with a colorimetry application, can already make it possible to determine the morphological parameters of the user, in sufficient number to inform a parametric avatar creation application capable of generating a realistic avatar, and this therefore without necessarily having recourse to artificial intelligence.
  • these applications can be programmed to be compatible with the parameters expected by the parametric avatar creation model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

La description propose un procédé de création d'un avatar d'un utilisateur, comprenant : - Obtenir (S1) au moins des données d'image de l'utilisateur et traiter (S2) lesdites données pour déterminer des paramètres morphologiques propres à l'utilisateur, et - Appliquer (S3) les paramètres morphologiques propres à l'utilisateur à un modèle d'avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l'utilisateur.

Description

    Création perfectionnée d’un avatar
  • La présente description concerne la création d’un avatar d’une personne physique, selon des attributs propres à cette personne.
  • Un avatar peut intervenir pour représenter virtuellement la personne physique dans des applications informatiques, par exemple de messagerie, ou encore dans des jeux en ligne, ou plus généralement dans un environnement virtuel ou « métaverse ».
  • Les techniques actuelles de création d'un avatar d’un utilisateur de telles applications font appel :
    - soit à une reconstruction dite « dense » de l'apparence de l’utilisateur via une ou plusieurs caméras (par exemple des caméras couleurs de type « RGB ») et/ou une caméra infrarouge, de profondeur, et ce à l'aide d'un dispositif physique (A),
    - soit à une création d'un avatar paramétrique, qui permet à l'utilisateur de paramétrer l'apparence de son avatar à l'aide de modèles prédéfinis en cliquant sur des icônes dédiées (par exemple de type « sliders ») pour choisir sa coiffure, la couleur de ses cheveux, sa taille, la couleur de sa peau, de ses yeux, etc., et ce à l'aide d'une application informatique (B).
  • Or, la reconstruction dense donne un avatar non personnalisable et nécessite un très grand volume de données. Par exemple, la couleur des cheveux, des yeux, de la peau, etc., n’est pas modifiable. Par ailleurs, un avatar trop réaliste n’est pas toujours bien accueilli par les utilisateurs, lesquels trouvent choquante leur représentation virtuelle, car, bien que très proche, elle n’est pas absolument parfaite (selon la théorie de la « vallée de l’étrange » initiée notamment par Masahiro Mori).
  • La création d'un avatar paramétrique, quant à elle, n'est pas réaliste car elle ne correspond pas aux mensurations réelles de l'utilisateur et ne peut pas reproduire fidèlement ses traits, mais elle est légère en ressources et donc beaucoup plus adaptée aux applications virtuelles de téléprésence. Les avatars paramétriques ne proposent pas de tenir compte des traits réels de l’utilisateur. Il est proposé à l’utilisateur des traits prédéfinis, typiques de personnages de bande dessinée, auxquels l’utilisateur ajoute des couleurs d’yeux, cheveux, lunettes, barbe, etc., personnalisés. Le résultat reste « cartoonisé » (dans le sens d’une apparence proche d’un personnage de bande dessinée), malgré quelques attributs choisis par l’utilisateur.
  • La présente description vient améliorer cette situation.
  • Elle propose à cet effet un procédé de création d’un avatar d’un utilisateur, comprenant :
    - Obtenir au moins des données d’image de l’utilisateur et traiter lesdites données pour déterminer des paramètres morphologiques propres à l’utilisateur, et
    - Appliquer les paramètres morphologiques propres à l’utilisateur à un modèle d’avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l’utilisateur.
  • Ainsi, par la mise en œuvre du procédé ci-avant, il est possible d’obtenir un avatar paramétrique, donc modifiable par l’utilisateur selon ses propres choix ou besoins, mais néanmoins cet avatar initial est réaliste car personnalisé grâce aux données d’image de l’utilisateur. En effet, la valeur d’au moins un paramètre de l’avatar est personnalisé en fonction d’au moins un paramètres morphologiques parmi les paramètres morphologiques propres à l’utilisateur déterminés en fonction des données image de l’utilisateur obtenues par le procédé de création d’avatar.
  • Les paramètres morphologiques précités de l’utilisateur peuvent être typiquement la forme et la disposition dans le visage d’éléments tels que le nez, les yeux, la bouche, etc., ou encore les dimensions (relatives ou absolues) des segments des membres comme les avant-bras, les jambes, etc. ou encore la couleur de peau, de cheveux, de barbe éventuellement, etc.
  • Ils peuvent être identifiés dans les données d’image par la mise en œuvre d’une intelligence artificielle et/ou d’applications de colorimétrie et de photogrammétrie.
  • Ainsi, le procédé selon l’invention permet de créer plus rapidement un avatar personnalisé car il ne nécessite pas le paramétrage complexe et fin mis en œuvre pour la création d’un avatar par capture volumétrique de l’utilisateur. Néanmoins, contrairement à la création d’un avatar paramétrique pour lequel seuls des paramètres esthétiques peuvent être sélectionner dans un catalogue, le procédé selon l’invention propose de modifier des paramètres morphologiques de l’avatar non pas en sélectionnant des valeurs dans un catalogue mais en utilisant des paramètres morphologiques de l’utilisateur, ce qui permet de créer un avatar paramétrique personnalisé morphologiquement conforme à l’utilisateur. La conformité morphologique à l’utilisateur de l’avatar paramétrique créé par le procédé selon l’invention est au moins partielle (taille et/ou tour de taille et/ou dimension de la main etc.).
  • Un avantage d’un tel avatar paramétrique personnalisé morphologiquement conforme à l’utilisateur est qu’il permet à l’utilisateur d’essayer des produits dans le monde virtuel préalablement à un achat, voir à leur fabrication (meubles, voiture, vêtement, maison, appartement etc…). Un autre avantage d’un avatar paramétrique personnalisé morphologiquement conforme à l’utilisateur est qu’il permet d’interagir en réalité augmentée avec des objets réels en limitant les erreurs d’interaction puisque l’avatar se conforme à la morphologie de l’utilisateur.
  • Un effet technique de ce paramétrage personnalisé de l’avatar en fonction de paramètre morphologique de l’utilisateur est que le caractère paramétrique de l’avatar permet de modifier ultérieurement l’avatar pour en créer un ou plusieurs versions différentes.
  • Par exemple, les données d’image peuvent être acquises par une pluralité de caméras pour construire par stéréoscopie un modèle 3D de l’utilisateur.
  • En complément ou en variante, les données d’image peuvent être acquises en outre par au moins une caméra infrarouge pour acquérir au moins des données de profondeur d’image de l’utilisateur et construire un modèle 3D de l’utilisateur.
  • Dans une réalisation, le procédé peut comporter :
    - Déterminer à partir desdites données d’image au moins des mensurations relatives de l’utilisateur, par photogrammétrie, et évaluer des paramètres morphologiques caractéristiques de l’utilisateur.
  • Ces mensurations relatives peuvent être par exemple l’écart des yeux relativement à la largeur du visage, ou encore la hauteur du nez par rapport à la hauteur totale du visage, ou encore l’épatement du nez par rapport à la largeur du visage, ou encore la longueur de l’avant-bras par rapport à la longueur totale du bras, etc.
  • Ces mensurations sont relatives, mais il est possible de mesurer et paramétrer des dimensions absolues. Par exemple, les données d’image peuvent comporter en outre des données d’une mire de dimension connue (par exemple dans le champ des images prises de l’utilisateur) pour déterminer des mensurations absolues de l’utilisateur.
  • Le procédé peut comporter en outre :
    - Déterminer par colorimétrie et à partir desdites données d’image, au moins des couleurs de peau et/ou cheveux de l’utilisateur.
  • Ainsi, l’avatar réaliste, construit initialement, peut présenter une couleur fidèle des cheveux et/ou de la peau et/ou d’une barbe éventuelle, etc., de l’utilisateur.
  • En complément ou en variante de l’utilisation d’applications de colorimétrie et/ou de photogrammétrie, le procédé peut prévoir de mettre en œuvre une intelligence artificielle pour identifier, à partir desdites données d’image, des parties distinctes du corps de l’utilisateur, et pour paramétrer lesdites parties distinctes du corps.
  • Par exemple, l’intelligence artificielle précitée peut déterminer une couleur, une longueur, etc. de ces différentes parties du corps en leur associer un identifiant (par traitement de « labellisation » des différentes parties du corps). Cet identifiant est alors reconnu par une application de création d’un avatar paramétrique qui reçoit ces données.
  • Dans un mode de réalisation, une application de création d’un avatar paramétrique peut être programmée pour admettre comme paramètres d’entrée au moins :
    - des formes et dimensions d’éléments du visage de l’utilisateur,
    - des couleurs au moins de peau et/ou de cheveux de l’utilisateur,
    - des dimensions de segments des membres de l’utilisateur.
  • Des exemples d’une telle application de création d’avatar paramétrique sont donnés plus loin. Il est cité ici simplement à titre d’exemple non limitatif l’application « Make Human Project ».
  • Grâce à l’exploitation de ces données paramétrées, propres à l’utilisateur, l’avatar paramétrique créé est réaliste. Néanmoins, comme il est paramétrique, il est modifiable à souhait par l’utilisateur par exemple.
  • Ainsi, dans une réalisation, le procédé peut comporter en outre :
    - modifier, sur requête de l’utilisateur, l’avatar paramétrique personnalisé de l’utilisateur.
  • Par exemple, l’utilisateur peut choisir de changer une couleur de cheveux, une couleur d’yeux, une couleur de peau, un type d’habillement, ou autres.
  • En complément ou en variante, le procédé peut comporter en outre, pendant l’exécution d’une application dans laquelle intervient l’avatar :
    - modifier, sur réception d’une commande issue de l’application, l’avatar paramétrique personnalisé de l’utilisateur.
  • Dans cette réalisation, par exemple au fur et à mesure de l’exécution de l’application (par exemple un jeu en ligne), l’avatar peut être modifié automatiquement par l’application (par exemple en faisant grandir et épaissir l’avatar au fur et à mesure que l’utilisateur remporte des manches du jeu).
  • Dans une réalisation, outre les données d’image, des données vocales de l’utilisateur sont acquises pour accompagner une apparence physique de l’avatar personnalisé de l’utilisateur, d’une expression vocale réaliste de l’utilisateur.
  • Ainsi, dans une telle réalisation, l’avatar créé est fidèle tant sur l’apparence physique que par la voix donnée à l’avatar. Néanmoins, comme l’avatar est paramétrique, l’utilisateur peut choisir de lui attribuer une voix modifiée (plus grave par exemple, ou autre).
  • Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre du procédé tel que défini précédemment lorsque ces instructions sont exécutées par un processeur d’un circuit de traitement. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.
  • Selon un autre aspect, il est proposé un dispositif informatique comportant un circuit de traitement configuré pour mettre en œuvre le procédé présenté ci-dessus.
  • D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
  • La illustre l’estimation d'un avatar paramétrique le plus réaliste possible d'après un modèle photoréaliste dense d’un l'utilisateur,
  • La illustre un mode de réalisation possible consistant en la création d'avatars multiples personnalisés, à partir de l'avatar paramétrique le plus réaliste possible,
  • La illustre un exemple de dispositif pour la mise en œuvre du procédé ci-avant.
  • L'objet de la présente description permet de créer un avatar utilisateur en combinant une application de création d'avatar paramétrique, à une capture dense de l'apparence réelle de l'utilisateur.
  • En référence à la , dans une première étape S1, l'utilisateur US se positionne devant un dispositif A de création de son avatar dense, par exemple une ou plusieurs caméras CAM ou encore une caméra infrarouge de profondeur.
  • Les caméras précitées CAM peuvent former un ensemble dit « rig » de caméras (avec une cinquantaine de caméras par exemple) enveloppant en un demi-cylindre ou en un cylindre l’utilisateur pour acquérir un modèle 3D du corps complet de l’utilisateur, par stéréoscopie. La caméra infrarouge de profondeur, précitée, peut donner, en alternative ou en complément, des informations 3D par projection par exemple d’une grille infrarouge avec détection de temps d’aller/retour des rayons en chaque point du corps de l’utilisateur. Un modèle de caméra infrarouge de ce type est connu sous le nom de « Kinect » ®.
  • Dans une deuxième étape S2, un circuit de traitement informatique (du type illustré sur la à titre d’exemple) est relié au dispositif A pour créer alors un « avatar photoréaliste » : de la même taille et ayant de mêmes proportions que l'utilisateur. On entend ici par « avatar photoréaliste » un modèle 3D de l’utilisateur particulièrement réaliste, qui peut consister a minima en un ensemble de données stockées en mémoire, ces données déterminant :
    - La couleur de peau, des yeux, des cheveux, de la barbe éventuelle, des sourcils, etc.
    - La forme du visage : forme et hauteur du nez par rapport à la hauteur du visage, forme et écart des yeux par rapport à la largeur du visage, disposition et forme de la bouche, disposition et forme des oreilles, forme du menton, etc.
    - La forme des membres : longueur relative des avant-bras par rapport aux bras, du tronc, des jambes, etc.
    - La posture : courbure du dos, avancement du bassin, etc.
  • Bien entendu, les exemples de données ci-dessus ne sont pas exhaustifs. Par ailleurs, les dimensions des parties du corps peuvent être données relativement à une autre partie du corps ou être données dans l’absolu. Dans le deuxième cas, une mire de dimensions connues peut être placée avec l’utilisateur dans le champ de la ou des caméras CAM pour la mise en œuvre de la première étape d’acquisition d’image S1.
  • Par exemple, à cette étape S2, une intelligence artificielle AI peut intervenir pour :
    - Identifier dans les images acquises les couleurs de peau, de cheveux etc., ainsi que les dimensions de parties du corps, et autres,
    - Paramétrer ces informations identifiées sous la forme desdites données stockées,
    - Et fournir à l’étape suivante S3 ces données PARAM à un modèle d’avatar paramétrique.
  • En effet, l’étape S3 consiste à paramétrer de la façon la plus réaliste possible la création de l'avatar de l'utilisateur avec une application paramétrique B en fonction de l'avatar photoréaliste obtenu à l’étape S2. A cette étape S3, les données ainsi paramétrées (par exemple par l’intelligence artificielle précitée) peuvent alors être fournies à une application B de création d’un avatar paramétrique. Cette application B présente l’avantage d’admettre un grand nombre de paramètres (autres que la simple couleur de peau ou des cheveux, ou la simple existence d’une barbe), de sorte que l’avatar paramétrique créé reste fidèle à la morphologie de l’utilisateur.
  • A titre d’exemple, une application B pour la création d'avatar générique avec une approche paramétrique peut être « Make Human Project » : http://www.makehumancommunity.org/ (en libre accès au code source), ou encore MB-Lab https://mblab.dev/ (plugin pour le modeleur « 3D Blender »). De tels exemples d’application offrent l’avantage d’être souples en programmation et notamment d’admettre un grand nombre de paramètres morphologiques de l’utilisateur.
  • A l’étape S3, l’applications B reçoit les données paramétrées morphologiques de l’utilisateur (longueur des membres, formes exactes du visage, couleurs de peau, de cheveux, etc.) et construit un avatar paramétrique respectant toutes les données morphologiques fournies.
  • Ainsi, l'utilisateur obtient un avatar paramétrique aussi réaliste que l'application B le permet en s'appuyant sur un premier avatar, dense, obtenu grâce au dispositif d’acquisition A. Cet avatar est notamment aux mensurations de l'utilisateur, relatives ou absolues, ce qui est appréciable en particulier pour des systèmes de téléprésence en réalité mixte.
  • En référence maintenant à la , l'utilisateur peut ensuite, à l’étape S4, modifier son avatar paramétrique réaliste en fonction de ses propres souhaits. Il peut l'habiller avec des vêtements virtuels, créer différents avatars en fonction de ses besoin et choix de représentation dans un métaverse. Il peut modifier son apparence, gommer ses défauts physiques, changer la couleur de ses yeux, de ses cheveux, de sa peau, ou autres. Plusieurs modifications possibles de son avatar réaliste peuvent être enregistrées de sorte que l’utilisateur dispose alors d’un ensemble d'avatars qu'il peut choisir d'utiliser en fonction de son contexte dans le métaverse (par exemple en costume pour un métaverse avec des clients, en tenue décontractée avec des amis, ou encore déguisé et transformé physiquement pour fêter Halloween, ou autres). Ainsi par exemple :
    - un premier avatar AVAT1 peut convenir pour une première application APPLI1, par exemple de vidéoconférence virtuelle dans le cadre d’un entretien de travail,
    - un deuxième avatar AVAT2 peut convenir pour une deuxième application APPLI2, par exemple de jeu en ligne,
    - un troisième avatar AVAT3 peut convenir pour une troisième application APPLI3, par exemple de discussion sur un réseau social informel,
    - etc.
  • Outre l’apparence physique, il peut être prévu une modification de la posture de l’individu, ou encore une modification de la manière dont l’utilisateur met son corps en mouvement (par exemple les mouvements des mains, sa démarche, etc.).
  • Par ailleurs, de manière avantageuse, l’application courante APPLIi (i=1, 2, ou 3) , peut, au fur et à mesure de son déroulement, modifier automatiquement l’avatar AVATi de l’utilisateur. Par exemple, l'apparence de l’avatar de l'utilisateur peut être de plus en plus réaliste pendant une vidéoconférence virtuelle dans le cadre d’un entretien de travail, si l'application détecte que l'humeur des participants caractérise un climat de confiance entre les intervenants pendant l'entretien. Dans le cadre d’une application de jeu, l'apparence de l’avatar de l'utilisateur peut être de plus en plus « musclée » au fur et à mesure que l’utilisateur gagne des manches du jeu par exemple. Cette étape de modification de l’avatar en fonction du déroulement de l’application est illustrée par la flèche S5 sur la .
  • En référence maintenant à la , un dispositif DIS pour la mise en œuvre du procédé ci-avant peut comporter un circuit de traitement comportant par exemple :
    - Une interface d’entrée IN pour recevoir par exemple des données d’images acquises par une ou plusieurs caméras A,
    - Une mémoire MEM pour stocker les instructions d’un programme informatique du type introduit ci-dessus, et éventuellement stocker au moins temporairement les données d’images acquises,
    - Un processeur PROC apte à coopérer avec la mémoire MEM pour lire et exécuter les instructions d’un tel programme afin de piloter une application de création d’avatar paramétrique en lui fournissant des paramètres pertinents, issus des données d’image, et
    - Une sortie OUT pour délivrer les données d’un avatar paramétrique réaliste, dans l’exemple illustré.
  • Le dispositif DIS peut être hébergé auprès d’un serveur, pour fournir, via un réseau de communication, une version d’avatar à un terminal distant à disposition de l’utilisateur. Eventuellement, l’utilisateur peut choisir en ligne une version de l’avatar selon son choix et ses besoins. Ce choix peut être reçu (par exemple « changer la couleur des yeux », etc.) par exemple via l’interface d’entrée IN du dispositif DIS.
  • Alternativement à l’utilisation d’une interface de sortie, la création de l’avatar peut être réalisée en local, avec simple stockage dans la mémoire MEM des données de l’avatar, par exemple dans un terminal à disposition de l’utilisateur.
  • Ainsi, l’objet de la présente description permet la création d'avatars paramétriques personnalisables à partir de l'apparence réelle de l'utilisateur. L'usage d'un avatar peut être extrêmement large, et correspond de plus en plus à un élément essentiel de la communication non verbale entre utilisateurs distants. L’objet de la présente description réduit considérablement le temps de création de l'avatar, permet d'obtenir un avatar paramétrique aux mensurations de l'utilisateur (ou éventuellement transformé selon le choix de l’utilisateur), de créer de multiples avatars en fonction des besoins/goûts/choix/préférences de l'utilisateur.
  • Néanmoins, outre la paramétrisation des données d’apparence physique de l’utilisateur, il est possible de paramétrer en outre sa voix, ainsi que son expression et son élocution. Par exemple, outre les données d’image acquises à l’étape S1, il est possible de faire lire un texte à l’utilisateur et d’enregistrer à l’aide d’un ou plusieurs microphones la voix de l’utilisateur. A l’aide d’une détection tonale et des formants dans la voix de l’utilisateur, il est possible alors de fournir en outre des données paramétrées de la voix de l’utilisateur (fréquence tonale moyenne, intensités respectives moyennes des formants, et/ou autres) à une application de création d’avatar paramétrique, sonore, à l’étape S2. A l’étape S4, l’utilisateur peut transformer légèrement sa voix, par exemple en la rendant plus grave en fréquence tonale, ou encore l’application courante APPLIi peut modifier la voix en la rendant plus grave par exemple au fur et à mesure que l’utilisateur gagne les manches d’un jeu. Plus généralement, outre la transformation de la voix, il est possible de faire parler l’avatar dans une autre langue, ou encore de modifier/corriger son expression orale avec des mots plus appropriés à un contexte par exemple.
  • De manière plus générale, la présente description ne se limite pas aux formes de réalisation décrites ci-avant à titre d’exemples. Elle s’étend à d’autres variantes.
  • Par exemple, on a décrit ci-avant une intelligence artificielle pour déterminer les différentes parties du corps et les paramétrer. Néanmoins, une application de photogrammétrie, combinée à une application de colorimétrie, peut permettre déjà de déterminer les paramètres morphologiques de l’utilisateur, en nombre suffisant pour renseigner une application de création d’avatar paramétrique capable de générer un avatar réaliste, et ce donc sans avoir recours nécessairement à une intelligence artificielle. Bien entendu, ces applications peuvent être programmées pour être compatibles avec les paramètres attendus par le modèle de création d’avatar paramétrique.

Claims (13)

  1. Procédé de création d’un avatar d’un utilisateur, comprenant :
    - Obtenir (S1) au moins des données d’image de l’utilisateur et traiter (S2) lesdites données pour déterminer des paramètres morphologiques propres à l’utilisateur, et
    - Appliquer (S3) les paramètres morphologiques propres à l’utilisateur à un modèle d’avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l’utilisateur.
  2. Procédé la revendication 1, dans lequel les données d’image sont acquises par une pluralité de caméras (CAM-A) pour construire par stéréoscopie un modèle 3D de l’utilisateur.
  3. Procédé selon l'une des revendications précédentes, dans lequel les données d’image sont acquises par au moins une caméra infrarouge pour acquérir au moins des données de profondeur d’image de l’utilisateur et construire un modèle 3D de l’utilisateur.
  4. Procédé selon l'une des revendications précédentes, comportant :
    - Déterminer à partir desdites données d’image au moins des mensurations relatives de l’utilisateur, par photogrammétrie, et évaluer des paramètres morphologiques caractéristiques de l’utilisateur.
  5. Procédé selon la revendication 4, dans lequel les données d’image comportent en outre des données d’une mire de dimension connue pour déterminer des mensurations absolues de l’utilisateur.
  6. Procédé selon l'une des revendications précédentes, comportant :
    - Déterminer par colorimétrie et à partir desdites données d’image, au moins des couleurs de peau et/ou cheveux de l’utilisateur.
  7. Procédé selon l'une des revendications précédentes, comportant :
    - Mettre en œuvre une intelligence artificielle (AI) pour identifier, à partir desdites données d’image, des parties distinctes du corps de l’utilisateur, et pour paramétrer lesdites parties distinctes du corps.
  8. Procédé selon l'une des revendications précédentes, dans lequel une application de création d’un avatar paramétrique est programmée pour admettre comme paramètres d’entrée au moins :
    - des formes et dimensions d’éléments du visage de l’utilisateur,
    - des couleurs au moins de peau et/ou de cheveux de l’utilisateur,
    - des dimensions de segments des membres de l’utilisateur.
  9. Procédé selon l'une des revendications précédentes, comportant en outre :
    - modifier (S4), sur requête de l’utilisateur, l’avatar paramétrique personnalisé de l’utilisateur.
  10. Procédé selon l'une des revendications précédentes, comportant en outre, pendant une exécution d’une application dans laquelle intervient l’avatar de l’utilisateur :
    - modifier (S5), sur réception d’une commande issue de l’application, l’avatar paramétrique personnalisé de l’utilisateur.
  11. Procédé l’une des revendications précédentes, dans lequel, outre les données d’image, des données vocales de l’utilisateur sont acquises pour accompagner une apparence physique de l’avatar personnalisé de l’utilisateur, d’une expression vocale réaliste de l’utilisateur.
  12. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsque lesdites instructions sont exécutées par un processeur (PROC) d’un circuit de traitement.
  13. Dispositif informatique (DIS) comportant un circuit de traitement configuré pour mettre en œuvre le procédé selon l’une des revendications 1 à 11.
EP23703231.3A 2022-02-10 2023-02-08 Création perfectionnée d'un avatar Pending EP4476691A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2201154A FR3132583A1 (fr) 2022-02-10 2022-02-10 Création perfectionnée d’un avatar
PCT/EP2023/053050 WO2023152153A1 (fr) 2022-02-10 2023-02-08 Création perfectionnée d'un avatar

Publications (1)

Publication Number Publication Date
EP4476691A1 true EP4476691A1 (fr) 2024-12-18

Family

ID=82019183

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23703231.3A Pending EP4476691A1 (fr) 2022-02-10 2023-02-08 Création perfectionnée d'un avatar

Country Status (4)

Country Link
US (1) US20250148680A1 (fr)
EP (1) EP4476691A1 (fr)
FR (1) FR3132583A1 (fr)
WO (1) WO2023152153A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4726660A1 (fr) 2024-10-11 2026-04-15 Finfin Play AG Procédé d'adaptation d'un modèle de tissu sur un modèle d'avatar

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545682B1 (en) * 2000-05-24 2003-04-08 There, Inc. Method and apparatus for creating and customizing avatars using genetic paradigm
US8982110B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
US8692830B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
WO2013120851A1 (fr) * 2012-02-13 2013-08-22 Mach-3D Sàrl Procédé de partage d'émotions à travers la création d'avatars tridimensionnels et leur interaction par l'intermédiaire d'une plate-forme basée sur le nuage
CN103093490B (zh) * 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
KR101728588B1 (ko) * 2014-03-27 2017-05-02 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버
EP3579196A1 (fr) * 2018-06-05 2019-12-11 Cristian Sminchisescu Dispositif, système et procédé de transfert d'habillement humain
US10885693B1 (en) * 2019-06-21 2021-01-05 Facebook Technologies, Llc Animating avatars from headset cameras

Also Published As

Publication number Publication date
US20250148680A1 (en) 2025-05-08
WO2023152153A1 (fr) 2023-08-17
FR3132583A1 (fr) 2023-08-11

Similar Documents

Publication Publication Date Title
KR102701219B1 (ko) 템플릿 이미지들을 사용한 증강 현실 프리렌더링 생성
US9734628B2 (en) Techniques for processing reconstructed three-dimensional image data
CN113287118B (zh) 用于面部再现的系统和方法
KR100407111B1 (ko) 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
US10347028B2 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction
CN110428491B (zh) 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN118536616A (zh) 具有用于合成图像生成的图像编码器的机器学习扩散模型
US20160134840A1 (en) Avatar-Mediated Telepresence Systems with Enhanced Filtering
US20110164787A1 (en) Method and system for applying cosmetic and/or accessorial enhancements to digital images
WO2008050062A1 (fr) Procédé et dispositif de simulation virtuelle d'une séquence d'images vidéo.
Bai et al. Textir: A simple framework for text-based editable image restoration
WO2023152153A1 (fr) Création perfectionnée d'un avatar
CN113223128B (zh) 用于生成图像的方法和装置
KR101520863B1 (ko) 얼굴인식을 이용한 캐릭터 제작 방법 및 이를 지원하는 단말
JP2026510388A (ja) 人型キャラクタのパーソナライズされた表現およびアニメーション
Göring et al. Instagram-like filters for AI-generated and real photos
CN121962302A (zh) 虚拟形象的处理方法、装置、存储介质、设备及程序产品
JP2026069106A (ja) システム
JP2026063865A (ja) システム
CN120931831A (zh) 虚拟模型的处理方法及虚拟形象的处理方法
CN118710753A (zh) 图像生成方法、装置、电子设备及计算机可读存储介质
CN118505924A (zh) 基于人工智能的指定家具背景生成方法、装置及存储介质
FR2879875A1 (fr) Procede et systeme d'implementation d'avatar a la demande d'un utilisateur

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240819

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)