FR2828572A1 - Procede de creation d'un personnage tridimensionnel - Google Patents

Abstract

La présente invention concerne un procédé de construction en trois dimension d'un personnage virtuel représentatif d'un personnage réel. Ce procédé génère la création d'une base de donnée d'éléments tridimensionnels constituant le personnage. Cette base inclus les géométries 3D du personnage, les textures du visage et du corps, ses expressions et forme de bouche pour la parole, son squelette et ses paramètres musculaires. Enfin, l'invention définie un moteur de gestion comportementale afin de pouvoir animer les expressions faciales ou corporelles et simuler les comportements intrinsèques innés du personnage au sein d'applications optimisées pour de la 3d temps réel.

Description

<Desc/Clms Page number 1>

La présente invention se situe dans le domaine de la représentation virtuelle de personnages en trois dimensions. Elle concerne plus particulièrement un procédé de modélisation et de préparation à l'animation d'un personnage virtuel plus communément appelé avatar 3D. Basé en grande partie sur un système de photo modélisation, ce procédé est particulièrement adapté dans le cas de la création d'un personnage virtuel identique à un personnage réel ou bien un personnage dessiné. Il permet de créer et animer un visage et un corps synthétique qui semble identique à l'original tant aux niveau de la peau, des muscles, du squelette et d'utiliser la base de ce master pour produire de manière très rapide d'autres modèles morphologiquement proches pour des applications utilisant de préférence des moteurs 3D temps réel.

L'industrie de l'Internet va être très demandeuse de ce type de procédé, en effet, plus interactive et légère que les techniques vidéo sur le web, la 3D temps réelle sur Internet va diffuser dans les années à venir un nombre croissant d'avatar hyperréalistes.

Capable d'afficher sur les écrans des données tridimensionnelles en surimpression ou fenêtrés au sein des sites web, les technologies 3D permettent l'utilisation d'avatars 3D. Ces derniers humanisent les sites, fidélisent les internautes qui restent plus sensibles aux requêtes d'un personnage qu'au visuel d'un menu sans âme et sans direction.

Hôtesses virtuelles, agents conversationnels, animateur de web TV, coach, ambassadeur de marque, héros de websérie, de jeu vidéo, mannequin et autres assistants personnels commencent à peupler les pages et les sites Web des entreprises ; et demain des ordinateurs personnels et des téléphones mobiles. Les avatars 3D rendent les sites plus vivants en aidant, guidant ou divertissant les internautes dans ses achats et ses recherches. Demain, l'intelligence artificielle les rendra encore plus réactifs, plus performants et plus personnalisés.

Mais l'impact visuel et émotionnel est beaucoup plus fort lorsque l'avatar est l'image d'un personnage connu

<Desc/Clms Page number 2>

que ce soit l'internaute lui-même, un membre de son entourage ou bien une célébrité. Toute personnalité que ce soit du monde du sport, de la mode, du cinéma, de la politique, de la littérature, de la religion ; vivante, décédée ou imaginaire ; est représentable en trois dimensions.

Ces personnages virtuels peuvent exercer tous les corps de métiers sur la toile. La gestion de leur carrière et de leur droit à l'image sera assurée par des agences spécialisées, leurs agents ou leurs ayantsdroit.

En associant l'image d'une célébrité vivante à leur produit, les annonceurs retrouvent un concept commercial déjà utilisé sur les réseaux broadcast ou cinéma et l'intérêt commercial d'utiliser un avatar 3D est décuplé. Un avatar ne tombe jamais malade, n'a pas d'humeur, est pourvu du don d'ubiquité, parle et comprend toutes les langues ce qui est une aubaine pour beaucoup d'annonceurs.

Le phénomène des avatars 3D, vecteur de communication touche aussi les média traditionnels que sont la presse papier, la publicité télévisuelle et cinématographique. Dans le cinéma, ils sont parfois utilisés pour représenter quelques secondes un acteur réel lors de cascades périeuses ou lors de phases scénaristiques irréalisables avec des moyens conventionnels. Mais nombreux sont les films en cours de réalisation ou d'écriture qui utilisent des avatars comme élément majeur des scénarii en lieu et place d'acteur réel.

Les assistants vocaux, déjà répandus sur les centraux téléphoniques actuels, vont prendre forme et vie avec l'arrivée des terminaux UMTS. Les portables et autres PDA 3ème génération seront aussi des supports très intéressant pour nos avatar 3D.

Que ce soit pour une diffusion Internet, sur les portable, les consoles de jeu ou les media traditionnels, le marché des avatar 3D explose depuis l'été 2000 et pour répondre à cette demande internationale croissante, il faut trouver des procédés industriels de fabrication de personnages qui assure réalisme, rapidité de réalisation et portage automatisé sur toutes ces plates formes de diffusion.

<Desc/Clms Page number 3>

Etat de la technique antérieure : Les procédés de modélisation existants se regroupent essentiellement en trois catégories : les procédés de modélisation à base de primitives
3D utilisant des logiciels spécifiques ; les procédés de modélisation par exploration laser, sonique ou mécanique des objets dans les trois dimensions ; les procédés de modélisation par traitement de N images spatialement ou temporellement différentes avec extraction de la géométrie des objets présents dans la scène.

Les procédés de modélisation utilisant un logiciel sont des procédés interactifs en ce sens qu'ils nécessitent un opérateur pour dialoguer avec le logiciel. Le logiciel de modélisation met à la disposition de l'opérateur une série de formes géométriques mathématiques tridimensionnelles simple (cubes, sphères, cônes,...) et complexes (surfaces de révolution, extrusion,...) ainsi que des opération booléennes (union, intersection,...) permettant de combiner les formes entre elles. Le principal inconvénient de ce procédé est qu'il nécessite un opérateur très expérimenté capable d'analyser la structure d'un personnages en terme de primitives et de fonctions géométriques connues du logiciel. Ce type de logiciel de CAO (conception Assistée par Ordinateur) a été conçu pour fabriquer et reproduire des objets manufacturés (moteur, robot, pièce à usiner) et non pas des formes organiques aussi le travail est long et difficile pour reproduire facilement et de manière réaliste un visage et un corps humain.

S'agissant des systèmes de modélisation par exploration laser, sonique, magnétique ou mécanique, ils consistent à balayer l'objet à modéliser avec un rayonnement approprié. Le processus de balayage est automatique mais les fenêtres d'exploration doivent toutefois être précisés par l'opérateur. Cette méthode permet d'obtenir une définition très précise d'une partie d'un personnage. Ce type de procédé génère

<Desc/Clms Page number 4>

quelques centaines voir quelques milliers de points organisé suivant les axes x, y, z défini par l'opérateur lorsqu'il règle le pas de scannérisation. Le nombre et l'organisation de ces point sont incompatibles avec l'utilisation d'un personnage en effet le maillage généré est chaotique et indépendant des caractéristiques morphologique du personnage, ce qui empêche par la suite tout travail d'animation musculaire. Comme nous le verrons par la suite, le nombre de point et leur organisation sont deux paramètres particulièrement importants pour réaliser un avatar que l'on peut animer et afficher en temps réel. Cette technique est particulièrement utilisée en CAO pour le contrôle de machine-outils chargés de reproduire un objet physique existant, dans ce cas l'image représentant l'objet est un outil pour réaliser physiquement l'objet, dans notre domaine de la représentation virtuelle 3D multimédia (télévision, cinéma, jeu vidéo, Internet), l'image représentant l'objet est l'image finale.

Les procédés de modélisation par traitement de N images spatialement ou temporellement différentes avec extraction de la géométrie des objets présents dans la scène ne sont pas adapté à des formes organiques susceptibles de s'animer. Cette méthode automatique restitue une géométrie et une texture réaliste sans connaissance de la topologie de l'objet. Il est capitale qu'à ce stade de la fabrication, on sache quelle partie de l'objet est une tête, un oeil, un bras, une main, un pied afin de préparer ces éléments d'une manière spécifique pour qu'ensuite l'ensemble du personnage soit animable de manière réaliste. Ce type de procédé ne traite que la face visible de l'iceberg et génère un type de géométrie qui par la suite mettra l'opérateur dans un impasse technique. Il n'est pas raisonnable de penser que la création d'un personnage puisse être automatisé par de tel logiciel, ces outils sont bien adapté pour des scènes 3d, des objets manufacturés mais pas pour des personnages.

La présente invention vise à pallier les inconvénients précités de l'état antérieur de la technique en proposant un procédé de modélisation adapté au domaine technique, rapide et utilisable à l'échelon industriel. Pour cela, l'invention a pour

<Desc/Clms Page number 5>

objet un procédé de modélisation de personnage utilisant des techniques de photomodélisation reposant sur l'analyse d'images multivues, un opérateur et un logiciel de CAO de type 3Dsmax de la société Discreet Logic @, Softimage de AVID@ ou MAYA de AliaswavefrontO, outils utilisant différents moyens technologiques décrits par la suite afin de constituer une base de donnée complète contenant toutes les informations nécessaires pour animer de manière réaliste notre personnage.

La figure la illustre le processus général de création jusqu'à la diffusion finale du modèle suivant l'utilisation industrielle faite du modèle et de sa base de donnée associée.

La première étape consiste à faire une série de photo de référence qui permettront la création du volume du personnage.

La deuxième étape est la création de ce volume à l'aide d'une technique de photomodélisation.

La troisième étape est la création des textures associés au personnages à l'aide de moyens logiciels tiers utilisés de tel manière qu'ils affinent considérablement le réalisme du personnage.

La quatrième étape est la création de l'ossature du personnage (squelette) ce qui va permettre de mettre en mouvement son volume associé.

La cinquième étape est la mise en liaison par des moyens logiciels tiers entre l'ossature et les vertex constituant le volume afin de simuler des comportement musculaire lors de la mise en mouvement.

La sixième étape est la constitution d'une banque de volume incluant les formes de bouche du personnage pour par la suite le faire parler et des expressions faciales caractéristiques pour par la suite simuler des humeurs. Cette base de donnée peut aussi s'enrichir d'accessoires secondaires améliorant le look du modèle (paire de lunette, boucle d'oreille, chapeau etc..).

La dernière étape est la scénarisation de notre personnage qui suivant l'application industrielle dont on va en faire, devra exécuter un certain nombre d'actions animées.

<Desc/Clms Page number 6>

PRESENTATION DES FIGURES CONSTITUANT LES
DESSINS

Figure la-Processus général de Création Figure 1b - Dispositif de captation photo Figure 2-Calage 3D et Photo pour création du volume du visage du personnage Figure 3-Calage 3D et Photo pour création du corps du personnage Figure 4-Organisation des polygones au niveau du visage Figure 5-Résolution Polygonale variable généré par les metastructures 3D (nurbs, metanurbs) afin d'assurer un portage multiplates-forme (cinéma, broadcast, webcast, jeux) Figure 6-Mise en forme des coordonnées UV sous forme d'image Bitmap (Unwrap) Figure 7a-Création de la texture du visage d'après les photos et l'image des UV (unwrap) Figure 7b-Ensemble des textures du personnage créés avec le même procédé Figure 8-Retouche par un opérateur des coordonnées UV affichés par le logiciel sous forme vectoriel pour calage finale de la texture sur le volume (unwrap UV) Figure 9-Image Tridimensionnelle finale du modèle photomodélisé.

Figure 10-Réseau d'os du visage Figure 11a - Réseau d'os du corps Figure 11a - Représentation hiérarchique du réseau osseux du corps du personnage Figure 12-Réseau de vertex influencés par les os (muscles) Figure 13-Détail d'un réseau de vertex influencés et pondérés Figure 14-Liste des formes de bouche pour création base de données des clefs de morph pour animation de la bouche Figure 15-Liste des expressions pour création base de données des clefs de morph pour animation faciale par morphing.

Figure 16-Schéma du système de gestion comportementale du personnage

<Desc/Clms Page number 7>

Voici maintenant un exposé détaillé d'au moins un mode de réalisation de l'invention en référence aux dessins précités.

La première étape est la captation de photo de référence du visage et du corps du personnage au moyen d'un appareil photo numérique ou un appareil photo argentique associé à un scanner d'ekta. Pour avoir une vue de face et de profil temporellement et spatialement identique, l'invention utilise le système de la figure lb. Deux appareil photo synchronisés par un déclencheur mécanique commun. Ce mode de captation améliore par la suite la qualité du volume tridimensionnel créé par l'opérateur en éliminant des imprécision de position dût aux légers mouvements du modèle entre deux prises successives.

Le modèle est photographié debout les bras tendus comme sur la figure lb.

Cette séance permet d'avoir une base de donnée de photo face, profil droit, profil gauche, , dos du modèle et de son visage en position neutre bouche fermée ainsi qu'une série d'images du visage avec des expressions et des formes de bouche correspondant à un liste d'humeurs jouées par le modèle ainsi qu'une liste de phonèmes prédéfinis à énoncer (voir détails dans la suite de l'exposé).

La Deuxième étape est le création du volume ; Au moyen d'un logiciel permettant de manipuler une géométrie 3D dans l'espace et affichant simultanément en fond une photo sans déformation, un opérateur analyse un couple d'images multivue. On choisira un logiciel permettant de créer une géométrie 3D en nurbs ou metanurbs (metastructure) afin de pouvoir générer à tout moment une sous-structure en polygone à des résolutions choisie par l'opérateur.

Manuellement, l'opérateur détermine dans la vue de face des points de contrôle caractéristiques de la topologie de du visage et du corps en les disposant sur des courbes circulaires autour du nez, de la bouche, des yeux, des oreilles et des seins (voir figure 4). Il détermine sur les autres vue (profil, dos) les points

<Desc/Clms Page number 8>

correspondants et établit des relations entre les points d'une même image de façon à définir les courbes de points constituant l'objets à modéliser.

Afin de valider la géométrie, l'opérateur passe en mode polygonale et vérifie l'organisation de son maillage (figure 2 pour le visage, figure 3 pour le corps) ainsi que sa résolution de sortie (nombre de polygones générés) figure 5. Lors du passage en mode polygone, le logiciel calcule par interpolation les coordonnées x, y, z de l'ensemble des vertex constituant le personnage en fonction des courbes créés par l'opérateur dans les différentes vues. Le choix de la résolution polygonales (déterminé par le pas de l'interpolation) est capitale suivant l'utilisation ultérieur du modèle. Pour des applications 3d temps réel, il choisira une centaines de polygones, pour de la télévision ou du cinéma, il choisira des milliers voir des millions de polygones.

On peut prévoir des séances de scannérisation 3D du volume (scanner 3D laser), afin de confirmer la qualité des proportions du volume crées avec la méthode précédente.

La troisième étape est la création de la peau.

Dans ce mode de réalisation, le modèle a des vêtement prés du corps, aussi ces vêtements (tee-shirt, pantalon, chaussures) sont traités comme de la peau.

Pour chacune des partie du volume, l'opérateur sélectionne des groupes de polygones caractéristiques (zone du visage, des cheveux, des bras, du tee-shirts, du pantalon, des chaussures, des yeux) et applique par projection planaire, cylindrique ou sphérique des coordonnées uv de base. Le logiciel de Cao utilisé devra avoir cette fonction.

Par le moyen d'un logiciel permettant de générer une image (textureUnwrap) représentant le maillage du groupe de polygone sélectionné précédemment en fonction du type de projection choisi pour mapper la texture finale (projection cylindrique, projection sphérique, projection planaire), l'opérateur génère une texture, déplié de la zone polygonale correspondante. (figure 6) Lors de la captation photo, des photos haute résolution on été faite du visage et du corps. Au moyen d'un logiciel permettant de retoucher, recadrer, redimensionner cette image et de la mixer avec des partie des photos de références, l'opérateur prépare

<Desc/Clms Page number 9>

les textures (figures 7a et 7b) et met en correspondance les textures précédemment générées avec les morceaux de photos découpées et redimensionnée numériquement. Au moyen d'un logiciels permettant de visualiser et changer les valeurs des coordonnées uv d'un objet 3D en visualisant ces valeurs sous formes de points manipulables à la souris (uvUnwrap), points en surimpression avec la texture de référence projetée sur l'objet suivant ces coordonnées, l'opérateur ajuste les textures sur le polygones correspondant afin d'éviter de trop grandes déformations dues aux types de projections choisies de base. (figure 8) A la fin de cette manipulation, le modèle mappé du personnage est achevé avec le niveau de réalisme que revendique cette invention. (figure 9). La banque de texture est stockée sur disque ainsi que la géométrie du personnage.

La quatrième étape est la création du squelette du personnages. L'opérateur utilise un logiciel permettant de créer une hiérarchie d'objets 3D ayant un repère local. Ces objets, manipulables et représentés sous formes de polygones sont nommés bones ou os.

L'opérateur crée à l'intérieur du volume tridimensionnel du personnage créé précédemment, un réseau d'os en tenant compte de la morphologie intrinsèque d'un humain. (1 sur la figure 10 pour le visage). La figure 11a indique quelques-uns de ces os pour le corps ; 1 tête, 2 cou, 3 clavicule gauche, 4 bras gauche, 5 avant-bras gauche, 6 main, 7 majeur gauche phalange A, 8 majeur gauche phalange B, 9 majeur gauche phalange C, 10 poitrine haute, 11 poitrine basse, 12 abdomen, 13 hanche droite, 14 jambe droite, 15 tibia droit, 16 pied droit, 17 cul ou pivot principal du personnage. Le nombre d'os est variable suivant l'utilisation finale du personnage dans un cadre industriel. On aurait pu avoir moins d'os dans les mains si les doigts du personnage ne nécessitent pas d'animation.

Ces os sont hiérarchisés c'est à dire que l'opérateur crée des listes chaînées pére-fils ou le repère du fils devient relatif au repère de son père. La nomenclature de ces os peut être normalisé ainsi que la hiérarchie du corps comme le montre la figure llb.

<Desc/Clms Page number 10>

La cinquième étape est le paramétrage des vertex de l'enveloppe polygonale créée lors de la deuxième étape avec les os crées précédemment. Au moyen d'un logiciel qui met en liaison les repères de ces objets (os) et les vertex composant un objet tridimensionnel de la même scène afin d'effectuer des déplacements de ces vertex en fonction du temps et de la valeurs de rotation du repère du ou des os associés (technologie de vertex blending ), l'opérateur sélectionne manuellement les vertex rentrant dans le zone d'influence de chacun des os. 1 sur la figure 12.

Chaque vertex en plus de ses coordonnées x, y, z stocke une information de pondération et le nom du repère qui va l'influencer lors de ses rotations (rotation d'un os). Chaque vertex peut être dans le champs d'influence de plusieurs os avec des valeurs (poids) différents.

Sur le figure 13, on détermine quatre valeurs de poids (du noir au gris clair) pour les vertex influencés par l'avant bras gauche du personnage. (vertex 1,2, 3,4).

Lorsque l'avant bras effectuera dans le temps une rotation en x, y ou z autour de son repère, les vertex le plus foncés vont suivre le mouvement avec plus d'amplitude que les vertex en gris clair.

Ce moyen logiciel permet de donner une effet d'étirement automatique de la peau lorsqu'un os tourne et de simuler le présence d'un muscle.

L'opérateur fait ce travail sur tout le corps et le visage et ce paramétrage est stocké sur disque avec le squelette hiérarchisé.

La sixième étape est la constitution d'une base de donné de forme de bouche et d'expressions faciale pour notre personnage.

Au moyen de photo prises lors de l'étape 1, l'opérateur dispose d'une série de photo du visage face et profil gauche détaillant distinctement le déformation de la bouche lors de la prononciation de phonèmes. La liste des phonèmes diffère si elle est destinée à une détection de phrases françaises ou anglaises. Dans ce mode de réalisation, nous avons choisi des phonèmes français :

Figure 14 ; la liste est a , an , cheu , é , è , eu , feu , i , o , ou , geu , sss et bouche fermée.

Ces 13 formes de bouches sont suffisantes pour avoir le

<Desc/Clms Page number 11>

niveau de réalisme revendiqué par l'invention. A partir du volume original, pour chaque phonème, et en utilisant les mêmes moyens que l'étape deux, l'opérateur modifie la position des vertex originaux en vue de face puis en vue de profil pour reconstituer une nouvelle géométrie tridimensionnelle similaire au volume des photos de référence. A la fin de ce travail, treize nouvelle géométrie sont ainsi créée et vont constituer un base de donnée de forme de bouche prête à l'emploi.

Le même opération est effectuée avec la série de photo des expressions (figure 15). Cette liste est non exhaustive mais suffisante pour couvrir la majorité des besoin en animation faciale ; expression de colère, joie, malice, moquerie, peur, sourire, surprise, tristesse et doute. Lors de la captation, une video est réalisée, on filme de face le modèle qui prononce une phrase type contenant l'ensemble des phonèmes cidessus. La phrase est chameau, Champagne, étonner, entière, demeure, effondrer, hystérique, route, gâteau, sensation Pour animer cette base de donnée, l'opérateur utilise un moyen logiciel permettant de mettre en liaison un objet polygonale source avec un objet cible ayant le même nombre de polygones triés dans le même ordre afin d'interpoler les positions relatives des vertex de la source vers celle des vertex cibles correspondants en fonctions du temps et de la position relative au repère de l'objet du vertex source. (technologie de morphing 3D). Cela permet de faire de l'animation faciales et corporelle en déplaçant la peau et en simulant la présence de muscle.

Si le logiciel permet aussi de faire l'opération cidessus vers N objets cibles sur N canaux en faisant au préalable une moyenne du delta séparant les position relatives des vertex cibles avec les vertex sources.

(technologie de morphing 3D multicouches) alors il sera possible de mélanger plusieurs expressions ou forme de bouche d'un personnage en fonction du temps.

Lors de l'animation faciale, les clef de morph créée par l'opérateur peuvent se combiner avec les animation des os du visage pour donner plus de réalisme au visage. L'invention propose donc un ensemble de solutions combinables lors d'application industrielle.

<Desc/Clms Page number 12>

Des logiciel de reconnaissance de phonème comme ceux de la société Syncmagict, Tapage@ ou comme MagpiePro de ThirdwishO permettent en quasi-temps réel de placer dans le temps les formes de bouches correspondant aux dialogues enregistrés en studio.

Après un phase d'apprentissage où un technicien crée une banque d'échantillon sonores pour chaque phonème, le logiciel analyse l'échantillon d'une phrase et retrouve les correspondances sonores. Un fichier est ainsi généré et permet de connaître à l'image près, la forme de bouche correspondant aux phrases échantillonnées. Ce type de fichier est relu par des logiciels comme 3dsmax= de Discreet Logic @ et ce dernier met en mouvement la base de donnée de morph préparée par l'invention pour faire parler dans le temps notre personnage.

Afin de valider les banques de formes de bouche et d'expressions, la personnalité réelle prononce la phrase type décrite ci-dessus. Ensuite, on procède à une comparaison visuelle entre la vidéo et l'animation 3D.

Cette technique dite de rotoscopie 3D peut s'appliquer aussi au corps. L'animateur ne place dans le temps que des informations clefs et l'ordinateur interpole les mouvements intermédiaires du squelette, des muscles et de la peau.

La méthode manuelle (dite de Keyframing) est économique en mémoire et en taux de transfert sur Internet, mais moins précise que la technique ci-dessous pour des animations Hyperréalistes.

En effet, , les techniques de motion capture permettent d'enregistrer les mouvements du squelette 50 fois/ seconde.

Néanmoins, les retouches du mouvement enregistré sont quasi impossibles.

Les technologies de motion capture optique, magnétique ou chromatique permettent de capturer le mouvement de la personnalité réelle. Des capteurs sont placés sur le corps et le visage de la personnalité ou d'une doublure.

Les positions et rotations des capteurs sont enregistrées puis appliquées, à l'aide de logiciels de production, sur les pivots de translation et de

<Desc/Clms Page number 13>

rotation du squelette.

Ainsi, le squelette virtuel reproduit le mouvement réel.

On peut capter grâce à cette technique, les mouvements faciaux, corporels, ainsi que les accessoires (robe, cheveux,...).

Le plus difficile étant de capter le mouvement des pupilles.

VIE ARTIFICIELLE
A ce stade de création de l'avatar, nous avons reconstitué les parties mécaniques du personnage.

La mise en mouvement de cette mécanique peut être prédéterminée (scénario) ou bien, on laisse le soin à un moteur de vie artificielle de piloter le squelette du personnage.

Ce moteur est composé : (voir figure 16) - de capteurs : ils stimulent l'organe de décision en envoyant régulièrement des informations issues du monde extérieur (clic de souris, text au clavier, question au micro, commande du système d'exploitation...).

- d'un organe de décision : il traite des informations provenant des capteurs, interroge ses sous-organes d'analyses et déclenche certains actionneurs. L'organe de décisions sera associé à un système expert qui travaille en liaison avec une base de connaissance.

- d'actionneurs : ils communiquent à certaines parties du squelette le mouvement à effectuer, ou bien envoie une commande au système d'exploitation ou bien affiche du texte ou joue un son.

EX 1 : l'internaute clique sur l'oeil droit de l'avatar Le capteur associé à l'oeil envoie une information d'énergie négative à la base de décision.

L'organe de décision interroge son sous-organe d'analyses comportementales et interprète ce signal en 2 causes : agression extérieure et douleur, provoquant les effets de protection et de rictus faciaux associés à la douleur.

Par conséquent, les actionneurs déclenchent la

<Desc/Clms Page number 14>

fermeture de l'oeil (= protection) ainsi que l'expression de douleur (= rictus faciaux) et joue un son de douleur.

EX 2 : L'internaute pose une question
Le capteur associé au clavier envoie une information à l'organe de décision ; ce dernier interroge un organe d'analyses syntaxiques et sémantiques ainsi qu'un deuxième sous-organe d'analyses comportementales.

L'analyseur syntaxique et sémantique communique : la réponse, l'analyseur comportementale : les rictus associés.

Par conséquent, les actionneurs déclenchent la voix et les mouvements de bouche, de même que les expressions du visage.

Des séances de questionnaires et de tests sont effectuées sur la personnalité, afin de déterminer ses divers comportements.

Comme l'indiquent les exemples ci-dessus, les application industrielle utilisant un personnage sont nombreuses. Pour le cinéma et la télévision, l'image tridimensionnelle du personnage créé par l'invention sera exploitée telle quelle au sein d'un scénario linéaire et avec une mise en scène adéquate. Pour des application Internet, la base de donnée sera compressée avec des algorithmes différents suivant la nature des données. On distingue les données polygonales (volume, squelette, phonèmes et expressions), les textures (la peau, la couleur), l'animation (keyframe ou motion capture), le son et le texte (sous titrage). Les donnée constituant le visuel (volume du personnage) sont d'abord envoyées au terminal de visualisation, puis sa couleur, sa matière (texture) puis son mouvement associé au son et au texte. Cette technologie de streaming est parfaitement maîtrisé par la société QEDSOFT@ spécialisée dans la diffusion de personnage 3D sur Internet. Quant à l'association d'un personnage complet avec un moteur comportementale pour une diffusion interent, c'est la spécialité de société comme La Cantochet.

Claims (12)

1. REVENDICATIONS 1-Procédé de modélisation, de colorisation et d'animation d'un personnage numérique tridimensionnel à partir d'images multivues (face, profil droit, profil gauche, trois quart, dos) spatialement et temporellement identiques représentant ledit personnage, destiné à produire un modèle dudit personnage consistant en une pluralité d'os (le squelette) associés à une pluralité de points de contrôle (metastructure nurbs) caractéristiques, une pluralité de vertex générées par une pluralité de points de contrôle caractéristiques, une pluralité de polygones (le volume tridimensionnel) définis à partir desdits vertex caractéristiques, une pluralité de groupes de polygones caractéristiques définis à partir desdits polygones caractéristiques et une pluralité de textures projetées sur ces groupes de polygones, constituant la peau dudit personnage, caractérisé en ce qu'il comporte les étapes suivantes - capter, au moyen de deux appareils photographiques numériques, synchronisés, une série d'images du personnage réel - définir le volume tridimensionnel en détectant les coordonnées spatiales des points de contrôle caractéristiques de la topologie dudit personnage à l'aide des images multivues, - effectuer au moyen d'un logiciel une étape de maillage en générant par interpolation à partir des points de contrôle caractéristiques, les vertex constituant les polygones dudit personnage, - appliquer, au moyen d'un logiciel, des coordonnés UV aux vertex des groupes de polygones sélectionnés sur le volume tridimensionnel créé précédemment - créer, au moyen d'un logiciel, des textures de référence représentant la projection planaire, sphérique ou cylindrique du maillage de ces groupes de polygones.

   - créer, au moyen d'un logiciel, les textures finales, en découpant, assemblant numériquement les photos du personnage réel en fonction des textures de référence générées précédemment.

   - assigner aux groupes de polygones les textures finales ainsi crées, par projection planaire, sphérique

   <Desc/Clms Page number 16>

   ou cylindrique sur les plans définis par chacun des polygones - associer, au moyen d'un logiciel, des groupes de vertex du personnage à des os afin de simuler les muscles du personnage - appliquer au moyen d'un moteur comportemental des transformations vectorielles sur les os afin de mettre en mouvement le maillage du personnage.
2. 2-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour capter les images multivues, un opérateur effectue, une séance de captation photo au moyen d'un système de deux appareils photographiques synchronisés par un déclencheur manuelle, pour avoir une série d'images du visage et du corps sous différente vue ; face, profil droit, profil gauche, dos, trois-quart, temporellement et spatialement identiques.
3. 3-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour créer le volume tridimensionnel, un opérateur choisira comme moyen logiciel, un mode de modélisation à base de métastructure nurbs afin de pouvoir créer des points de contrôle et générer ensuite par interpolation une résolution polygonale variable du maillage de son modèle.
4. 4-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour créer le volume tridimensionnel, un opérateur crée à l'aide du cliché de face du modèle, au moyen d'un logiciel, des points de contrôle caractéristiques de la topologie de l'image puis ajuste ces points de contrôle sur un autre plan de l'espace 3D à partir du cliché profil et détermine ainsi manuellement la disparité spatiale entre les images multivues ainsi que les coordonnées spatiales des points de contrôle.
5. 5-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour créer le volume tridimensionnel, un opérateur dispose spatialement les points de contrôle sur des courbes circulaires autour du nez, de la bouche, des yeux, des

   <Desc/Clms Page number 17>

   oreilles et des seins.
6. 6-Procédé de colorisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour créer la peau (couleur de la surface), un opérateur, par moyen logiciel, sélectionnera un groupe de polygones caractéristiques et appliquera des coordonnées UV de base définissant le type de projection utilisée par la suite (planaire, cylindrique ou sphérique) pour projeter la texture finale sur le plan de chacun des polygones ; ces valeurs étant stockées dans chacun des vertex constituant les polygones du groupe.
7. 7-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour créer la peau, un opérateur générera par moyen logiciel une texture de référence (textureUnwrap) représentant la projection planaire du maillage du groupe de polygone sélectionné précédemment en fonction des valeurs des coordonnées uv de chaque vertex de la sélection.
8. 8-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour créer les textures finales faisant office de peau, un opérateur met en correspondance par moyen logiciel les textures de référence précédemment générées, revendication 7, avec les photos issues de la captation en les découpant, les mixant et les déformant numériquement.
9. 9-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour ajuster une texture finalisée sur le volume tridimensionnel, un opérateur, au moyen d'un logiciel permettant de changer les valeurs des coordonnées uv des vertex en visualisant ces valeurs sous formes de points manipulables à la souris (uvUnwrap), points en surimpression avec la texture, corrige le placement de la texture sur les polygones correspondant afin d'éviter de trop grandes déformations dues au type de projection choisi.
10. 10-Procédé de modélisation d'un personnage virtuel

    <Desc/Clms Page number 18>

    arborescence similaire à la figure llb.

    

    selon la revendication 1, caractérisé en ce que, pour créer le squelette, un opérateur, au moyen d'un logiciel permettant de créer une hiérarchie d'objets 3D ayant chacun un repère local, crée un réseau d'objets 3D chainés pére-fils où le repère du fils est relatif au repère de son père, en tenant compte de la morphologie intrinsèque d'un humain et avec une
11. 11-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour créer les muscles virtuels du personnage, l'opérateur détermine, au moyen d'un logiciel, des vertex rentrant dans une zone d'influence dont le centre est le repère d'un ou plusieurs os associés, et leur attribue une valeur d'influence, variable suivant la distance entre l'origine du repère de l'os et la position du vertex.
12. 12-Procédé de modélisation d'un personnage virtuel selon la revendication 1, caractérisé en ce que, pour animer les os constituant le squelette du personnage, on pilotera leurs rotations et leurs translations avec un moteur comportementale composé : de capteurs, d'un organe de décision et d'actionneurs.