EP2556660A1 - Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video - Google Patents

Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video

Info

Publication number
EP2556660A1
EP2556660A1 EP11718446A EP11718446A EP2556660A1 EP 2556660 A1 EP2556660 A1 EP 2556660A1 EP 11718446 A EP11718446 A EP 11718446A EP 11718446 A EP11718446 A EP 11718446A EP 2556660 A1 EP2556660 A1 EP 2556660A1
Authority
EP
European Patent Office
Prior art keywords
image
user
avatar
entity
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11718446A
Other languages
German (de)
English (en)
Inventor
Brice Leclerc
Olivier Marce
Yann Leprovost
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of EP2556660A1 publication Critical patent/EP2556660A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Definitions

  • An aspect of the invention relates to a method of real-time clipping of a real entity recorded in a video sequence, and more particularly the clipping in real time of a part of the body of a user in a video sequence using the corresponding body part of an avatar.
  • Such a method finds a particular and non-exclusive application in the field of virtual reality, in particular the animation of an avatar in an environment called virtual or said mixed reality.
  • FIG 1 shows an example of virtual reality application in the context of a multimedia system, for example videoconferencing or online games.
  • the multimedia system 1 comprises several multimedia devices 3, 12, 14, 16 connected to a telecommunications network 9 enabling the transmission of data and a remote application server 10.
  • the users 2, 11, 13 Respective multimedia devices 3, 12, 14, 16 can interact in a virtual environment or a mixed reality environment (shown in Figure 2).
  • the remote application server 10 can manage the virtual or mixed reality environment 20.
  • the multimedia device 3 comprises a processor 4, a memory 5, a connection module 6 to the telecommunications network 9, display means and interaction 7, and a camera 8 for example a webcam.
  • the other multimedia devices 12, 14, 16 are equivalent to the multimedia device 3 and will not be described in more detail.
  • FIG. 2 illustrates a virtual or mixed reality environment in which an avatar 21 evolves.
  • the virtual or mixed reality environment 20 is a graphical representation imitating a world in which the users 2, 11, 13, 15 can evolve, interact, and / or collaborate, etc.
  • each user 2, 11, 13, 16 is represented by his avatar 21, that is to say a representation virtual graphic of a human being.
  • dynamics or in real time is meant to reproduce the movements, postures, real appearances of the head of the user 2, 11, 13 or 15 in front of his multimedia device 3, 12, 14, 16 in a synchronous manner. or quasi-synchronously on the head 22 of the avatar 21.
  • a video is understood to mean a visual or audiovisual sequence comprising a succession of images.
  • US 2009/202114 discloses a computer implemented video capture method comprising identifying and tracking a face in a plurality of video frames in real time on a first computing device, the generation of data representative of the face identified and continued, and the transmission of the face data to a second computing device via a network for displaying the face on an avatar body by the second computing device.
  • contour recognition algorithms require a well-contrasted video image. This can be done in the studio with ad hoc lighting. On the other hand, this is not always possible with a Webcam-type camera and / or in the bright environment of a room in a residential or office building.
  • contour recognition algorithms require a high computing power on the part of the processor. In general, such computing power is not currently available on standard multimedia devices such as personal computers, laptops, PDAs (Personal Digital Assistant PDAs) or smart phones ( from the English "smartphone").
  • the method comprises the steps of:
  • the method may further comprise a step of merging the body part of the avatar with the cut-out image.
  • the real entity may be a part of a user's body
  • the virtual entity may be the part of the corresponding body of an avatar intended to reproduce an appearance. of the body part of the user, the method includes the steps:
  • the step of determining the orientation and / or scale of the image comprising the body part of the recorded user can be performed by a head tracking function applied to said image.
  • the steps of orientation and scaling, contour extraction, and merger can take into account points or areas of the remarkable part of the body of the avatar or the user.
  • the body part of the avatar can be a three-dimensional representation of said part of the body of the avatar.
  • the clipping method may further include an initialization step of shaping the three-dimensional representation of the body part of the body. the avatar according to the body part of the user whose appearance is to be reproduced.
  • the body part can be the head of the user or the avatar.
  • the invention relates to a multimedia system comprising a processor implementing the clipping method according to the invention.
  • the invention relates to a computer program product intended to be loaded into a memory of a multimedia system, the computer program product comprising portions of software code implementing the method. according to the invention when the program is executed by a processor of the multimedia system.
  • the invention makes it possible effectively to detach zones representing an entity in a video sequence.
  • the invention also allows to merge in real time an avatar and a video sequence with sufficient quality to provide a sense of immersion in a virtual environment.
  • the method of the invention consumes few resources of the processor and uses functions generally encoded in graphics cards. It can therefore be implemented with standard multimedia devices such as personal computers, laptops, PDAs or smart phones. It can use images with low contrast or with faults from webcam type camera.
  • Figure 1 represents a virtual reality application in the context of a multimedia videoconferencing system or online games
  • Figure 2 illustrates a virtual or mixed reality environment in which an avatar evolves
  • FIGS. 3A and 3B are a block diagram illustrating an embodiment of the method of real-time clipping of a user's head recorded in a video sequence according to the invention.
  • FIGS. 4A and 4B are a block diagram illustrating another embodiment of the method of real-time clipping of a user's head recorded in a video sequence according to the invention.
  • Figures 3A and 3B are a block diagram illustrating an embodiment of the real-time clipping method of a user's head recorded in a video sequence.
  • a first step S1 at a given instant an image 31 is extracted EXTR of the video sequence 30 of the user.
  • a video sequence is understood to mean a succession of images recorded for example by the camera (see FIG. 1).
  • a HTFunc head tracking function is applied to the extracted image 31.
  • the head tracking function is used to determine the scale E and the orientation O of the user's head. It uses the remarkable position of certain points or areas of the face 32, for example the eyes, the eyebrows, the nose, the cheeks, the chin.
  • Such a head tracking function can be implemented by the software application "faceAPI" marketed by Seeing Machines.
  • a three-dimensional avatar head 33 is oriented ORI and scaled ECH in a manner substantially identical to that of the head of the extracted image based on the O orientation and the determined £ scale.
  • the result is a three-dimensional avatar head 34 of size and orientation consistent with the image of the extracted head 31.
  • This step uses standard rotation and scaling algorithms.
  • a fourth step S4 the head of the three-dimensional avatar 34 of size and orientation according to the image of the extracted head is POSI positioned as the head in the extracted image 31. It is in results in identical positioning Of the two heads with respect to the image.
  • This step uses standard translation functions, translations taking into account points or remarkable areas of the face, such as the eyes, eyebrows, nose, cheeks, and / or chin as well as the remarkable points coded for the head. 'avatar.
  • a fifth step S5 the head of the positioned three-dimensional avatar 35 is projected PROJ on a plane.
  • a projection function on a standard plane for example a transformation matrix can be used.
  • only the pixels of the extracted image 31 located within the contour 36 of the head of the projected three-dimensional avatar are selected PIX SEL and preserved.
  • a standard AND function can be used. This selection of pixels form a clipped head image 37, which is a function of the projected head of the avatar and the image resulting from the video sequence at the given moment.
  • the clipped head image 37 can be positioned, applied and substituted SUB to the head 22 of the avatar 21 evolving in the virtual environment or mixed reality 20.
  • the avatar present in the virtual environment or mixed reality environment the actual head of the user in front of his multimedia device substantially at the same given instant.
  • the detoured head image is placed on the head of the avatar, the elements of the avatar, for example the hair, are covered by the cut-out head image 37.
  • step S6 may be considered optional when the clipping method is used to filter a video sequence and extract only the face of the user. In this case, no image of a virtual environment or mixed reality is displayed.
  • Figures 4A and 4B are a block diagram illustrating another embodiment of the real-time clipping method of a user's head recorded in a video sequence.
  • the area of the avatar head 22 corresponding to the face is specifically encoded in the three-dimensional avatar head model. This may be for example the absence of the corresponding pixels or transparent pixels.
  • a first step S1A at a given instant an image 31 is extracted EXTR of the video sequence 30 of the user.
  • an HTFunc head tracking function is applied to the extracted image 31.
  • the head tracking function is used to determine the orientation O of the user's head. It uses the remarkable position of certain points or areas of the face 32, for example the eyes, the eyebrows, the nose, the cheeks, the chin.
  • Such a head tracking function can be implemented by the software application "faceAPI" marketed by Seeing Machines.
  • a third step S3A the virtual environment or mixed reality 20 in which the avatar 21 evolves is calculated and a three-dimensional avatar head 33 is oriented ORI in a manner substantially identical to that of the head of the extracted image based on the determined orientation O. This results in a three-dimensional avatar head 34A oriented according to the image of the extracted head 31.
  • This step uses a standard rotation algorithm.
  • a fourth step S4A the image 31 extracted from the video sequence is positioned POSI and scaled ECH as the head of the three-dimensional avatar 34A in the virtual environment or mixed reality 20. This results in an alignment of the image extracted from the video sequence 38 and the head of the avatar in the virtual or mixed reality environment 20.
  • This step uses standard translation functions, the translations taking into account noticeable points or areas of the face, such as the eyes, eyebrows, nose, cheeks, and / or chin, and the notable points coded for the avatar head.
  • a fifth step S5A the image of the virtual environment or mixed reality 20 in which the avatar 21 evolves is drawn taking care not to draw the pixels that are behind the area of the head of the avatar 22 corresponding to the oriented face, these pixels being easily identifiable thanks to the specific coding of the area of the head of the avatar 22 corresponding to the face and by a simple projection.
  • a sixth step S6A the image of the virtual environment or of mixed reality 20 and the image extracted from the video sequence comprising the head of the user translated and scaled 38 are superimposed SUP.
  • the pixels of the image extracted from the video sequence comprising the user's head translated and scaled behind the area of the head of the avatar 22 corresponding to the Oriented faces are embedded in the virtual image at the depth of the deepest pixels of the avatar's facing face.
  • the avatar presents in the virtual environment or the mixed reality environment the real face of the user in front of his multimedia device substantially at the same given instant.
  • the image of the virtual environment or mixed reality 20 having the face of the cut-out avatar is superimposed on the image of the user's head translated and scaled 38, the elements of the avatar, for example the hair, are visible and covers the image of the user.
  • the three-dimensional avatar head 33 is derived from a three-dimensional numerical model. It is quick and easy to calculate regardless of the orientation and size of the three-dimensional avatar head for standard multimedia devices. It's the same for its projection on a plane. Thus, the whole sequence gives a qualitative result even with a standard processor.
  • an initialization step (not shown) can be performed only once before the implementation of the sequences S1 to S6 or S1A to S6A.
  • a three-dimensional avatar head is modeled according to the user's head. This step can be done manually or automatically from an image or multiple images of the user's head taken from different angles. This step makes it possible to precisely distinguish the silhouette of the three-dimensional avatar head that will be most suitable for the real-time clipping method according to the invention.
  • the adaptation of the avatar to the head of the user on the basis of a photo can be achieved through a software application such as for example "FaceShop" marketed by Abalone.
  • the invention has just been described in connection with a particular example of mixing between an avatar head and a user's head. Nevertheless, it is obvious to one skilled in the art that the invention can be extended to other parts of the body, for example any member, or a more precise part of the face such as the mouth, etc. It is also applicable to body parts of animals, or objects, or elements of a landscape, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Une méthode de détourage en temps réel d'une entité réelle en mouvement dans un environnement réel enregistrée dans une séquence vidéo, l'entité réelle étant associée à une entité virtuelle, la méthode comportant les étapes; extraction (S1, S1A) à partir de la séquence vidéo d'une image comportant l'entité réelle enregistrée, détermination d'une échelle et/ou d'une orientation (S2, S2A) de l'entité réelle à partir de l'image comportant l'entité réelle enregistrée, transformation (S3, S4, S3A, S4A) propre à mettre à l'échelle, orienter et positionner d'une manière sensiblement identique l'entité virtuelle et l'entité réelle enregistrée, et substitution (S5, S6, S5A, S6A) de l'entité virtuelle par une image détourée de l'entité réelle, l'image détourée de l'entité réelle étant une zone de l'image comportant l'entité réelle enregistrée délimitée par un contour de l'entité virtuelle.

Description

Une méthode de détourage en temps réel d'une entité réelle enregistrée dans une séquence vidéo
[0001] DOMAINE DE L'INVENTION
[0002] Un aspect de l'invention concerne une méthode de détourage en temps réel d'une entité réelle enregistrée dans une séquence vidéo, et plus particulièrement le détourage en temps réel d'une partie du corps d'un utilisateur dans une séquence vidéo en utilisant la partie du corps correspondante d'un avatar. Une telle méthode trouve une application particulière et non exclusive dans le domaine de la réalité virtuelle, en particulier l'animation d'un avatar dans un environnement dit virtuel ou dit de réalité mixte.
[0003] ETAT DE LA TECHNIQUE ANTERIEURE
[0004] La Figure 1 représente un exemple d'application de réalité virtuelle dans le cadre d'un système multimédia, par exemple de vidéoconférence ou de jeux en ligne. Le système multimédia 1 comporte plusieurs dispositifs multimédia 3, 12, 14, 16 connectés à un réseau de télécommunication 9 permettant la transmission de données et un serveur distant d'application 10. Dans un tel système multimédia 1 , les utilisateurs 2, 11 , 13, 15 des dispositifs multimédia 3, 12, 14, 16 respectifs peuvent interagir dans un environnement virtuel ou un environnement de réalité mixte 20 (représenté à la Figure 2). Le serveur distant d'application 10 peut gérer l'environnement virtuel ou de réalité mixte 20. Typiquement, le dispositif multimédia 3 comporte un processeur 4, une mémoire 5, un module de connexion 6 au réseau de télécommunication 9, des moyens d'affichage et d'interaction 7, et une caméra 8 par exemple une webcam. Les autres dispositifs multimédia 12, 14, 16 sont équivalents au dispositif multimédia 3 et ne seront pas décrits plus en détails.
[0005] La Figure 2 illustre un environnement virtuel ou de réalité mixte 20 dans lequel évolue un avatar 21. L'environnement virtuel ou de réalité mixte 20 est une représentation graphique imitant un monde dans lequel les utilisateurs 2, 11 , 13, 15 peuvent évoluer, interagir, et/ou collaborer, etc .... Dans l'environnement virtuel ou de réalité mixte 20, chaque utilisateur 2, 11 , 13, 16 est représenté par son avatar 21 , c'est-à-dire une représentation graphique virtuelle d'un être humain. Dans l'application précitée, il est intéressant de mixer en temps réel la tête 22 de l'avatar avec une vidéo de la tête de l'utilisateur 2, 11 , 13 ou 15 prise par la caméra 8, ou en d'autres termes de substituer la tête de l'utilisateur 2, 11 , 13 ou 15 à la tête 22 de l'avatar 21 correspondant d'une manière dynamique ou en temps réel. On entend par dynamique ou en temps réel, le fait de reproduire les mouvements, postures, apparences réels de la tête de l'utilisateur 2, 11 , 13 ou 15 se trouvant devant son dispositif multimédia 3, 12, 14, 16 de manière synchrone ou quasi-synchrone sur la tête 22 de l'avatar 21. On entend par vidéo une séquence visuelle ou audiovisuelle comportant une succession d'image.
[0006] Le document US 2009/202114 décrit un procédé de capture vidéo mis en œuvre par ordinateur comprenant l'identification et la poursuite d'un visage dans une pluralité de trames vidéo en temps réel sur un premier dispositif de calcul, la génération de données représentatives du visage identifié et poursuivi, et la transmission des données du visage à un deuxième dispositif de calcul par l'intermédiaire d'un réseau pour l'affichage du visage sur un corps d'avatar par le deuxième dispositif de calcul.
[0007] Le document de SONOU LEE et al: "CFBOXTM : superimposing 3D human face on motion picture", PROCEEDINGS OF THE SEVENTH INTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMS AND MULTIMEDIA BERKELEY, CA, USA 25-27 Octobre 2001 , LOS ALAMITOS, CA, USA, IEEE COMPUT. SOC, US LNKD- DOI:10.1109A SMM.2001.969723, 25 octobre 2001 (2001-10-25), pages 644-651 , XP01567131 ISBN: 978-0-7695-1402-4 décrit un produit dénommé CFBOX lequel constitue une sorte de studio de film commercial personnel. Il remplace le visage de la personne avec celui d'un visage modélisé d'un utilisateur en utilisant, en temps réel, une technologie d'intégration de visage tridimensionnel. Il propose aussi des fonctionnalités de manipulation pour changer la texture du visage modélisé au gout de chacun. Il permet donc la création de vidéo numérique personnalisée.
[0008] Cependant, détourer la tête issue de la vidéo de l'utilisateur prise par la caméra à un instant donné, l'en extraire, puis la coller sur la tête de l'avatar et répéter cette séquence à des instants ultérieurs est une opération délicate et coûteuse lorsqu'un rendu réel est recherché. D'une part, les algorithmes de reconnaissance de contour nécessitent une image vidéo bien contrastée. Ceci peut être obtenu en studio avec un éclairage ad hoc. A contrario, ceci n'est pas toujours possible avec une caméra de type webcam et/ou dans l'environnement lumineux d'une pièce d'un bâtiment à usage d'habitation ou de bureau. D'autre part, les algorithmes de reconnaissance de contour nécessitent une puissance de calcul importante de la part du processeur. De manière générale, une telle puissance de calcul n'est pas actuellement disponible sur les dispositifs multimédias standards tels que des ordinateurs personnels, des ordinateurs portables, des assistants personnels (de l'anglais "Personal Digital Assistant PDA") ou des téléphones intelligents (de l'anglais "smartphone").
[0009] Par conséquent, il existe un besoin pour une méthode de détourage en temps réel d'une partie du corps d'un utilisateur dans une vidéo en utilisant la partie du corps correspondante d'un avatar avec une qualité suffisante propre à procurer un sentiment d'immersion dans l'environnement virtuel et pouvant être mise en œuvre avec les dispositifs multimédia standards précités.
[0010] EXPOSE DE L'INVENTION
pou] Un but de l'invention est de proposer une méthode de détourage en temps réel d'une zone d'une vidéo, et plus particulièrement le détourage en temps réel d'une partie du corps d'un utilisateur dans une vidéo en utilisant la partie du corps
correspondante d'un avatar destinée à reproduire une apparence de la partie du corps de l'utilisateur, et la méthode comporte les étapes:
- extraction à partir de la séquence vidéo d'une image comportant la partie du corps de l'utilisateur enregistrée,
- détermination d'une orientation et d'une échelle de la partie du corps de l'utilisateur dans l'image comportant la partie du corps de l'utilisateur enregistrée,
- orientation et mise à l'échelle de la partie du corps de l'avatar d'une manière sensiblement identique à celle de la partie du corps de l'utilisateur, et
- utilisation d'un contour de la partie du corps de l'avatar pour former une image détourée de l'image comportant la partie du corps de l'utilisateur enregistrée, l'image détourée étant limitée à une zone de l'image comportant la partie du corps de l'utilisateur enregistrée contenue dans le contour.
[0012] La méthode peut en outre comporter une étape de fusion de la partie du corps de l'avatar avec l'image détourée. [0013] Selon un autre mode de réalisation de l'invention, l'entité réelle peut être une partie du corps d'un utilisateur, et l'entité virtuelle peut être la partie du corps correspondante d'un avatar destinée à reproduire une apparence de la partie du corps de l'utilisateur, la méthode comporte les étapes:
- extraction à partir de la séquence vidéo d'une image comportant la partie du corps de l'utilisateur enregistrée,
- détermination d'une orientation de la partie du corps de l'utilisateur à partir de l'image comportant la partie du corps de l'utilisateur,
- orientation de la partie du corps de l'avatar d'une manière sensiblement identique à celle de l'image comportant la partie du corps de l'utilisateur enregistrée,
- translation et mise à l'échelle de l'image comportant la partie du corps de l'utilisateur enregistrée pour l'aligner avec la partie du corps correspondante de l'avatar orientée,
- dessin d'une image de l'environnement virtuel dans laquelle une zone détourée délimitée par un contour de la partie du corps de l'avatar orientée est codée par une absence de pixels ou des pixels transparents; et
- superposition de l'image de l'environnement virtuel à l'image comportant la partie du corps de l'utilisateur translatée et mise à l'échelle.
[0014] L'étape de détermination de l'orientation et/ou de l'échelle de l'image comportant la partie du corps de l'utilisateur enregistrée peut être réalisée par une fonction de suivie de tête appliquée à ladite image.
[0015] Les étapes d'orientation et mise à l'échelle, d'extraction du contour, et de fusion peuvent prendre en compte des points ou zones remarquables de la partie du corps de l'avatar ou de l'utilisateur.
[0016] La partie du corps de l'avatar peut être une représentation tridimensionnelle de ladite partie du corps de l'avatar.
[0017] La méthode de détourage peut en outre comporter une étape d'initialisation consistant à modeler la représentation tridimensionnelle de la partie du corps de l'avatar conformément à la partie du corps de l'utilisateur dont l'apparence doit être reproduite.
[0018] La partie du corps peut être la tête de l'utilisateur ou de l'avatar.
[0019] Selon un autre aspect, l'invention concerne un système multimédia comportant un processeur mettant en œuvre la méthode de détourage selon l'invention.
[0020] Selon encore un autre aspect, l'invention concerne un produit programme d'ordinateur destiné à être chargé dans une mémoire d'un système multimédia, le produit programme d'ordinateur comportant des portions de code de logiciel mettant en œuvre la méthode de détourage selon l'invention lorsque le programme est exécuté par un processeur du système multimédia.
[0021] L'invention permet de détourer efficacement des zones représentant une entité dans une séquence vidéo. L'invention permet aussi de fusionner en temps réel un avatar et une séquence vidéo avec une qualité suffisante propre à procurer un sentiment d'immersion dans un environnement virtuel. La méthode de l'invention consomme peu de ressources du processeur et utilise des fonctions généralement codées dans les cartes graphiques. Elle peut donc être mise en œuvre avec les dispositifs multimédia standards tels que des ordinateurs personnels, des ordinateurs portables, des assistants personnels ou des téléphones intelligents. Elle peut utiliser des images peu contrastées ou présentant des défauts issues de caméra du type webcam.
[0022] D'autres avantages ressortiront de la description détaillée de l'invention qui va suivre.
[0023] BREVE DESCRIPTION DES FIGURES
[0024] La présente invention est illustrée par des exemples non limitatifs sur les Figures jointes, dans lesquelles des références identiques indiquent des éléments similaires:
• La Figure 1 représente une application de réalité virtuelle dans le cadre d'un système multimédia de vidéoconférence ou de jeux en ligne; • La Figure 2 illustre un environnement virtuel ou de réalité mixte dans lequel évolue un avatar;
• Les Figures 3A et 3B sont un diagramme fonctionnel illustrant un mode de réalisation de la méthode de détourage en temps réel d'une tête d'un utilisateur enregistrée dans une séquence vidéo selon l'invention; et
• Les Figures 4A et 4Bsont un diagramme fonctionnel illustrant un autre mode de réalisation de la méthode de détourage en temps réel d'une tête d'un utilisateur enregistrée dans une séquence vidéo selon l'invention.
[0025] DESCRIPTION DETAILEE DE L'INVENTION [0026] Les Figures 3A et 3B sont un diagramme fonctionnel illustrant un mode de réalisation de la méthode de détourage en temps réel d'une tête d'un utilisateur enregistrée dans une séquence vidéo.
[0027] Lors d'une première étape S1 , à un instant donné une image 31 est extraite EXTR de la séquence vidéo 30 de l'utilisateur. On entend par séquence vidéo une succession d'images enregistrée par exemple par la caméra (voir Figure 1 ).
[0028] Lors d'une deuxième étape S2, une fonction de suivi de tête HTFunc est appliquée à l'image 31 extraite. La fonction de suivi de tête permet de déterminer l'échelle E et l'orientation O de la tête de l'utilisateur. Elle utilise la position remarquable de certains points ou zones du visage 32, par exemple les yeux, les sourcils, le nez, les joues, le menton. Une telle fonction de suivi de tête (de l'anglais "head tracker function") peut être mise en œuvre par l'application logicielle "faceAPI" commercialisée par la société Seeing Machines.
[0029] Lors d'une troisième étape S3, une tête d'avatar tridimensionnelle 33 est orientée ORI et mise à l'échelle ECH d'une manière sensiblement identique à celle de la tête de l'image extraite en se basant sur l'orientation O et l'échelle £ déterminées. Il en résulte une tête d'avatar tridimensionnelle 34 de taille et d'orientation conforme à l'image de la tête extraite 31. Cette étape utilise des algorithmes standards de rotation et de mise à l'échelle.
[0030] Lors d'une quatrième étape S4, la tête de l'avatar tridimensionnelle 34 de taille et d'orientation conforme à l'image de la tête extraite est positionnée POSI comme la tête dans l'image extraite 31. Il est en résulte un positionnement identique 35 des deux têtes par rapport à l'image. Cette étape utilise des fonctions de translation standards, les translations prenant en compte des points ou zones remarquables du visage, comme les yeux, les sourcils, le nez, les joues, et/ou le menton ainsi que les points remarquables codés pour la tête d'avatar.
[0031] Lors d'une cinquième étape S5, la tête de l'avatar tridimensionnelle positionnée 35 est projetée PROJ sur un plan. Une fonction de projection sur un plan standard, par exemple une matrice de transformation peut être utilisée. Ensuite, seuls les pixels de l'image extraite 31 se trouvant à l'intérieur du contour 36 de la tête de l'avatar tridimensionnelle projeté sont sélectionnés PIX SEL et conservés. Une fonction ET standard peut être utilisée. Cette sélection de pixels forment une image de tête détourée 37, fonction de la tête projetée de l'avatar et de l'image résultant de la séquence vidéo à l'instant donné.
[0032] Lors d'une sixième étape S6, l'image de tête détourée 37 peut être positionnée, appliquée et substituée SUB à la tête 22 de l'avatar 21 évoluant dans l'environnement virtuel ou de réalité mixte 20. De cette façon, l'avatar présente dans l'environnement virtuel ou l'environnement de réalité mixte la tête réelle de l'utilisateur se trouvant devant son dispositif multimédia sensiblement au même instant donné. Selon ce mode, comme l'image de tête détourée est plaquée sur la tête de l'avatar, les éléments de l'avatar, par exemple les cheveux, sont recouverts par l'image de tête détourée 37.
[0033] A titre d'alternative, l'étape S6 peut être considérée comme optionnelle lorsque la méthode de détourage est utilisée pour filtrer une séquence vidéo et n'en extraire que le visage de l'utilisateur. Dans ce cas aucune image d'un environnement virtuel ou de réalité mixte n'est affichée.
[0034] Les Figures 4A et 4B sont un diagramme fonctionnel illustrant un autre mode de réalisation de la méthode de détourage en temps réel d'une tête d'un utilisateur enregistrée dans une séquence vidéo. Dans ce mode de réalisation, la zone de la tête de l'avatar 22 correspondant au visage est codée de manière spécifique dans le modèle de tête d'avatar tridimensionnel. Il peut s'agir par exemple de l'absence des pixels correspondants ou de pixels transparents.
[0035] Lors d'une première étape S1A, à un instant donné une image 31 est extraite EXTR de la séquence vidéo 30 de l'utilisateur. [0036] Lors d'une deuxième étape S2A, une fonction de suivi de tête HTFunc est appliquée à l'image 31 extraite. La fonction de suivi de tête permet de déterminer l'orientation O de la tête de l'utilisateur. Elle utilise la position remarquable de certains points ou zones du visage 32, par exemple les yeux, les sourcils, le nez, les joues, le menton. Une telle fonction de suivi de tête (de l'anglais "head tracker function") peut être mise en œuvre par l'application logicielle "faceAPI" commercialisée par la société Seeing Machines.
[0037] Lors d'une troisième étape S3A, l'environnement virtuel ou de réalité mixte 20 dans lequel évolue l'avatar 21 est calculé et une tête d'avatar tridimensionnelle 33 est orientée ORI d'une manière sensiblement identique à celle de la tête de l'image extraite en se basant sur l'orientation O déterminée. Il en résulte une tête d'avatar tridimensionnelle 34A d'orientation conforme à l'image de la tête extraite 31. Cette étape utilise un algorithme standard de rotation.
[0038] Lors d'une quatrième étape S4A, l'image 31 extraite de la séquence vidéo est positionnée POSI et mise à l'échelle ECH comme la tête de l'avatar tridimensionnelle 34A dans l'environnement virtuel ou de réalité mixte 20. Il est en résulte un alignement de l'image extraite de la séquence vidéo 38 et de la tête de l'avatar dans l'environnement virtuel ou de réalité mixte 20. Cette étape utilise des fonctions de translation standards, les translations prenant en compte des points ou zones remarquables du visage, comme les yeux, les sourcils, le nez, les joues, et/ou le menton ainsi que les points remarquables codés pour la tête d'avatar.
[0039] Lors d'une cinquième étape S5A, l'image de l'environnement virtuel ou de réalité mixte 20 dans lequel évolue l'avatar 21 est dessinée en prenant soin de ne pas dessiner les pixels qui se trouvent derrière la zone de la tête de l'avatar 22 correspondant au visage orienté, ces pixels étant facilement identifiable grâce au codage spécifique de la zone de la tête de l'avatar 22 correspondant au visage et par une simple projection.
[0040] Lors d'une sixième étape S6A, l'image de l'environnement virtuel ou de réalité mixte 20 et l'image extraite de la séquence vidéo comportant la tête de l'utilisateur translatée et mise à l'échelle 38 sont superposées SUP. Alternativement, les pixels de l'image extraite de la séquence vidéo comportant la tête de l'utilisateur translatée et mise à l'échelle 38 derrières la zone de la tête de l'avatar 22 correspondant au visage orienté sont intégrés dans l'image virtuelle à la profondeur du plus profond des pixels du visage orienté de l'avatar.
[0041] De cette façon, l'avatar présente dans l'environnement virtuel ou l'environnement de réalité mixte le visage réel de l'utilisateur se trouvant devant son dispositif multimédia sensiblement au même instant donné. Selon ce mode, comme l'image de l'environnement virtuel ou de réalité mixte 20 comportant le visage de l'avatar détouré est superposée à l'image de la tête de l'utilisateur translatée et mise à l'échelle 38, les éléments de l'avatar, par exemple les cheveux, sont visibles et recouvre l'image de l'utilisateur.
[0042] La tête d'avatar tridimensionnelle 33 est issue d'un modèle numérique à trois dimensions. Elle est simple et rapide à calculer quelque soit l'orientation et la taille de la tête d'avatar tridimensionnelle pour des dispositifs multimédias standards. Il en va de même pour sa projection sur un plan. Ainsi, l'ensemble de la séquence donne un résultat qualitatif même avec un processeur standard.
[0043] La séquence d'étapes S1 à S6 ou S1A à S6A peut ensuite être réitérée pour des instants ultérieurs.
[0044] D'une manière optionnelle, une étape d'initialisation (non représentée) peut être effectuée une seule fois avant la mise en œuvre des séquences S1 à S6 ou S1A à S6A. Lors de l'étape d'initialisation, une tête d'avatar tridimensionnelle est modelée selon la tête de l'utilisateur. Cette étape peut être réalisée manuellement ou automatiquement à partir d'une image ou de plusieurs images de la tête de l'utilisateur prise sous différents angles. Cette étape permet de distinguer de manière précise la silhouette de la tête d'avatar tridimensionnelle qui sera la plus adaptée à la méthode de détourage en temps réel selon l'invention. L'adaptation de l'avatar à la tête de l'utilisateur sur la base d'une photo peut être réalisée par l'intermédiaire d'une application logicielle telle que par exemple "FaceShop" commercialisée par la société Abalone.
[0045] Les Figures et leurs descriptions faites ci-dessus illustrent l'invention plutôt qu'elles ne la limitent. En particulier, l'invention vient d'être décrite en relation avec un exemple particulier d'application à la vidéoconférence ou aux jeux en ligne. Néanmoins, il est évident pour un homme du métier que l'invention peut être étendue à d'autres applications en ligne, de manière générale à toutes applications nécessitant un avatar reproduisant ia tête de l'utilisateur en temps réel, par exemple un jeu, un forum de discussion, un travail collaboratif entre des utilisateurs à distance, une interaction entre des utilisateurs communiquant via le langage des signes, etc .... Elle peut en outre être étendue à toutes les applications nécessitant l'affichage en temps réel du visage ou de la tête isolée de l'utilisateur.
[0046] L'invention vient d'être décrite en relation avec un exemple particulier de mixage entre une tête d'avatar et une tête d'utilisateur. Néanmoins, il est évident pour un homme du métier que l'invention peut être étendue à d'autres parties du corps, par exemple un membre quelconque, ou une partie plus précise du visage tel que la bouche, etc Elle est également applicable à des parties de corps d'animaux, ou des objets, ou des éléments d'un paysage, etc....
[0047] Bien que certaines Figures montrent différentes entités fonctionnelles comme des blocs distincts, ceci n'exclut en aucune façon des modes de réalisation de l'invention dans lesquels une entité unique effectue plusieurs fonctions, ou plusieurs entités effectuent une seule fonction. Ainsi, les Figures doivent être considérées comme une illustration très schématique de l'invention.
[0048] Les signes de références dans les revendications n'ont aucun caractère limitatif. Les verbes "comprendre" et "comporter" n'excluent pas la présence d'autres éléments que ceux listés dans les revendications. Le mot "un" précédant un élément n'exclut pas la présence d'une pluralité de tels éléments.

Claims

REVENDICATIONS
1. Une méthode de détourage en temps réel d'une entité réelle en mouvement dans un environnement réel enregistrée dans une séquence vidéo, l'entité réelle étant associée à une entité virtuelle, la méthode comportant les étapes:
- extraction (S1 , S1 A) à partir de la séquence vidéo d'une image comportant l'entité réelle enregistrée,
- détermination d'une échelle et/ou d'une orientation (S2, S2A) de l'entité réelle à partir de l'image comportant l'entité réelle enregistrée, - transformation (S3, S4, S3A, S4A) propre à mettre à l'échelle, orienter et positionner d'une manière sensiblement identique l'entité virtuelle et l'entité réelle enregistrée, et
- substitution (S5, S6, S5A, S6A) de l'entité virtuelle par une image détourée de l'entité réelle, l'image détourée de l'entité réelle étant une zone de l'image comportant l'entité réelle enregistrée délimitée par un contour de l'entité virtuelle.
2. Une méthode de détourage selon la revendication 1 , dans laquelle l'entité réelle est une partie du corps d'un utilisateur (2), et l'entité virtuelle est la partie (22) du corps correspondante d'un avatar (21 ) destinée à reproduire une apparence de la partie du corps de l'utilisateur (2), la méthode comportant les étapes:
- extraction (S1 ) à partir de la séquence vidéo (30) d'une image comportant la partie du corps de l'utilisateur enregistrée (31 ),
- détermination (S2) d'une orientation (32) et d'une échelle de la partie du corps de l'utilisateur dans l'image comportant la partie du corps de l'utilisateur enregistrée (31 ),
- orientation et mise à l'échelle (S3) de la partie du corps de l'avatar (33, 34) d'une manière sensiblement identique à celle de la partie du corps de l'utilisateur, et - utilisation (S4, S5) d'un contour (36) de la partie du corps de l'avatar pour former une image détourée (37) de l'image comportant la partie du corps de l'utilisateur enregistrée (31 ), l'image détourée (37) étant limitée à une zone de l'image comportant la partie du corps de l'utilisateur enregistrée (31 ) contenue dans le contour (36).
3. Une méthode de détourage selon la revendication 2, dans laquelle la méthode comporte en outre une étape de fusion (S6) de la partie du corps (22) de l'avatar (21 ) avec l'image détourée (37).
4. Une méthode de détourage selon la revendication 1 , dans laquelle l'entité réelle est une partie du corps d'un utilisateur (2), et l'entité virtuelle est la partie (22) du corps correspondante d'un avatar (21 ) destinée à reproduire une apparence de la partie du corps de l'utilisateur (2), la méthode comportant les étapes:
- extraction (S1A) à partir de la séquence vidéo (30) d'une image (31 ) comportant la partie du corps de l'utilisateur enregistrée, - détermination (S2A) d'une orientation de la partie du corps de l'utilisateur à partir de l'image (31 ) comportant la partie du corps de l'utilisateur,
- orientation (S3A) de la partie du corps de l'avatar (33, 34A) d'une manière sensiblement identique à celle de l'image (31 ) comportant la partie du corps de l'utilisateur enregistrée, - translation et mise à l'échelle (S4A) de l'image (31 ) comportant la partie du corps de l'utilisateur (33, 34) enregistrée pour l'aligner avec la partie du corps correspondante de l'avatar orientée (34A),
- dessin (S5A) d'une image de l'environnement virtuel dans laquelle une zone détourée délimitée par un contour de la partie du corps de l'avatar orientée est codée par une absence de pixels ou des pixels transparents; et
- superposition (S6A) de l'image de l'environnement virtuel à l'image comportant la partie du corps de l'utilisateur translatée et mise à l'échelle (38).
5. La méthode de détourage selon l'une des revendications 2 à 4, dans laquelle l'étape de détermination (S2) de l'orientation et/ou de l'échelle de l'image (31 ) comportant la partie du corps de l'utilisateur enregistrée est réalisée par une fonction de suivie de tête (HTFunc) appliquée à ladite image (31 ) .
6. La méthode de détourage selon l'une des revendications 2 à 5, dans laquelle les étapes d'orientation et mise à l'échelle (S3), d'extraction du contour (S4, S5), et de fusion (S6) prennent en compte des points ou zones remarquables de la partie du corps de l'avatar ou de l'utilisateur.
7. La méthode de détourage selon l'une des revendications 2 à 6, dans laquelle la partie du corps de l'avatar (33, 34) est une représentation tridimensionnelle de ladite partie du corps de l'avatar.
8. La méthode de détourage selon l'une des revendications 2 à 7, comportant en outre une étape d'initialisation consistant à modeler la représentation tridimensionnelle de la partie du corps de l'avatar conformément à la partie du corps de l'utilisateur dont l'apparence doit être reproduite.
9. La méthode de détourage selon l'une des revendications 2 à 8, dans laquelle la partie du corps est la tête de l'utilisateur (2) ou de l'avatar (21 ).
10. Un système multimédia (1 ) comportant un processeur (4) mettant en œuvre la méthode de détourage selon l'une des revendications 1 à 9.
11. Un produit programme d'ordinateur destiné à être chargé dans une mémoire (5) d'un système multimédia (1 ), le produit programme d'ordinateur comportant des portions de code de logiciel mettant en uvre la méthode de détourage selon l'une des revendications 1 à 9 lorsque le programme est exécuté par un processeur (4) du système multimédia (1).
EP11718446A 2010-04-06 2011-04-01 Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video Withdrawn EP2556660A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1052567A FR2958487A1 (fr) 2010-04-06 2010-04-06 Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
PCT/FR2011/050734 WO2011124830A1 (fr) 2010-04-06 2011-04-01 Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video

Publications (1)

Publication Number Publication Date
EP2556660A1 true EP2556660A1 (fr) 2013-02-13

Family

ID=42670525

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11718446A Withdrawn EP2556660A1 (fr) 2010-04-06 2011-04-01 Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video

Country Status (7)

Country Link
US (1) US20130101164A1 (fr)
EP (1) EP2556660A1 (fr)
JP (1) JP2013524357A (fr)
KR (1) KR20130016318A (fr)
CN (1) CN102859991A (fr)
FR (1) FR2958487A1 (fr)
WO (1) WO2011124830A1 (fr)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8655152B2 (en) 2012-01-31 2014-02-18 Golden Monkey Entertainment Method and system of presenting foreign films in a native language
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
CN104424624B (zh) * 2013-08-28 2018-04-10 中兴通讯股份有限公司 一种图像合成的优化方法及装置
US20150339024A1 (en) * 2014-05-21 2015-11-26 Aniya's Production Company Device and Method For Transmitting Information
TWI526992B (zh) * 2015-01-21 2016-03-21 國立清華大學 擴充實境中基於深度攝影機之遮蔽效果優化方法
EP3327661A4 (fr) * 2015-07-21 2019-04-10 Sony Corporation Dispositif de traitement d'informations, procédé de traitement d'informations et programme
CN105894585A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 一种远程视频的实时播放方法及装置
CN107481323A (zh) * 2016-06-08 2017-12-15 创意点子数位股份有限公司 混合实境的互动方法及其系统
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
JP6513126B2 (ja) * 2017-05-16 2019-05-15 キヤノン株式会社 表示制御装置とその制御方法及びプログラム
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
KR20240024351A (ko) * 2018-05-07 2024-02-23 애플 인크. 크리에이티브 카메라
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
JP7073238B2 (ja) * 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
JP7241628B2 (ja) * 2019-07-17 2023-03-17 株式会社ドワンゴ 動画合成装置、動画合成方法、および動画合成プログラム
CN112312195B (zh) * 2019-07-25 2022-08-26 腾讯科技（深圳）有限公司 视频中植入多媒体信息的方法、装置、计算机设备及存储介质
CN110677598B (zh) * 2019-09-18 2022-04-12 北京市商汤科技开发有限公司 视频生成方法、装置、电子设备和计算机存储介质
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11354872B2 (en) 2020-11-11 2022-06-07 Snap Inc. Using portrait images in augmented reality components
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
WO1999060522A1 (fr) * 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Dispositif et procede de traitement d'images, et support associe
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
CA2654960A1 (fr) * 2006-04-10 2008-12-24 Avaworks Incorporated Systeme et procede de creation de presentation de photo realiste en kit
US20080295035A1 (en) * 2007-05-25 2008-11-27 Nokia Corporation Projection of visual elements and graphical elements in a 3D UI
EP2263190A2 (fr) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Capture d'image en prises réelles
US20090241039A1 (en) * 2008-03-19 2009-09-24 Leonardo William Estevez System and method for avatar viewing
EP2113881A1 (fr) * 2008-04-29 2009-11-04 Holiton Limited Procédé et dispositif de production d'image
US7953255B2 (en) * 2008-05-01 2011-05-31 At&T Intellectual Property I, L.P. Avatars in social interactive television
US20110035264A1 (en) * 2009-08-04 2011-02-10 Zaloom George B System for collectable medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2011124830A1 *

Also Published As

Publication number Publication date
CN102859991A (zh) 2013-01-02
KR20130016318A (ko) 2013-02-14
FR2958487A1 (fr) 2011-10-07
WO2011124830A1 (fr) 2011-10-13
US20130101164A1 (en) 2013-04-25
JP2013524357A (ja) 2013-06-17

Similar Documents

Publication Publication Date Title
WO2011124830A1 (fr) Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
JP7289796B2 (ja) ３次元（「３ｄ」）シーンの２次元（「２ｄ」）キャプチャ画像に基づいて仮想現実コンテンツをレンダリングするための方法およびシステム
US11025882B2 (en) Live action volumetric video compression/decompression and playback
CN111402399B (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
KR20220051376A (ko) 메시징 시스템에서의 3d 데이터 생성
US11949848B2 (en) Techniques to capture and edit dynamic depth images
CN115428034A (zh) 消息传送系统中的包括3d数据的增强现实内容生成器
US10453244B2 (en) Multi-layer UV map based texture rendering for free-running FVV applications
Ebner et al. Multi‐view reconstruction of dynamic real‐world objects and their integration in augmented and virtual reality applications
WO2023071810A1 (fr) Traitement d'image
US20160086365A1 (en) Systems and methods for the conversion of images into personalized animations
WO2019193364A1 (fr) Procédé et appareil de génération d'images de réalité augmentée
EP2297705B1 (fr) Procede de composition temps reel d'une video
CA3022298A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
US10282633B2 (en) Cross-asset media analysis and processing
WO2014170482A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
FR3066304A1 (fr) Procede de compositon d'une image d'un utilisateur immerge dans une scene virtuelle, dispositif, equipement terminal, systeme de realite virtuelle et programme d'ordinateur associes
WO2012072664A1 (fr) Methode de determination des mouvements d'un objet a partir d'un flux d'images
FR3026534B1 (fr) Generation d'un film d'animation personnalise
US20240062467A1 (en) Distributed generation of virtual content
US20240005579A1 (en) Representing two dimensional representations as three-dimensional avatars
CH711803B1 (fr) Procédé d'interactions immersives par miroir virtuel.
Alain et al. Introduction to immersive video technologies
WO2024040054A1 (fr) Génération distribuée de contenu virtuel
FR2908584A1 (fr) Systeme d'interaction collaborative autour d'objets partages, par integration d'images

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20121106

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
111Z Information provided on other rights and legal means of execution

Free format text: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

Effective date: 20130410

17Q First examination report despatched

Effective date: 20140704

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ALCATEL LUCENT

D11X Information provided on other rights and legal means of execution (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20140815