EP1433333A1 - Method and device for coding a scene - Google Patents

Method and device for coding a scene

Info

Publication number
EP1433333A1
EP1433333A1 EP02791510A EP02791510A EP1433333A1 EP 1433333 A1 EP1433333 A1 EP 1433333A1 EP 02791510 A EP02791510 A EP 02791510A EP 02791510 A EP02791510 A EP 02791510A EP 1433333 A1 EP1433333 A1 EP 1433333A1
Authority
EP
European Patent Office
Prior art keywords
image
images
scene
composition
textures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02791510A
Other languages
German (de)
French (fr)
Inventor
Paul Kerbiriou
Gwena[L Kervella
Laurent Blonde
Michel Kerdranvat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
THOMSON LICENSING
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of EP1433333A1 publication Critical patent/EP1433333A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the invention relates to a method and a device for coding and decoding a scene composed of objects whose textures come from different video sources.
  • Multimedia broadcasting systems are generally based on the transmission of video information, either via separate elementary streams, or via a transport stream multiplexing the different elementary streams, or a combination of the two.
  • This video information is received by a terminal or receiver made up of a set of elementary decoders simultaneously performing the decoding of each of the elementary streams received or demultiplexed.
  • the final image is composed from the decoded information. This is for example the case of the transmission of streams of MPEG 4 coded video data.
  • This type of advanced multimedia system attempts to offer great flexibility to the end user by offering them possibilities for composing several flows and interactivity at the terminal level.
  • the extra processing is actually quite significant if we consider the complete chain, from. the generation of simple flows to the restitution of a final image. It concerns all the levels of the chain: coding, addition of inter-stream synchronization elements and packetization, multiplexing, demultiplexing, taking into account of inter-stream synchronization elements and depacketization, decoding.
  • composition system upon reception, which produces the final image of the scene to be viewed according to the information defined by the content creator.
  • a great complexity of management at the system level or at the processing level is therefore generated.
  • the first systems therefore require the management of numerous data flows both at the transmission and reception levels. It is not possible to achieve in a simple way, a local composition or "scene" from several videos. Expensive devices such as decoders and complex management of these decoders must be put in place for the exploitation of these streams.
  • the number of decoders can be a function of the different types of coding used for the data received corresponding to each of the streams, but also the number of video objects that can compose the scene.
  • the processing time of the received signals due to centralized management of the decoders, is not optimized. The management and processing of the images obtained, because of their multitude, are complex.
  • the invention aims to overcome the aforementioned drawbacks.
  • Its subject is a method of coding a scene made up of objects whose textures are defined from images or parts of images from different video sources, characterized in that it comprises the steps:
  • auxiliary data comprising information relating to the composition of the composed image and information relating to the textures of the objects.
  • the composite image is obtained by spatial multiplexing of the images or parts of images.
  • the video sources from which the images or parts of images composing the same composed image are selected have the same coding standards.
  • the composite image may also include a still image not from a video source.
  • the dimensioning is a reduction in size obtained by subsampling.
  • the composed image is coded according to the MPEG 4 standard and the information relating to the composition of the image are the texture coordinates.
  • the invention also relates to a method for decoding a scene composed of objects, coded from a composite video image grouping images or parts of images from different video sources and from auxiliary data which is information of composition of the composite video image and of information relating to the textures of the objects, characterized in that it performs the steps of:
  • the method is characterized in that the extraction of the textures is carried out by spatial demultiplexing of the decoded image. •.
  • the method is characterized in that a texture is processed by oversampling and spatial interpolation to obtain the texture to be displayed in the final image viewing the scene.
  • the invention also relates to a device for coding a scene composed of objects whose textures are defined from images or parts of images from different video sources, characterized in that it comprises:
  • a video editing circuit receiving the different video sources for dimensioning and positioning on an image, images or parts of images originating from these video sources, for producing a composite image
  • an auxiliary data generation circuit connected to the video editing circuit to supply information relating to the composition of the composed image and information relating to the textures of the objects, a coding circuit for the composed image,
  • the invention also relates to a device for decoding a scene composed of objects, coded from a composite video image grouping together images or parts of images from different video sources and from auxiliary data which is information. of composition of the composite video image and of information relating to the textures of the objects, characterized in that it comprises:
  • auxiliary data a circuit for decoding the auxiliary data - a processing circuit receiving the auxiliary data and the decoded image for extracting textures from the decoded image from the auxiliary data for composing the image and for applying textures to objects of the scene from the auxiliary data relating to the textures.
  • the idea of the invention is to group, on an image, elements or texture elements which are images or parts of images coming from: different video sources and necessary for the construction of the scene to be visualized, so to "transport" this video information on a single image or a limited number of images.
  • a spatial composition of these elements is therefore produced and it is the overall composite image obtained which is coded instead of coding separate from each video image from video sources.
  • a scene . overall, the construction of which usually requires several video streams can be constructed from a more limited number of video streams and even from a single video stream transmitting the composed image.
  • the decoding circuits are simplified and the construction of the scene carried out in a more flexible manner .
  • QCIF format an English expression Quarter Common Intermediate Format
  • GIF Common Intermediate Format
  • the image On reception, the image is not simply presented. It is recomposed using transmitted composition information. This makes it possible to present the user with a less frozen image, potentially including an animation resulting from the composition, and to offer him further interactivity, each recomposed object being able to be active.
  • Management at the receiver is simplified, the data to be transmitted can be more compressed due to the grouping of video data on an image, the number of circuits necessary for decoding is reduced. Optimizing the number of streams minimizes the resources required in relation to the content transmitted.
  • FIG. 1 a coding device according to the invention
  • FIG. 1 represents a coding device according to the invention.
  • the circuits at 1 n symbolize the generation of: various video signals, available to the encoder for the coding of a scene to be viewed by the receiver. These signals are transmitted to a composition circuit 2 which has the function of composing an overall image from those corresponding to the signals received. The overall image obtained is called the composite image or mosaic.
  • This composition is defined on the basis of information exchanged with an auxiliary data generation circuit 4.
  • composition information making it possible to define the composed image and thus to extract, at the receiver, the various elements or sub- images composing this image, for example position and shape information in the image such as the coordinates of the vertices of rectangles if the elements constituting the transmitted image are of rectangular shape or shape descriptors.
  • This composition information makes it possible to extract textures and it is thus possible to define a library of textures for the composition of the final scene.
  • auxiliary data relate to the image composed by the circuit 2 but also to the final image representing the scene to be viewed at the receiver.
  • graphic information for example relating to geometric shapes, appearances, the composition of the scene making it possible to configure a scene represented by the final image.
  • This information defines the elements to be associated with graphic objects for the mapping of textures. They also define the possible interactivities making it possible to reconfigure the final image from these interactivities ...
  • the composition of the image to be transmitted can be optimized according to the textures necessary for the construction of the final scene.
  • the composite image generated by the composition circuit 2 is transmitted to a coding circuit 3 which performs coding of this image.
  • Auxiliary data 1 from circuit 4. are i transmitted to a coding circuit 5 which realizes, .coding of these data:
  • the outputs of coding circuits 3 and 5 are transmitted to the inputs of a multiplexing circuit 6 which multiplexes the received data, ie video data relating to the composed image and auxiliary data
  • the output of the multiplexing circuit is transmitted to the input of a transmission circuit 7 for the transmission of the multiplexed data.
  • the composite image is produced from images or parts of images of any shape extracted from video sources but may also contain still images or, in general, any type of representation. Depending on the number of sub-images to be transmitted, one or more composed images can be produced for the same instant, that is to say for a final image of the scene. In the case where the video signals use different standards, these signals can be grouped by standard of the same type for the composition of a composite image.
  • a first composition is made from all the elements to be coded according to the MPEG-2 standard, a second composition from all the elements to be coded according to the MPEG-4 standard, another from the elements to be coded according to the standard JPEG or GIF images or other, so that a single stream is emitted per type of coding and / or by media type.
  • the image composed may be a regular mosaic consisting for example of rectangles or sub-images of the same size or else an irregular mosaic.
  • the auxiliary flow transmits the data corresponding to the composition of the mosaic.
  • the composition circuit can perform the composition of the overall image 0 from enclosing rectangles or limitation windows defining the elements.
  • a choice of the elements necessary for the final scene is made by the composer.
  • These elements are extracted from images available to the composer from different video streams.
  • a spatial composition is then produced from the selected elements 5 - ; by "placing" them on a global image constituting a single video.
  • V The information about the positioning. these various elements, coordinates, dimensions, etc., are transmitted to the auxiliary data generation circuit which processes them to transmit them, on the stream.
  • composition circuit is in the known field; This is for example 0 a professional video editing tool, of the "Adobe premiere" type (Adobe
  • - .. - is a registered trademark). Thanks to such a circuit, objects can be extracted ... from video sources, for example by selecting parts of images, the images of these objects can be resized and positioned on a global image. A spatial multiplexing is for example carried out to obtain the composite image.
  • the means of constructing a scene, from which a part of the auxiliary data is generated, are also in the known field.
  • the MPEG4 standard uses the VRML language (Virtual Reality Modeling Language) or more precisely the binary language BIFS 0 (BInary Format for Scenes) which allows to define the presentation of a scene, to change it, to update it .
  • the BIFS description of a scene makes it possible to modify the properties of objects and to define their conditional behavior. It follows a hierarchical structure which is a tree description. 5
  • the data necessary for the description of a scene concern, among other things, the construction rules, the animation rules for an object, interactivity rules for another object ... They describe the final scenario. Some or all of this data constitutes the auxiliary data for the construction of the scene.
  • FIG. 2 represents a receiver for such a coded data stream.
  • the signal received at the input of the receiver 8 is transmitted to a demultiplexer 9 which separates the video stream from the auxiliary data.
  • the video stream is transmitted to a video decoding circuit 10 which decodes the overall image as it was composed at the level of the coder.
  • the auxiliary data at the output of the demultiplexer 9 are transmitted to a decoding circuit 11 which performs decoding of the auxiliary data.
  • a processing circuit 12 processes the video data and the auxiliary data coming respectively from the circuits 10 and 11 to extract the elements, the textures necessary for the
  • the recomposition information then extracting only these elements from the composed image: - -
  • the elements are extracted; - for example, by spatial demultiplexing.
  • the construction information therefore makes it possible to select only a part of the elements constituting the composed image. They also allow the user to "navigate" in the constructed scene in order to view objects of interest.
  • the navigation information from the user is for example transmitted to an input of the circuit 12 (not shown in the figure) which modifies the composition of the scene accordingly.
  • the textures transported by the composed image may not be used directly in the scene. They can, for example, be memorized by the receiver for use in offset time or for the constitution of a library used for the construction of the scene.
  • An application of the invention relates to the transmission of video data in MPEG4 standard corresponding to several programs from a single video stream or more generally the optimization of the number of streams in an MPEG4 configuration, for example for a program guide application. If, in a classic MPEG-4 configuration, it is necessary to transmit as many streams as there are videos that can be viewed at the terminal, the method described makes it possible to send a global image containing several videos and to use texture coordinates to build a new scene upon arrival.
  • FIG. 3 represents an example of a composite scene constructed from elements of a composite image.
  • the global image 14, also called composite texture is composed of several sub-images or elements or sub-textures 15, 16, 17, 18, 19.
  • the image 20, at the bottom of the figure, corresponds to the scene at view.
  • the positioning of the objects to construct this scene corresponds to the graphic image 21 which represents the graphic objects. . •
  • each of MPEG ⁇ 4 coding and according to the prior art each
  • video or still image corresponding to elements. 15 to 19 is transmitted in 1 a video or still image stream.
  • the graphic data is transmitted in the graphic stream. • ' . • • ; .
  • a global image is composed from the images relating to the different videos or still images to " form the composite image 14 represented at the top of the figure. This global image is coded.
  • Auxiliary data relating to the composition of the overall image and defining the geometric shapes are transmitted in parallel allowing the elements to be separated. The texture coordinates at the vertices, when these fields are used, allow these shapes to be textured from the composite image.
  • Auxiliary data relating to the construction of the scene and defining the graphic image 21 are transmitted.
  • the composite texture image is transmitted over the video stream.
  • the elements are coded as video objects and their geometric shapes 22, 23 and texture coordinates at the vertices (in the composite image or the composite texture) are transmitted over the graphic stream.
  • the texture coordinates are the composition information of the composed image.
  • the stream which is transmitted can be coded to the MPEG-2 standard and in this case, it is possible to exploit the functionalities of the circuits of existing platforms integrating the receivers.
  • elements supplementing the main programs can be transmitted on an additional video stream
  • MPEG-2 or MPEG-4 This flow can contain several visual elements such as logos, advertising banners, animated or not, which can be combined with one or other of the programs broadcast, at the choice of the broadcaster. These items can also be displayed based on user preferences or profile. An associated interaction can be expected.
  • Two decoding circuits are used, one for the program, one for the composite image and the auxiliary data. A spatial multiplexing is then possible of the program being broadcast with additional information coming from the composed image. . : '.
  • a single annex video stream can be used for a program package, to complete - several programs or several user profiles.

Abstract

The invention concerns a method for coding a scene consisting of objects whereof the textures are defined from images or parts of images derived from different video sources (11, , 1n), characterised in that it comprises the following steps: spatial composition (2) of an image by dimensioning and positioning on an image, said images or parts of images derived from different video sources, to obtain a composite image; coding (3) the composite image; calculating and coding auxiliary data (4) containing data concerning the composition of the composite image and data concerning the textures of the objects.

Description

PROCEDE ET DISPOSITIF DE CODAGE D'UNE SCENE METHOD AND DEVICE FOR CODING A SCENE
L'invention concerne un procédé et un dispositif de codage et de décodage d'une scène composée d'objets dont les textures proviennent de différentes sources vidéo.The invention relates to a method and a device for coding and decoding a scene composed of objects whose textures come from different video sources.
De plus en plus d'applications multimédia nécessitent l'exploitation d'informations vidéo en un même instant.More and more multimedia applications require the exploitation of video information at the same instant.
Les systèmes de diffusion multimédia sont généralement basés sur la transmission d'informations vidéo, soit par l'intermédiaire de flux élémentaires séparés, soit par l'intermédiaire d'un flux de transport multiplexant les différents flux élémentaires, soit une combinaison des deux.Multimedia broadcasting systems are generally based on the transmission of video information, either via separate elementary streams, or via a transport stream multiplexing the different elementary streams, or a combination of the two.
Ces informations vidéo sont reçues par un terminal ou récepteur constitué d'un ensemble de décodeurs élémentaires réalisant simultanément le décodage de chacun des flux élémentaires reçus ou démultiplexés. L'image finale est composée à partir des informations décodées. C'est par exemple le , cas de la transmission de flux de données vidéo codées MPEG 4.This video information is received by a terminal or receiver made up of a set of elementary decoders simultaneously performing the decoding of each of the elementary streams received or demultiplexed. The final image is composed from the decoded information. This is for example the case of the transmission of streams of MPEG 4 coded video data.
Ce type de système avancé multimédia tente d'offrir une grande souplesse à l'utilisateur final en lui proposant des possibilités de composition de plusieurs flux et d'interactivité au niveau du terminal. Le surplus de traitement est en fait assez important si l'on considère la chaîne complète, de . la génération des flux simples à la restitution d'une image finale. Il concerne tous les niveaux de la chaîne: codage, ajout des éléments de synchronisation inter flux et paquétisation, multiplexage, démultiplexage, prise en compte des éléments de synchronisation inter flux et dé- paquétisation, décodage.This type of advanced multimedia system attempts to offer great flexibility to the end user by offering them possibilities for composing several flows and interactivity at the terminal level. The extra processing is actually quite significant if we consider the complete chain, from. the generation of simple flows to the restitution of a final image. It concerns all the levels of the chain: coding, addition of inter-stream synchronization elements and packetization, multiplexing, demultiplexing, taking into account of inter-stream synchronization elements and depacketization, decoding.
Au lieu d'avoir une seule image vidéo, il faut transmettre tous les éléments qui composeront l'image finale, chacun dans un flux élémentaire.Instead of having a single video image, you must transmit all the elements that will make up the final image, each in an elementary stream.
C'est le système de composition, à la réception, qui fabrique l'image finale de la scène à visualiser en fonction des informations définies par le créateur de contenu. Une grande complexité de gestion au niveau système ou au niveau traitement (préparation du contexte et des données, présentation des résultats...) est donc générée.It is the composition system, upon reception, which produces the final image of the scene to be viewed according to the information defined by the content creator. A great complexity of management at the system level or at the processing level (preparation of the context and data, presentation of the results ...) is therefore generated.
D'autres systèmes sont basés sur la génération de mosaïques d'images en post-production, c'est à dire avant leur transmission. C'est par exemple le cas pour des services tels que les guides de programmes. L'image ainsi obtenue est codée et diffusée, par exemple au standard MPEG2.Other systems are based on the generation of mosaics of images in post-production, that is to say before their transmission. This is for example the case for services such as program guides. The image thus obtained is coded and broadcast, for example in MPEG2 standard.
Les premiers systèmes imposent donc la gestion de nombreux flux de données aussi bien au niveau émission que réception. Il n'est pas possible de réaliser de manière simple, une composition locale ou "scène" à partir de plusieurs vidéos. Des dispositifs coûteux tels que décodeurs et une gestion complexe de ces décodeurs doivent être mis en place pour l'exploitation de ces flux. Le nombre de décodeurs peut être fonction des différents types de codages exploités pour les données reçues correspondant à chacun des flux mais également du nombre d'objets vidéo pouvant composer la scène. Le temps de traitement des signaux reçus, du fait d'une gestion centralisée des décodeurs, n'est pas optimisé. La gestion et traitement des images obtenues, du fait de leur multitude, sont complexes.The first systems therefore require the management of numerous data flows both at the transmission and reception levels. It is not possible to achieve in a simple way, a local composition or "scene" from several videos. Expensive devices such as decoders and complex management of these decoders must be put in place for the exploitation of these streams. The number of decoders can be a function of the different types of coding used for the data received corresponding to each of the streams, but also the number of video objects that can compose the scene. The processing time of the received signals, due to centralized management of the decoders, is not optimized. The management and processing of the images obtained, because of their multitude, are complex.
Quant à la technique de mosaïque d'image sur laquelle sont basés les autres systèmes, elle offre peu de possibilités de composition et d'interaction au niveau du terminal et conduit à une trop grande rigidité.As for the image mosaic technique on which the other systems are based, it offers few possibilities for composition and interaction at the terminal level and leads to too great rigidity.
L'invention a pour but de pallier les inconvénients précités.The invention aims to overcome the aforementioned drawbacks.
Elle a pour objet un procédé de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenante différentes sources vidéo, caractérisé en ce qu'il comporte les étapes:Its subject is a method of coding a scene made up of objects whose textures are defined from images or parts of images from different video sources, characterized in that it comprises the steps:
- de composition spatiale d'une image en dimensionnant et positionnant sur une image, les dites images ou parties d'images provenant des différentes sources vidéo, pour obtenir une image composée,- spatial composition of an image by sizing and positioning on an image, said images or parts of images from the different video sources, to obtain a composed image,
- de codage de l'image composée,- coding of the composed image,
- de calcul et codage de données auxiliaires comprenant des informations relatives à la composition de l'image composée et des informations relatives aux textures des objets. Selon une mise en oeuvre particulière, l'image composée est obtenue par multiplexage spatial des images ou parties d'images.- calculation and coding of auxiliary data comprising information relating to the composition of the composed image and information relating to the textures of the objects. According to a particular implementation, the composite image is obtained by spatial multiplexing of the images or parts of images.
Selon une mise en œuvre particulière, les sources vidéo à partir desquelles sont sélectionnés les images ou parties d'images composant une même image composée, ont les mêmes normes de codage. L'image composée peut comporter également une image fixe ne provenant pas d'une source vidéo. Selon une mise en œuvre particulière, le dimensionnement est une réduction de taille obtenue par sous-échantillonnage.According to a particular implementation, the video sources from which the images or parts of images composing the same composed image are selected, have the same coding standards. The composite image may also include a still image not from a video source. According to a particular implementation, the dimensioning is a reduction in size obtained by subsampling.
Selon une mise en œuvre particulière, l'image composée est codée selon la norme MPEG 4 et les informations relatives à la composition de l'image sont les coordonnées de textures.According to a particular implementation, the composed image is coded according to the MPEG 4 standard and the information relating to the composition of the image are the texture coordinates.
L'invention concerne également un procédé de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée et des informations relatives aux textures des objets, caractérisé en ce qu'il effectue les étapes de :The invention also relates to a method for decoding a scene composed of objects, coded from a composite video image grouping images or parts of images from different video sources and from auxiliary data which is information of composition of the composite video image and of information relating to the textures of the objects, characterized in that it performs the steps of:
- décodage de l'image vidéo pour obtenir une image décodée- decoding of the video image to obtain a decoded image
- décodage des données auxiliaires,- decoding of auxiliary data,
- extraction de textures de l'image décodée à. partir des données auxiliaires de composition de l'image., :' . : . : - : . ...- extraction of textures from the decoded image to. from the auxiliary image composition data.,: '. :. : -:. ...
- plaquage des textures sur des objets de la scène à partir des données auxiliaires relatives aux textures.- plating textures on objects in the scene from auxiliary data relating to textures.
Selon une mise en. œuvre particulière, le procédé est caractérisé en ce que l'extraction des textures est effectuée par démultiplexage spatial de l'image décodée. ;.• .According to a setting. particular work, the method is characterized in that the extraction of the textures is carried out by spatial demultiplexing of the decoded image. •.
Selon une mise en œuvre particulière, le procédé est caractérisé en ce qu'une texture est traitée par suréchantillonnage et interpolation spatiale pour obtenir la texture à afficher dans l'image finale visualisant la scène.According to a particular implementation, the method is characterized in that a texture is processed by oversampling and spatial interpolation to obtain the texture to be displayed in the final image viewing the scene.
L'invention concerne également un dispositif de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenant de différentes sources vidéo, caractérisé en ce qu'il comprend:The invention also relates to a device for coding a scene composed of objects whose textures are defined from images or parts of images from different video sources, characterized in that it comprises:
- un circuit de montage vidéo recevant les différentes sources vidéo pour dimensionner et positionner sur une image, des images ou parties d'images provenant de ces sources vidéo, pour réaliser une image composée,a video editing circuit receiving the different video sources for dimensioning and positioning on an image, images or parts of images originating from these video sources, for producing a composite image,
- un circuit de génération de données auxiliaires relié au circuit de montage vidéo pour fournir des informations relatives à la composition de l'image composée et des informations relatives aux textures des objets, - un circuit de codage de l'image composée,an auxiliary data generation circuit connected to the video editing circuit to supply information relating to the composition of the composed image and information relating to the textures of the objects, a coding circuit for the composed image,
-un circuit de codage des données auxiliaires. L'invention concerne également un dispositif de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images provenant de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée et des informations relatives aux textures des objets, caractérisé en ce qu'il comporte :an auxiliary data coding circuit. The invention also relates to a device for decoding a scene composed of objects, coded from a composite video image grouping together images or parts of images from different video sources and from auxiliary data which is information. of composition of the composite video image and of information relating to the textures of the objects, characterized in that it comprises:
- un circuit de décodage de l'image vidéo composée pour obtenir une image décodée,a circuit for decoding the composed video image to obtain a decoded image,
- un circuit de décodage des données auxiliaires - un circuit de traitement recevant les données auxiliaires et l'image décodée pour extraire des textures de l'image décodée à partir des données auxiliaires de composition de l'image et pour plaquer des textures sur des objets de la scène à partir des données auxiliaires relatives aux textures.- a circuit for decoding the auxiliary data - a processing circuit receiving the auxiliary data and the decoded image for extracting textures from the decoded image from the auxiliary data for composing the image and for applying textures to objects of the scene from the auxiliary data relating to the textures.
L'idée de l'invention est dé regrouper, sur une image, des éléments ou éléments de texture qui sont des images ou parties d'images provenant de: différentes sources vidéo et nécessaires à la construction de la scène à' visualiser, de manière à "transporter" ces informations vidéo sur une seule image ou un nombre limité .d'images... Une composition spatiale de ces éléments est donc réalisée et c'est l'image composée globale obtenue qui est codée au lieu d'un codage séparé de chaque' image vidéo provenant des sources vidéo. Une scène . globale dont / la construction nécessite habituellement plusieurs flux vidéo peut être construite à partir d'un nombre plus limité de flux vidéo et même à partir d'un seul flux vidéo transmettant l'image composée.The idea of the invention is to group, on an image, elements or texture elements which are images or parts of images coming from: different video sources and necessary for the construction of the scene to be visualized, so to "transport" this video information on a single image or a limited number of images. A spatial composition of these elements is therefore produced and it is the overall composite image obtained which is coded instead of coding separate from each video image from video sources. A scene . overall, the construction of which usually requires several video streams can be constructed from a more limited number of video streams and even from a single video stream transmitting the composed image.
Grâce à l'émission d'une image composée de manière simple et la transmission de données associées décrivant à la fois cette composition et la construction de la scène finale, les circuits de décodage sont simplifiés et la construction de la scène réalisée de manière plus souple. En prenant un exemple simple, si au lieu de coder et de transmettre séparément 4 images au format QCIF (acronyme de l'expression anglaise Quarter Common Intermediate Format), c'est à dire de coder et de transmettre sur un flux élémentaire chacune des 4 images au format QCIF, on ne transmet qu'une seule image au format GIF (Common Intermediate Format) regroupant ces quatre images, le traitement au niveau du codage et du décodage est simplifié et plus rapide, pour des images de complexité de codage identique.Thanks to the transmission of an image composed in a simple manner and the transmission of associated data describing both this composition and the construction of the final scene, the decoding circuits are simplified and the construction of the scene carried out in a more flexible manner . Taking a simple example, if instead of coding and transmitting separately 4 images in QCIF format (acronym of the English expression Quarter Common Intermediate Format), that is to say coding and transmitting on an elementary stream each of the 4 images in QCIF format, only one image is transmitted in GIF (Common Intermediate Format) format grouping these four images, processing at the coding level and decoding is simplified and faster, for images of identical coding complexity.
A la réception, l'image n'est pas simplement présentée. Elle est recomposée en utilisant des informations de composition transmises. Cela permet de présenter à l'utilisateur une image moins figée, incluant potentiellement une animation résultant de la composition, et de lui offrir une interactivité plus poussée, chaque objet recomposé pouvant être actif.On reception, the image is not simply presented. It is recomposed using transmitted composition information. This makes it possible to present the user with a less frozen image, potentially including an animation resulting from the composition, and to offer him further interactivity, each recomposed object being able to be active.
La gestion au niveau du récepteur est simplifiée, les données à transmettre peuvent être davantage comprimées du fait du regroupement de données vidéo sur une image, le nombre de circuits nécessaires au décodage est réduit. L'optimisation du nombre de flux permet de minimiser les ressources nécessaires par rapport au contenu transmis.Management at the receiver is simplified, the data to be transmitted can be more compressed due to the grouping of video data on an image, the number of circuits necessary for decoding is reduced. Optimizing the number of streams minimizes the resources required in relation to the content transmitted.
D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée à titre d'exemple non limitatif. . et faite en regard des figures annexées qui représentent : >Other features and advantages of the invention will appear clearly in the following description given by way of nonlimiting example. . and made with reference to the appended figures which represent:>
- la figure 1 un dispositif de codage selon l'invention,FIG. 1, a coding device according to the invention,
- la figure 2 un récepteur selon l'invention, - ~- Figure 2 a receiver according to the invention, - ~
- la'figure 3 un exemple de scène composite:. !- Figure 3 an example of a composite scene :. !
' ' : ;' La figure 1 représente un dispositif de codage selon l'invention. Les circuits \ à 1n symbolisent la génération des: différents signaux vidéos, disponibles au codeur pour le codage .d'une scène à visualiser par le récepteur. Ces signaux sont transmis à un circuit de composition 2 qui a pour fonction de composer une image globale à partir de celles correspondant aux signaux reçus. L'image globale obtenue est appelée image composée ou mosaïque. Cette composition est définie à partir d'informations échangées avec un circuit de génération de données auxiliaires 4. Il s'agit des informations de composition permettant de définir l'image composée et ainsi d'extraire, au récepteur, les différents éléments ou sous-images composant cette image, par exemple des informations de position et de forme dans l'image telles que les coordonnées des sommets de rectangles si les éléments constituant l'image transmise sont de forme rectangulaire ou des descripteurs de forme. Ces informations de composition permettent d'extraire des textures et il est ainsi possible de définir une bibliothèque de textures pour la composition de la scène finale. Ces données auxiliaires sont relatives à l'image composée par le circuit 2 mais également à l'image finale représentant la scène à visualiser au récepteur. Il s'agit alors d'informations graphiques, par exemple relatives aux formes géométriques, aux apparences, à la composition de la scène permettant de configurer une scène représentée par l'image finale. Ces informations définissent les éléments à associer aux objets graphiques pour le plaquage des textures. Elles définissent également les interactivités possibles permettant de reconfigurer l'image finale à partir de ces interactivités ... La composition de l'image à transmettre peut être optimisée en fonction des textures nécessaires à la construction de la scène finale.'':;' FIG. 1 represents a coding device according to the invention. The circuits at 1 n symbolize the generation of: various video signals, available to the encoder for the coding of a scene to be viewed by the receiver. These signals are transmitted to a composition circuit 2 which has the function of composing an overall image from those corresponding to the signals received. The overall image obtained is called the composite image or mosaic. This composition is defined on the basis of information exchanged with an auxiliary data generation circuit 4. This is the composition information making it possible to define the composed image and thus to extract, at the receiver, the various elements or sub- images composing this image, for example position and shape information in the image such as the coordinates of the vertices of rectangles if the elements constituting the transmitted image are of rectangular shape or shape descriptors. This composition information makes it possible to extract textures and it is thus possible to define a library of textures for the composition of the final scene. These auxiliary data relate to the image composed by the circuit 2 but also to the final image representing the scene to be viewed at the receiver. This is then graphic information, for example relating to geometric shapes, appearances, the composition of the scene making it possible to configure a scene represented by the final image. This information defines the elements to be associated with graphic objects for the mapping of textures. They also define the possible interactivities making it possible to reconfigure the final image from these interactivities ... The composition of the image to be transmitted can be optimized according to the textures necessary for the construction of the final scene.
L'image composée générée par le circuit de composition 2 est transmise à un circuit de codage 3 qui réalise un codage de cette image. IlThe composite image generated by the composition circuit 2 is transmitted to a coding circuit 3 which performs coding of this image. he
". s'agit par. exemple d'un codage de type MPEG de l'image globale alors . . découpée en macroblocs. Des limitations peuvent être prévues pour l'estimation de mouvement en réduisant les fenêtres de recherches à la " . it is for example an MPEG type coding of the overall image then.. cut into macroblocks. Limitations can be provided for the motion estimation by reducing the search windows to the
. dimension des sous-images, ou à l'intérieur des zones dans lesquelles sont positionnés les éléments d'une image à l'autre, ceci afin d'imposer aux vecteurs mouvement de pointer dans la même sous-image ou zone de v codage de l'élément. Les données 1 auxiliaires provenant du circuit 4 . sont i transmises à un circuit de codage 5 qui réalise, tin .codage de ces données:. dimension of the sub-images, or inside the zones in which the elements are positioned from one image to another, this in order to impose on the motion vectors to point in the same sub-image or zone of v coding of item. Auxiliary data 1 from circuit 4. are i transmitted to a coding circuit 5 which realizes, .coding of these data:
..".-•'Les sorties des circuits de codage 3 et 5 sont transmises aux entrées d'un circuit de multiplexage 6 qui effectue un multiplexage des données reçues, c'est à dire des données vidéo relatives à l'image composée et des données auxiliaires. La sortie du circuit de multiplexage est transmise à l'entrée d'un circuit de transmission 7 pour la transmission des données multiplexées... " .- • ' The outputs of coding circuits 3 and 5 are transmitted to the inputs of a multiplexing circuit 6 which multiplexes the received data, ie video data relating to the composed image and auxiliary data The output of the multiplexing circuit is transmitted to the input of a transmission circuit 7 for the transmission of the multiplexed data.
L'image composée est réalisée à partir d'images ou parties d'image de formes quelconques extraites de sources vidéo mais peut également contenir des images fixes ou, d'une manière générale, tout type de représentation. Selon le nombre de sous-images à transmettre, une ou plusieurs images composées peuvent être réalisées pour un même instant, c'est à dire pour une image finale de la scène. Dans le cas où les signaux vidéo exploitent des standards différents, ces signaux peuvent être regroupés par standard du même type pour la composition d'une image composée. Par exemple, une première composition est réalisée à partir de tous les éléments à coder selon la norme MPEG-2, une deuxième composition à partir de tous les éléments à coder selon la norme MPEG-4, une autre à partir des éléments à coder selon la norme JPEG ou GIF images ou autre, de telle sorte que l'on émette un seul flux par type de codage et / ou par type de média. 5 L'image composée peut-être une mosaïque régulière constituée par exemple de rectangles ou sous-images de même taille ou bien une mosaïque irrégulière. Le flux auxiliaire transmet les données correspondant à la composition de la mosaïque.The composite image is produced from images or parts of images of any shape extracted from video sources but may also contain still images or, in general, any type of representation. Depending on the number of sub-images to be transmitted, one or more composed images can be produced for the same instant, that is to say for a final image of the scene. In the case where the video signals use different standards, these signals can be grouped by standard of the same type for the composition of a composite image. For example, a first composition is made from all the elements to be coded according to the MPEG-2 standard, a second composition from all the elements to be coded according to the MPEG-4 standard, another from the elements to be coded according to the standard JPEG or GIF images or other, so that a single stream is emitted per type of coding and / or by media type. 5 The image composed may be a regular mosaic consisting for example of rectangles or sub-images of the same size or else an irregular mosaic. The auxiliary flow transmits the data corresponding to the composition of the mosaic.
Le circuit de composition peut effectuer la composition de l'image 0 globale à partir de rectangles englobant ou fenêtres de limitation définissant les éléments. Ainsi un choix des éléments nécessaires à la scène finale est effectué par le compositeur. Ces éléments sont extraits d'images à disposition du compositeur provenant de différents flux vidéo. Une composition spatiale est ensuite réalisée à partir des éléments sélectionnés 5 - ; en des "plaçant" sur une image globale constituant une seule vidéo. Les v informations relatives au positionnement de . ces différents éléments, coordonnées, dimensions, etc., sont transmises au circuit de génération de- données auxiliaires qui les traitent pour les transmettre, sur le flux.The composition circuit can perform the composition of the overall image 0 from enclosing rectangles or limitation windows defining the elements. Thus a choice of the elements necessary for the final scene is made by the composer. These elements are extracted from images available to the composer from different video streams. A spatial composition is then produced from the selected elements 5 - ; by "placing" them on a global image constituting a single video. V The information about the positioning. these various elements, coordinates, dimensions, etc., are transmitted to the auxiliary data generation circuit which processes them to transmit them, on the stream.
Le circuit.de composition est du domaine connu; Il s'agit par exemple 0 d'un outil de montage vidéo professionnel, du type "Adobe première" (AdobeThe composition circuit is in the known field; This is for example 0 a professional video editing tool, of the "Adobe premiere" type (Adobe
- .. - est une marque déposée). Grâce à un tel circuit, des objets peuvent être extraits ...des sources vidéo, par exemple en sélectionnant des parties d'images, les images de ces objets peuvent être redimensionnées et positionnées sur une image globale. Un multiplexage spatial est par exemple 5 effectué pour obtenir l'image composée.- .. - is a registered trademark). Thanks to such a circuit, objects can be extracted ... from video sources, for example by selecting parts of images, the images of these objects can be resized and positioned on a global image. A spatial multiplexing is for example carried out to obtain the composite image.
Les moyens de construction d'une scène, à partir desquels est générée une partie des données auxiliaires, sont également du domaine connu. Par exemple, la norme MPEG4 fait appel au langage VRML (Virtual Reality Modeling Language) ou plus précisément au langage binaire BIFS 0 (BInary Format for Scènes) qui permet de définir la présentation d'une scène, de la changer, de l'actualiser. La description BIFS d'une scène permet de modifier les propriétés des objets et de définir leur comportement conditionnel. Elle suit une structure hiérarchique qui est une description arborescente. 5 Les données nécessaires à la description d'une scène concernent, entre autres, les règles de construction, les règles d'animation pour un objet, les règles d'interactivité pour un autre objet... Elles décrivent le scénario final. Une partie ou la totalité de ces données constitue les données auxiliaires pour la construction de la scène.The means of constructing a scene, from which a part of the auxiliary data is generated, are also in the known field. For example, the MPEG4 standard uses the VRML language (Virtual Reality Modeling Language) or more precisely the binary language BIFS 0 (BInary Format for Scenes) which allows to define the presentation of a scene, to change it, to update it . The BIFS description of a scene makes it possible to modify the properties of objects and to define their conditional behavior. It follows a hierarchical structure which is a tree description. 5 The data necessary for the description of a scene concern, among other things, the construction rules, the animation rules for an object, interactivity rules for another object ... They describe the final scenario. Some or all of this data constitutes the auxiliary data for the construction of the scene.
La figure 2 représente un récepteur pour un tel flux de données codé.FIG. 2 represents a receiver for such a coded data stream.
Le signal reçu à l'entrée du récepteur 8 est transmis à un démultiplexeur 9 qui sépare le flux vidéo des données auxiliaires. Le flux vidéo est transmis à un circuit de décodage vidéo 10 qui décode l'image globale telle qu'elle a été composée au niveau du codeur. Les données auxiliaires en sortie du démultiplexeur 9 sont transmises à un circuit de décodage 11 qui réalise un décodage des données auxiliaires. Enfin un circuit de traitement 12 traite les données vidéo et les données auxiliaires provenant respectivement des circuits 10 et 11 pour extraire les éléments, les textures nécessaires à laThe signal received at the input of the receiver 8 is transmitted to a demultiplexer 9 which separates the video stream from the auxiliary data. The video stream is transmitted to a video decoding circuit 10 which decodes the overall image as it was composed at the level of the coder. The auxiliary data at the output of the demultiplexer 9 are transmitted to a decoding circuit 11 which performs decoding of the auxiliary data. Finally, a processing circuit 12 processes the video data and the auxiliary data coming respectively from the circuits 10 and 11 to extract the elements, the textures necessary for the
.scène1, puis construire cette scène, l'image représentant celle-ci étant alors .- transmise à l'afficheur 13. Soit les éléments constituant l'image composée.scene 1 , then build this scene, the image representing this being then .- transmitted to the display 13. Or the elements constituting the composed image
.sont systématiquement extraits de l'image pour être exploités ou non, soit lesare systematically extracted from the image to be used or not, i.e.
- informations de construction .de la scène finale désignent les éléments- construction information .de the final scene designate the elements
. nécessaires à la construction de cette scène finale,} les informations de recomposition extrayant alors- ces seuls éléments de l'image composée: - - Les éléments sont extraits;- par exemple, par démultiplexage spatial.. necessary for the construction of this final scene,} the recomposition information then extracting only these elements from the composed image: - - The elements are extracted; - for example, by spatial demultiplexing.
Ils sont' redimensionnés, si nécessaire, par suréchantillonnage et interpolation spatiale.They are 'resized, if necessary, by oversampling and spatial interpolation.
Les informations de construction permettent donc de ne sélectionner qu'une partie des éléments constituant l'image composée. Elles permettent également d'autoriser l'utilisateur à "naviguer" dans la scène construite afin de visualiser des objets l'intéressant. Les informations de navigation provenant de l'utilisateur sont par exemple transmises en une entrée du circuit 12 (non représentée sur la figure) qui modifie la composition de la scène en conséquence. Bien évidemment, les textures transportées par l'image composée peuvent ne pas être exploitées directement dans la scène. Elles peuvent, par exemple, être mémorisées par le récepteur pour une exploitation en temps décalé ou pour la constitution d'une bibliothèque utilisée pour la construction de la scène. Une application de l'invention concerne la transmission des données vidéo au standard MPEG4 correspondant à plusieurs programmes à partir d'un seul flux vidéo ou plus généralement l'optimisation du nombre de flux dans une configuration MPEG4, par exemple pour une application guide de programmes. Si, dans une configuration classique MPEG-4, il est nécessaire de transmettre autant de flux que de vidéos pouvant être visualisées au niveau du terminal, le procédé décrit permet d'envoyer une image globale contenant plusieurs vidéos et d'utiliser les coordonnées de texture pour construire une nouvelle scène à l'arrivée.The construction information therefore makes it possible to select only a part of the elements constituting the composed image. They also allow the user to "navigate" in the constructed scene in order to view objects of interest. The navigation information from the user is for example transmitted to an input of the circuit 12 (not shown in the figure) which modifies the composition of the scene accordingly. Obviously, the textures transported by the composed image may not be used directly in the scene. They can, for example, be memorized by the receiver for use in offset time or for the constitution of a library used for the construction of the scene. An application of the invention relates to the transmission of video data in MPEG4 standard corresponding to several programs from a single video stream or more generally the optimization of the number of streams in an MPEG4 configuration, for example for a program guide application. If, in a classic MPEG-4 configuration, it is necessary to transmit as many streams as there are videos that can be viewed at the terminal, the method described makes it possible to send a global image containing several videos and to use texture coordinates to build a new scene upon arrival.
La figure 3 représente un exemple de scène composite construite à partir d'éléments d'une image composée. L'image globale 14, aussi appelée texture composite, est composée de plusieurs sous-images ou éléments ou sous-textures 15, 16, 17, 18, 19. L'image 20, en bas de la figure, correspond à la scène à visualiser. Le positionnement des objets pour construire cette scène correspond à l'image graphique 21 qui représente les objets graphiques. . • Dans le cas d'un codage MPEGΓ4 et selon 'art antérieur, chaqueFIG. 3 represents an example of a composite scene constructed from elements of a composite image. The global image 14, also called composite texture, is composed of several sub-images or elements or sub-textures 15, 16, 17, 18, 19. The image 20, at the bottom of the figure, corresponds to the scene at view. The positioning of the objects to construct this scene corresponds to the graphic image 21 which represents the graphic objects. . • In the case of MPEGΓ4 coding and according to the prior art, each
, vidéo ou image fixe correspondant aux éléments.15 à 19 est transmise dans1 un flux vidéo ou d'image fixe. Les données graphiques sont transmises dans le flux graphique. • ' .• •; . Dans notre invention, une image globale est composée à partir des images relatives aux différentes vidéo ou images fixes pour «former l'image composée 14 représentée en haut de la figure. Cette image globale , est codée. Des données, auxiliaires relatives à la composition de l'image globale et définissant les formes géométriques (seulement deux formes 22 et 23 sont représentées sur la figure) sont transmises en parallèle permettant de séparer les éléments. Les coordonnées de texture aux sommets, lorsque ces champs sont exploités, permettent de texturer ces formes à partir de l'image composée. Des données auxiliaires relatives à la construction de la scène et définissant l'image graphique 21 sont transmises., video or still image corresponding to elements. 15 to 19 is transmitted in 1 a video or still image stream. The graphic data is transmitted in the graphic stream. • ' . • • ; . In our invention, a global image is composed from the images relating to the different videos or still images to " form the composite image 14 represented at the top of the figure. This global image is coded. Auxiliary data relating to the composition of the overall image and defining the geometric shapes (only two shapes 22 and 23 are shown in the figure) are transmitted in parallel allowing the elements to be separated. The texture coordinates at the vertices, when these fields are used, allow these shapes to be textured from the composite image. Auxiliary data relating to the construction of the scene and defining the graphic image 21 are transmitted.
Dans le cas d'un codage MPEG-4 de l'image composée et selon l'invention, l'image texture composite est transmise sur le flux vidéo. Les éléments sont codés comme objets vidéo et leurs formes géométrique 22, 23 et coordonnées de texture aux sommets (dans l'image composée ou la texture composite) sont transmises sur le flux graphique. Les coordonnées de texture sont les informations de composition de l'image composée. Le flux qui est transmis peut être codé au standard MPEG-2 et dans ce cas, il est possible d'exploiter les fonctionnalités des circuits de plateformes existantes intégrant les récepteurs.In the case of MPEG-4 coding of the composite image and according to the invention, the composite texture image is transmitted over the video stream. The elements are coded as video objects and their geometric shapes 22, 23 and texture coordinates at the vertices (in the composite image or the composite texture) are transmitted over the graphic stream. The texture coordinates are the composition information of the composed image. The stream which is transmitted can be coded to the MPEG-2 standard and in this case, it is possible to exploit the functionalities of the circuits of existing platforms integrating the receivers.
Dans le cas d'une plate-forme pouvant décoder plus d'un programme MPEG-2 à un instant donné, des éléments complétant les programmes principaux peuvent être transmis sur un flux vidéo annexeIn the case of a platform capable of decoding more than one MPEG-2 program at a given time, elements supplementing the main programs can be transmitted on an additional video stream
MPEG-2 ou MPEG-4. Ce flux peut contenir plusieurs éléments visuels tels que des logos, des bannières publicitaires, animés ou non, qui peuvent être recombinés avec l'un ou l'autre des programmes diffusés, au choix du diffuseur. Ces éléments peuvent également être affichés en fonction des préférences ou du profil de l'utilisateur. Une interaction associée peut être prévue. Deux circuits de décodage sont exploités, un pour le programme, un pour l'image composée et les données auxiliaires. Un multiplexage spatial est alors possible du programme en cours de diffusion avec des informations supplémentaires provenant de l'image composée. . : ' .MPEG-2 or MPEG-4. This flow can contain several visual elements such as logos, advertising banners, animated or not, which can be combined with one or other of the programs broadcast, at the choice of the broadcaster. These items can also be displayed based on user preferences or profile. An associated interaction can be expected. Two decoding circuits are used, one for the program, one for the composite image and the auxiliary data. A spatial multiplexing is then possible of the program being broadcast with additional information coming from the composed image. . : '.
:Un .seul flux vidéo annexe peut être utilisé pour un bouquet de programme, pour compléter - plusieurs programmes ou plusieurs profils d'utilisateurs. : A single annex video stream can be used for a program package, to complete - several programs or several user profiles.

Claims

REVENDICATIONS
1 Procédé de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenant de différentes sources vidéo (1 ι, ...1n), caractérisé en ce qu'il comporte les étapes:1 Method for coding a scene composed of objects whose textures are defined from images or parts of images from different video sources (1 ι, ... 1 n ), characterized in that it comprises Steps:
- de composition spatiale (2) d'une image en dimensionnant et positionnant sur une image, les dites images ou parties d'images provenant des différentes sources vidéo, pour obtenir une image composée,- spatial composition (2) of an image by sizing and positioning on an image, said images or parts of images from different video sources, to obtain a composed image,
- de codage (3) de l'image composée,- coding (3) of the composed image,
- de calcul et codage de données auxiliaires (4) comprenant des informations relatives à la composition de l'image composée, aux textures des objets et à la composition de la scène.- calculation and coding of auxiliary data (4) comprising information relating to the composition of the composed image, the textures of the objects and the composition of the scene.
2 Procédé selon la revendicatio -1 , caractérisé en ce que l'image composée est obtenue par multiplexage spatial des images ou parties d'images.2 Method according to claim 1, characterized in that the composite image is obtained by spatial multiplexing of the images or parts of images.
3 Procédé selon la revendication 1 , caractérisé en ce que les sources vidéo à partir desquelles sont sélectionnés les images ou parties d'images composant une même image composée, ont les mêmes normes de codage.3 Method according to claim 1, characterized in that the video sources from which the images or parts of images composing the same composite image are selected, have the same coding standards.
4 Procédé selon la revendication 1 , caractérisé en ce que l'image composée comporte également une image fixe ne provenant pas d'une source vidéo.4 Method according to claim 1, characterized in that the composed image also comprises a still image not originating from a video source.
5 Procédé selon la revendication 1 , caractérisé en ce que le dimensionnement est une réduction de taille obtenue par sous- échantillonnage.5 Method according to claim 1, characterized in that the dimensioning is a reduction in size obtained by subsampling.
6 Procédé selon la revendication 1 , caractérisé en ce que l'image composée est codée selon la norme MPEG 4 et en ce que les informations relatives à la composition de l'image sont les coordonnées de textures.6 Method according to claim 1, characterized in that the composed image is coded according to the MPEG 4 standard and in that the information relating to the composition of the image are the texture coordinates.
7 Procédé de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée, des informations relatives aux textures des objets et à la composition de la scène, caractérisé en ce qu'il effectue les étapes de : - décodage de l'image vidéo (10) pour obtenir une image décodée7 Method for decoding a scene composed of objects, coded from a composite video image grouping images or parts of images of different video sources and from auxiliary data which are composition information of the composed video image, information relating to the textures of the objects and to the composition of the scene, characterized in that it performs the steps of: - decoding of the video image (10) to obtain a decoded image
- décodage des données auxiliaires (11),- decoding of the auxiliary data (11),
- extraction (12) de textures de l'image décodée à partir des données auxiliaires de composition de l'image,- extraction (12) of textures from the decoded image from the auxiliary image composition data,
- plaquage des textures (12) sur des objets de la scène à partir des données auxiliaires relatives aux textures et à la composition de la scène.- plating of textures (12) on objects of the scene from auxiliary data relating to the textures and the composition of the scene.
8 Procédé de décodage selon la revendication 7, caractérisé en ce que l'extraction des textures est effectuée par démultiplexage spatial de l'image décodée.8 decoding method according to claim 7, characterized in that the extraction of textures is carried out by spatial demultiplexing of the decoded image.
9 Procédé de décodage selon la revendication 7, caractérisé en ce qu'une texture est traitée par suréchantillonnage et interpolation spatiale pour obtenir la texture à afficher dans l'image finale visualisant la scène. «9 decoding method according to claim 7, characterized in that a texture is processed by oversampling and spatial interpolation to obtain the texture to be displayed in the final image viewing the scene. "
10 Dispositif de codage d'une scène composée d'objets dont les textures sont définies à partir d'images ou parties d'images provenant de différentes' sources vidéo (1 -ι, ...1n), caractérisé en ce qu'il comprend:10 Device for coding a scene made up of objects whose textures are defined from images or parts of images from different 'video sources (1 -ι, ... 1 n ), characterized in that He understands:
- un circuit de montage vidéo (2) recevant les différentes sources vidéo pour dimensionner et positionner sur une image, des images ou parties d'images provenant de ces sources vidéo, pour réaliser une image composée,a video editing circuit (2) receiving the different video sources for dimensioning and positioning on an image, images or parts of images from these video sources, for producing a composite image,
- un circuit de génération de données auxiliaires (4) relié au circuit de montage vidéo (2) pour fournir des informations relatives à la composition de l'image composée, aux textures des objets et à la composition de la scène,- an auxiliary data generation circuit (4) connected to the video editing circuit (2) for providing information relating to the composition of the composed image, the textures of the objects and the composition of the scene,
- un circuit de codage (3) de l'image composée, -un circuit de codage (5) des données auxiliaires.- a coding circuit (3) of the composite image, - a coding circuit (5) of the auxiliary data.
11 Dispositif de décodage d'une scène composée d'objets, codée à partir d'une image vidéo composée regroupant des images ou parties d'images provenant de différentes sources vidéo et à partir de données auxiliaires qui sont des informations de composition de l'image vidéo composée et des informations relatives aux textures des objets et à la composition de la scène, caractérisé en ce qu'il comporte :11 Device for decoding a scene composed of objects, coded from a composite video image grouping images or parts of images from different video sources and from auxiliary data which is composition information of the composite video image and information relating to the textures of the objects and to the composition of the scene, characterized in that it comprises:
- un circuit de décodage de l'image vidéo composée pour obtenir une image décodée (10), - un circuit de décodage des données auxiliaires (11 )- a circuit for decoding the composite video image to obtain a decoded image (10), - a circuit for decoding the auxiliary data (11)
- un circuit de traitement (12) recevant les données auxiliaires et l'image décodée pour extraire des textures de l'image décodée à partir des données auxiliaires de composition de l'image et pour plaquer des textures sur des objets de la scène à partir des données auxiliaires relatives aux textures et à la composition de la scène. - a processing circuit (12) receiving the auxiliary data and the decoded image to extract textures from the decoded image from the auxiliary image composition data and to map textures on objects of the scene from auxiliary data relating to the textures and the composition of the scene.
EP02791510A 2001-07-27 2002-07-24 Method and device for coding a scene Withdrawn EP1433333A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0110086 2001-07-27
FR0110086A FR2828054B1 (en) 2001-07-27 2001-07-27 METHOD AND DEVICE FOR CODING A SCENE
PCT/FR2002/002640 WO2003013146A1 (en) 2001-07-27 2002-07-24 Method and device for coding a scene

Publications (1)

Publication Number Publication Date
EP1433333A1 true EP1433333A1 (en) 2004-06-30

Family

ID=8866006

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02791510A Withdrawn EP1433333A1 (en) 2001-07-27 2002-07-24 Method and device for coding a scene

Country Status (5)

Country Link
US (1) US20040258148A1 (en)
EP (1) EP1433333A1 (en)
JP (1) JP2004537931A (en)
FR (1) FR2828054B1 (en)
WO (1) WO2003013146A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2438004B (en) 2006-05-08 2011-08-24 Snell & Wilcox Ltd Creation and compression of video data
DE102006027441A1 (en) * 2006-06-12 2007-12-13 Attag Gmbh Method and apparatus for generating a digital transport stream for a video program
JP2008131569A (en) * 2006-11-24 2008-06-05 Sony Corp Image information transmission system and method, image information transmission apparatus and method, and image information receiving apparatus and method,
TWI382358B (en) * 2008-07-08 2013-01-11 Nat Univ Chung Hsing Method of virtual reality data guiding system
KR101791919B1 (en) 2010-01-22 2017-11-02 톰슨 라이센싱 Data pruning for video compression using example-based super-resolution
KR101789845B1 (en) 2010-01-22 2017-11-20 톰슨 라이센싱 Methods and apparatus for sampling-based super resolution video encoding and decoding
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033970A1 (en) * 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
US8724696B2 (en) * 2010-09-23 2014-05-13 Vmware, Inc. System and method for transmitting video and user interface elements

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
GB9502006D0 (en) * 1995-02-02 1995-03-22 Ntl Transmission system
US5657096A (en) * 1995-05-03 1997-08-12 Lukacs; Michael Edward Real time video conferencing system and method with multilayer keying of multiple video images
JP2962348B2 (en) * 1996-02-08 1999-10-12 日本電気株式会社 Image code conversion method
JPH1040357A (en) * 1996-07-24 1998-02-13 Nippon Telegr & Teleph Corp <Ntt> Method for preparing video
FR2786353B1 (en) * 1998-11-25 2001-02-09 Thomson Multimedia Sa METHOD AND DEVICE FOR CODING IMAGES ACCORDING TO THE MPEG STANDARD FOR THE INCRUSTATION OF IMAGES
US6405095B1 (en) * 1999-05-25 2002-06-11 Nanotek Instruments, Inc. Rapid prototyping and tooling system
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6714202B2 (en) * 1999-12-02 2004-03-30 Canon Kabushiki Kaisha Method for encoding animation in an image file
US6791574B2 (en) * 2000-08-29 2004-09-14 Sony Electronics Inc. Method and apparatus for optimized distortion correction for add-on graphics for real time video
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US7027655B2 (en) * 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
IL159537A0 (en) * 2001-06-28 2004-06-01 Omnivee Inc Method and apparatus for control and processing of video images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03013146A1 *

Also Published As

Publication number Publication date
FR2828054A1 (en) 2003-01-31
US20040258148A1 (en) 2004-12-23
JP2004537931A (en) 2004-12-16
FR2828054B1 (en) 2003-11-28
WO2003013146A1 (en) 2003-02-13

Similar Documents

Publication Publication Date Title
US11087549B2 (en) Methods and apparatuses for dynamic navigable 360 degree environments
EP1233614B1 (en) System for video transmission and processing generating a user mosaic
US20080101456A1 (en) Method for insertion and overlay of media content upon an underlying visual media
EP2338278B1 (en) Method for presenting an interactive video/multimedia application using content-aware metadata
US20070005795A1 (en) Object oriented video system
EP1255409A1 (en) Conversion between textual and binary BIFS (Binary Format for scene) format
EP1433333A1 (en) Method and device for coding a scene
EP2382756B1 (en) Modelisation method of the display of a remote terminal using macroblocks and masks caracterized by a motion vector and transparency data
CN113891117A (en) Immersion medium data processing method, device, equipment and readable storage medium
JP4272891B2 (en) Apparatus, server, system and method for generating mutual photometric effect
WO2021109412A1 (en) Volumetric visual media process methods and apparatus
US7439976B2 (en) Visual communication signal
EP1236352B1 (en) Method for digital television broadcasting, digital signal and related equipment
CN115002470A (en) Media data processing method, device, equipment and readable storage medium
Bove Object-oriented television
US20120019621A1 (en) Transmission of 3D models
Deshpande et al. Omnidirectional MediA Format (OMAF): toolbox for virtual reality services
KR20030005178A (en) Method and device for video scene composition from varied data
Kauff et al. The MPEG-4 standard and its applications in virtual 3D environments
FR2780843A1 (en) METHOD FOR PROCESSING VIDEO DATA FOR DISPLAY ON SCREEN AND DEVICE IMPLEMENTING THE METHOD
EP4078971A1 (en) Methods and apparatuses for encoding, decoding and rendering 6dof content from 3dof+ composed elements
FR2940703B1 (en) METHOD AND DEVICE FOR MODELING A DISPLAY
Arsov A framework for distributed 3D graphics applications based on compression and streaming
Lim et al. MPEG Multimedia Scene Representation
Kitson Multimedia, visual computing, and the information superhighway

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040128

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RIN1 Information on inventor provided before grant (corrected)

Inventor name: KERDRANVAT, MICHEL

Inventor name: BLONDE, LAURENT

Inventor name: KERVELLA, GWENAEL

Inventor name: KERBIRIOU, PAUL

RIN1 Information on inventor provided before grant (corrected)

Inventor name: KERDRANVAT, MICHEL

Inventor name: BLONDE, LAURENT

Inventor name: KERVELLA, GWENAEL

Inventor name: KERBIRIOU, PAUL

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

17Q First examination report despatched

Effective date: 20100709

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20101120