EP3821611A2 - Method for viewing graphical elements arising from an encoded composite video stream - Google Patents

Method for viewing graphical elements arising from an encoded composite video stream

Info

Publication number
EP3821611A2
EP3821611A2 EP19758432.9A EP19758432A EP3821611A2 EP 3821611 A2 EP3821611 A2 EP 3821611A2 EP 19758432 A EP19758432 A EP 19758432A EP 3821611 A2 EP3821611 A2 EP 3821611A2
Authority
EP
European Patent Office
Prior art keywords
images
composite
channel
video stream
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19758432.9A
Other languages
German (de)
French (fr)
Inventor
Florent THIERY
Anthony VIOLO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubicast
Original Assignee
Ubicast
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubicast filed Critical Ubicast
Publication of EP3821611A2 publication Critical patent/EP3821611A2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Definitions

  • the invention relates to the field of methods and device for viewing graphic elements from an encoded composite video stream.
  • the invention relates to a method for viewing graphic elements from an encoded composite video stream.
  • the purpose of the first decoded composite stream is to present a control interface to a user.
  • the purpose of the second decoded stream is to present the user with a video stream selected from the composite video streams.
  • the selected video stream is selected by the user from the control interface.
  • the disadvantage of this method is that it requires a step of duplicating the first encoded composite video stream and two distinct steps of decoding an encoded video stream to decode each of the encoded composite video streams.
  • the first part of the image includes a relative image from one of the video streams.
  • a second part of the image can be generated from another of the video streams.
  • the additional image part can be a thumbnail resulting from a processing carried out on a captured image, said captured image coming from another part of the current image, relative to the other of the video streams.
  • this method has the disadvantage of being greedy in memory and in computation time, because it requires carrying out a capture, that is to say an image generation, from each of the video streams necessary for the generation of different thumbnails, as well as scaling of the generated image.
  • the publication plans to repeat the generation of thumbnails at a relatively low frequency.
  • An object of the invention is in particular to remedy all or part of the aforementioned drawbacks.
  • An idea which is the basis of the invention is to entrust the generation of any part of the image, whether it is a thumbnail or more generally an image coming from an encoded composite video stream, to a graphics card (GPU, for English graphies processing unit), which has the effect of speeding up calculations.
  • GPU for English graphies processing unit
  • a method for viewing graphic elements originating from an encoded composite video stream constituted by a succession of composite images.
  • Each of the composite images IC t is formed from a juxtaposition of elementary image IEy.
  • juxtaposition the present description designates both two images arranged side by side as two possibly spaced images.
  • the encoded composite video stream for example complies with the H264 standard.
  • the composite video stream is associated with a data structure, which describes:
  • the drawing parameters can include details of position, size, depth, opacity.
  • the drawing parameters can be objects in JSON data format (for the JavaScript Object Notation).
  • the process includes:
  • a decoding step initiated by a web browser, of the composite video stream encoded for recording in a memory of a graphics card in the form of a textured object corresponding to said original composite images
  • a step of constructing a final rendering image by processing by said graphics card comprising a construction of an array of pixels as a function of said set of drawing parameters, of the pixels of said elementary images of said coordinates of each of said elementary images and of said personalization parameters, display the succession of final rendering images in a user interface of the interactive video player type.
  • a graphics card allows the generation of thumbnails to be repeated at a frequency equal to that of the main image displayed.
  • a graphics processor generally has a highly parallel structure which makes it efficient for a wide range of graphics tasks such as 3D rendering, Direct3D, OpenGL, video memory management, video signal processing, Mpeg decompression, etc.
  • the method may not include an additional step of capturing images within the meaning of patent application WO2013150250. Also, the processing time and the memory space used increases less rapidly with the number of elementary images.
  • texture object this description relates in particular to an object, within the meaning of the WebGL application programming interface, which contains an image.
  • the final rendering image is an object of type Framebuffer.
  • the personalization parameters can be modified during a selection made by a computer mouse on a part of the user interface, or even via a script, or by means of a pointer on the elementary image.
  • a device for viewing graphic elements originating from an encoded composite video stream consisting of a succession of composite images, each of said composite images being formed of a juxtaposition of elementary images, said composite video stream being associated with a data structure describing:
  • the device comprises:
  • a means configured to decode said composite video stream and save it, in a memory of a graphics card, in the form of a texture object corresponding to said original composite images,
  • a means of constructing a final rendering image by processing by said graphics card consisting in constructing an array of pixels as a function of said set of drawing parameters, the pixels of said elementary images of said coordinates of each of said elementary images and of said parameters customization,
  • a graphic display system comprising:
  • coded composite video stream containing a plurality of channels, comprising at least a first channel and a second channel;
  • a graphics processing unit and a memory coupled to the graphics processing unit, the memory storing instructions which, during execution, cause the graphics processing unit to:
  • o creates, for the plurality of times given, a sequence of composite images based on, for a first composite image of the sequence of composite images, an arrangement of the first channel and an arrangement of the second channel; and o displays the sequence of composite images, the sequence of composite images comprising a first part where the first channel is displayed and a second part where the second channel is displayed, and in which the first part and the second part are adjustable.
  • the graphics processing unit and memory can be included on a graphics card, and the graphics processing unit can be further configured to:
  • the composite image sequence can be created using first channel and second channel images stored in the memory of the graphics card.
  • the composite image sequence can be created according to a first set of drawing parameters corresponding to the first channel and a second set of drawing parameters corresponding to the second channel.
  • Storing the first channel and second channel images may include storing the first channel and second channel images as a single texture object, the texture object possibly being associated with the composite video stream.
  • the composite image sequence can be displayed on an output device configured to receive input to adjust the composite image sequence.
  • the instructions during execution, can control the graphics processing unit to create a second sequence of composite video stream, in which the composite video stream of second sequence is a set of thumbnails corresponding to the first channel or to the second channel.
  • a user interface of the output device may include user-adjustable personalization parameters, and in response to the adjustment of user-adjustable personalization parameters, the first part and the second part of the composite image sequence may be adjusted accordingly.
  • the first part and the second part can overlap.
  • a computer program product downloadable from a communication network and / or stored on a medium readable by computer and / or executable by a microprocessor, and loadable in an internal memory a calculation unit, comprising program code instructions which, when executed by the calculation unit, implement the steps of the method according to the first aspect of the invention, or one or more of his improvements.
  • FIG. 1 schematically shows an embodiment implementing a method according to the invention.
  • variants of the invention comprising only a selection of characteristics described, subsequently isolated from the other characteristics described, if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art.
  • This selection includes at least one characteristic, preferably functional, without structural details, or with only part of the structural details if this part only is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art. .
  • FIG. 1 An embodiment of a system 1 implementing a method according to an embodiment of the invention is illustrated in FIG. 1.
  • a device 100 according to the invention and more generally a graphic display system according to the invention are simultaneously described.
  • the system 1 comprises 4 separate video channels respectively referenced 10, 11, 12 and 13.
  • each of the channels produces an elementary image, respectively referenced IE t, i , IE t, 2 , IE l 3 , IE l 2 .
  • a composite image IC t is formed by a juxtaposition of elementary images.
  • a sequence of composite images forms a composite video stream Fv.
  • This composite video stream is encoded during an Eenc encoding step to generate an Fvc encoded composite video stream.
  • the composite video stream Fvc can be received by a device 100 in accordance with an embodiment of a device according to the invention, for viewing graphic elements originating from a composite video stream.
  • the composite video stream Fvc is associated with a data structure Dstruct, which describes: at least one coordinate of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 with respect to a constant reference in the composite image, at least one set of drawing parameters of each of said elementary images IE t, i , IE, 2, IE 3 , IE 14 with respect to a constant reference in a composition zone to be displayed on a screen.
  • a data structure Dstruct describes: at least one coordinate of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 with respect to a constant reference in the composite image, at least one set of drawing parameters of each of said elementary images IE t, i , IE, 2, IE 3 , IE 14 with respect to a constant reference in a composition zone to be displayed on a screen.
  • the drawing parameters include details of position, size, depth, opacity.
  • the drawing parameters are objects in JSON data format (for the JavaScript Object Notation).
  • the device 100 includes:
  • a means 102 configured to decode the composite video stream Eve and record it, in a memory 204 of a GPU graphics card, in the form of a texture object TCt corresponding to said original composite images ICt,
  • - construction means 106 to a final rendered image IRt configured to implement a processing by the GPU graphics card of constructing an array of pixels according to said set of design parameters, the pixels of said elementary images IE. i, IE. 2, IE. 3, IE. 4 of the coordinates of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 and personalization parameters,
  • the means 102 can be produced in the form of a microprocessor.
  • the texture object is a texture type object within the meaning of the WebGL application programming interface.
  • the means 104 may be a microprocessor configured to occasionally acquire personalization parameters, such as selections of image parts to be displayed.
  • the means 106 can be implemented in the form of a microprocessor configured to give instructions to the GPU graphics card.
  • the three means 102, 104 and 106 can be produced in the form of a single processor.
  • the display means 108 may be a video player displayed by a web browser.
  • the processing implemented by the GPU graphics card on the instruction of the means 106 can be, in the case of the implementation of the WebGL application programming interface, that performed by the glDrawElements instruction.
  • This instruction implements buffers which do not contain pixels, but vertices or colors.
  • each of the images comprising a main part and a strip part
  • the main part comprising an image relating to one of the streams of the composite video stream
  • the strip part comprising images from each of the other streams in the composite video stream
  • the image refresh rate of the main part and of each of the images of the strip part being the same, for example of 30 images per second.
  • the composite video stream to be displayed in the main part image can be selected, for example, by clicking on another image of the banner part.
  • the main part image can include several of the streams in the composite video stream.
  • an image of at least one stream displayed in the main image may be partially obscured by an image of another stream displayed in the main image.
  • the graphics display system can be implemented on the one hand by the video streams described above and on the other hand by the GPU graphics card and the memory 204.

Abstract

Method for the viewing of graphical elements arising from an encoded composite video stream (Fvc), each of said composite images (ICt) being formed of a juxtaposition of elementary images (IEt, i), comprising: a step of decoding, initiated by a web browser, for the recording in a memory of a graphics card (GPU) in the form of a texture object (TCt) corresponding to said original composite images (ICt), a step of constructing a final rendition image (IRt) by a processing by said graphics card consisting in constructing a table of pixels as a function of a set of design parameters, of the pixels of said elementary images (IEt, i), of coordinates of each of said elementary images (IEt, i), a step of displaying the succession of final rendition images (IRt) in a user interface of interactive video reader type.

Description

PROCEDE DE VISUALISATION D’ELEMENTS GRAPHIQUES ISSUS D’UN FLUX METHOD OF VISUALIZING GRAPHIC ELEMENTS FROM A FLOW
VIDEO COMPOSITE ENCODE COMPOSITE ENCODE VIDEO
Domaine technique Technical area
L’invention se situe dans le domaine des procédé et dispositif visualisation d’éléments graphiques issus d’un flux vidéo composite encodé.  The invention relates to the field of methods and device for viewing graphic elements from an encoded composite video stream.
L’invention concerne un procédé de visualisation d’éléments graphiques issus d’un flux vidéo composite encodé.  The invention relates to a method for viewing graphic elements from an encoded composite video stream.
État de la technique antérieure State of the art
On connaît des procédé et dispositif de visualisation d’éléments graphiques issus d’un flux vidéo composite encodé.  Methods and devices are known for displaying graphic elements originating from an encoded composite video stream.
Il est connu de la publication US2010/0235857 un tel procédé, comportant une étape de démultiplexage d’un flux vidéo composite multiplexé pour générer un premier flux vidéo composite encodé, une étape de duplication du premier flux vidéo composite encodé pour générer un deuxième flux vidéo composite encodé, et un décodage de chacun des deux flux vidéo composite encodé.  It is known from publication US2010 / 0235857 such a method, comprising a step of demultiplexing a multiplexed composite video stream to generate a first encoded composite video stream, a step of duplicating the first encoded composite video stream to generate a second video stream composite encoded, and a decoding of each of the two encoded composite video streams.
Le premier flux composite décodé a pour objet de présenter une interface de contrôle à un utilisateur.  The purpose of the first decoded composite stream is to present a control interface to a user.
Le deuxième flux décodé a pour objet de présenter à l’utilisateur un flux vidéo sélectionné parmi les flux vidéo composites. Le flux vidéo sélectionné est sélectionné par l’utilisateur à partir de l’interface de contrôle.  The purpose of the second decoded stream is to present the user with a video stream selected from the composite video streams. The selected video stream is selected by the user from the control interface.
Ce procédé a pour inconvénient de nécessiter une étape de duplication du premier flux vidéo composite encodé et deux étapes distinctes de décodages de flux vidéo encodé pour décoder chacun des flux vidéo composite encodé.  The disadvantage of this method is that it requires a step of duplicating the first encoded composite video stream and two distinct steps of decoding an encoded video stream to decode each of the encoded composite video streams.
Il est connu de la publication W02013150250 un autre procédé de visualisation d’éléments graphiques. Selon cette publication, il est proposé d’afficher à un instant donné, dans un seul lecteur vidéo, par exemple de type Flash, une image comportant au moins deux parties d’images. Another method of visualizing graphic elements is known from publication W02013150250. According to this publication, it is proposed to display at a given instant, in a single video player, for example of the Flash type, an image comprising at least two parts of images.
Une première partie de l’image comporte une image relative issue de l’un des flux vidéo.The first part of the image includes a relative image from one of the video streams.
Une deuxième partie de l’image, appelée partie d’image supplémentaire dans la publication, peut être générée à partir d’un autre des flux vidéo. A second part of the image, called an additional image part in the publication, can be generated from another of the video streams.
Par exemple, la partie d’image supplémentaire peut être une vignette résultant d’un traitement effectué sur une image capturée, ladite image capturée provenant d’une autre partie de l’image courante, relative à l’autre des flux vidéo. Avec ce procédé, il est possible d’afficher une image d’un flux vidéo dans une zone principale du lecteur vidéo ainsi que plusieurs vignettes, chacune étant générée à partir du traitement exposé, dans une zone particulière du lecteur vidéo. For example, the additional image part can be a thumbnail resulting from a processing carried out on a captured image, said captured image coming from another part of the current image, relative to the other of the video streams. With this method, it is possible to display an image of a video stream in a main area of the video player as well as several thumbnails, each one being generated from the exposed processing, in a particular area of the video player.
On comprend que ce procédé a pour inconvénient d’être gourmand en mémoire et en temps de calcul, car il nécessite d’effectuer une capture, c’est à dire une génération d’image, à partir de chacun des flux vidéo nécessaires à la génération des différentes vignettes, ainsi qu’une mise à l’échelle de l’image générée.  We understand that this method has the disadvantage of being greedy in memory and in computation time, because it requires carrying out a capture, that is to say an image generation, from each of the video streams necessary for the generation of different thumbnails, as well as scaling of the generated image.
Pour réduire le temps de calcul nécessaire à l’étape de mise à l’échelle du procédé, la publication prévoir de réitérer la génération des miniatures à une fréquence relativement basse. To reduce the computation time necessary for the scaling step of the process, the publication plans to repeat the generation of thumbnails at a relatively low frequency.
Ce fonctionnement n’est pas totalement satisfaisant, car il génère une augmentation de la mémoire proportionnelle au nombre de flux vidéo dont une représentation est utilisée dans une vignette. This is not entirely satisfactory, as it generates an increase in memory proportional to the number of video streams, a representation of which is used in a thumbnail.
Exposé de l’invention Statement of the invention
Un but de l’invention est notamment de remédier à tout ou partie des inconvénients précités. An object of the invention is in particular to remedy all or part of the aforementioned drawbacks.
Une idée qui est à la base de l’invention est de confier la génération de toute partie d’image, qu’elle soit une vignette ou plus généralement une image provenant d’un flux vidéo composite encodé, à une carte graphique (GPU, pour l’anglais graphies processing unit), ce qui a pour effet d’accélérer les calculs. An idea which is the basis of the invention is to entrust the generation of any part of the image, whether it is a thumbnail or more generally an image coming from an encoded composite video stream, to a graphics card (GPU, for English graphies processing unit), which has the effect of speeding up calculations.
Aussi, selon un premier aspect de l’invention, il est proposé un procédé pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé constitué par une succession d’images composites.  Also, according to a first aspect of the invention, a method is proposed for viewing graphic elements originating from an encoded composite video stream constituted by a succession of composite images.
Chacune des images composites ICt est formée d’une juxtaposition d’image élémentaire IEy. Par juxtaposition, la présente description désigne aussi bien deux images disposées côte à côte que deux images éventuellement espacées. Each of the composite images IC t is formed from a juxtaposition of elementary image IEy. By juxtaposition, the present description designates both two images arranged side by side as two possibly spaced images.
Le flux vidéo composite encodé est par exemple conforme à la norme H264.  The encoded composite video stream for example complies with the H264 standard.
Le flux vidéo composite est associé à une structure de données, qui décrit :  The composite video stream is associated with a data structure, which describes:
au moins une coordonnée de chacune desdites images élémentaires, par rapport à une référence constante dans l’image composite,  at least one coordinate of each of said elementary images, with respect to a constant reference in the composite image,
au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires par rapport à une référence, de préférence constante, dans une zone de composition à afficher sur un écran.  at least one set of drawing parameters for each of said elementary images with respect to a reference, preferably constant, in a composition zone to be displayed on a screen.
Les paramètres de dessins peuvent comporter des précisions de position, taille, profondeur, opacité. Les paramètres de dessins peuvent être des objets au format de données JSON (pour l’anglais JavaScript Object Notation). The drawing parameters can include details of position, size, depth, opacity. The drawing parameters can be objects in JSON data format (for the JavaScript Object Notation).
Le procédé comporte :  The process includes:
- une étape de décodage, initiée par un navigateur web, du flux vidéo composite encodé pour l’enregistrement dans une mémoire d’une carte graphique sous la forme d’un objet texture correspondant auxdites images composites originelles,  a decoding step, initiated by a web browser, of the composite video stream encoded for recording in a memory of a graphics card in the form of a textured object corresponding to said original composite images,
- une étape d’acquisition occasionnelle de paramètres de personnalisation,  - a step of occasional acquisition of personalization parameters,
- une étape de construction d’une image de rendu finale par un traitement par ladite carte graphique comportant une construction d’un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires desdites coordonnées de chacune desdites images élémentaires et desdits paramètres de personnalisation, afficher la succession d’images de rendu finale dans une interface utilisateur de type lecteur vidéo interactif.  a step of constructing a final rendering image by processing by said graphics card comprising a construction of an array of pixels as a function of said set of drawing parameters, of the pixels of said elementary images of said coordinates of each of said elementary images and of said personalization parameters, display the succession of final rendering images in a user interface of the interactive video player type.
Avec l’enregistrement dans une mémoire d’une carte graphique (GPU, pour l’anglais graphies processing unit), qui accélère les calculs, sous la forme d’un objet texture correspondant auxdites images composites originelles, les traitements mis en œuvre par le procédé sont beaucoup plus rapides que ceux selon l’art antérieur qui confiait les calculs à une unité centrale de traitement (CPU, pour l’anglais central processing unit).  With the recording in a memory of a graphics card (GPU, for English graphies processing unit), which accelerates the calculations, in the form of a textured object corresponding to said original composite images, the treatments implemented by the processes are much faster than those according to the prior art which entrusted the calculations to a central processing unit (CPU).
En outre, l’utilisation d’une carte graphique permet de réitérer la génération des miniatures à une fréquence égale à celle de l’image principale affichée.  In addition, the use of a graphics card allows the generation of thumbnails to be repeated at a frequency equal to that of the main image displayed.
Un processeur graphique a généralement une structure hautement parallèle qui le rend efficace pour une large palette de tâches graphiques comme le rendu 3D, en Direct3D, en OpenGL, la gestion de la mémoire vidéo, le traitement du signal vidéo, la décompression Mpeg, etc.  A graphics processor generally has a highly parallel structure which makes it efficient for a wide range of graphics tasks such as 3D rendering, Direct3D, OpenGL, video memory management, video signal processing, Mpeg decompression, etc.
Avantageusement, le procédé peut ne pas comporter d’étape supplémentaire de capture d’images au sens de la demande de brevet WO2013150250. Aussi, le temps de traitement et l’espace mémoire utilisé augmente moins rapidement avec le nombre d’images élémentaire.  Advantageously, the method may not include an additional step of capturing images within the meaning of patent application WO2013150250. Also, the processing time and the memory space used increases less rapidly with the number of elementary images.
Par objet texture, la présente description vise en particulier un objet, au sens de l’interface de programmation applicative WebGL, qui contient une image. By texture object, this description relates in particular to an object, within the meaning of the WebGL application programming interface, which contains an image.
L’image de rendu finale est, au sens de l’interface de programmation applicative WebGL, un objet de type Framebuffer.  In the sense of the WebGL application programming interface, the final rendering image is an object of type Framebuffer.
Les paramètres de personnalisation peuvent être modifiés lors d’une sélection effectuée par une souris informatique sur une partie de l’interface utilisateur, ou encore via un script, ou au moyen d’un pointeur sur l’image élémentaire. Selon un autre aspect de l’invention, il est proposé un dispositif pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé constitué par une succession d’images composites, chacune desdites images composites étant formée d’une juxtaposition d’images élémentaires, ledit flux vidéo composite étant associé à une structure de données décrivant : The personalization parameters can be modified during a selection made by a computer mouse on a part of the user interface, or even via a script, or by means of a pointer on the elementary image. According to another aspect of the invention, a device is proposed for viewing graphic elements originating from an encoded composite video stream consisting of a succession of composite images, each of said composite images being formed of a juxtaposition of elementary images, said composite video stream being associated with a data structure describing:
au moins une coordonnée de chacune desdites images élémentaires par rapport à une référence constante dans l’image composite,  at least one coordinate of each of said elementary images with respect to a constant reference in the composite image,
au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires par rapport à une référence constante dans une zone de composition à afficher sur un écran,  at least one set of drawing parameters for each of said elementary images with respect to a constant reference in a composition area to be displayed on a screen,
Selon l’invention, le dispositif comporte :  According to the invention, the device comprises:
- un moyen configuré pour décoder ledit flux vidéo composite et l’enregistrer, dans une mémoire d’une carte graphique, sous la forme d’un objet de texture correspondant auxdites images composites originelles,  a means configured to decode said composite video stream and save it, in a memory of a graphics card, in the form of a texture object corresponding to said original composite images,
- un moyen d’acquisition occasionnelle de paramètres de personnalisation,  - a means of occasional acquisition of personalization parameters,
- un moyen de construction d’une image de rendu finale par un traitement par ladite carte graphique consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires desdites coordonnées de chacune desdites images élémentaires et desdits paramètres de personnalisation, a means of constructing a final rendering image by processing by said graphics card consisting in constructing an array of pixels as a function of said set of drawing parameters, the pixels of said elementary images of said coordinates of each of said elementary images and of said parameters customization,
- un moyen d’affichage de la succession d’images de rendu finale dans une interface utilisateur de type lecteur vidéo interactif. a means of displaying the succession of final rendering images in a user interface of the interactive video player type.
Selon encore un autre aspect de l’invention, il est proposé un système d'affichage graphique comprenant:  According to yet another aspect of the invention, a graphic display system is proposed comprising:
- un flux vidéo composite codé contenant une pluralité de canaux, comprenant au moins un premier canal et un second canal;  - a coded composite video stream containing a plurality of channels, comprising at least a first channel and a second channel;
- une unité de traitement graphique et une mémoire couplée à l'unité de traitement graphique, la mémoire stockant des instructions qui, lors de l'exécution, font que l'unité de traitement graphique:  a graphics processing unit and a memory coupled to the graphics processing unit, the memory storing instructions which, during execution, cause the graphics processing unit to:
o obtient l’image issue du flux vidéo composite décodé contenant le premier canal et le deuxième canal à plusieurs instants donnés ;  o obtains the image from the decoded composite video stream containing the first channel and the second channel at several given times;
o crée, pour la pluralité d'instants donnés, une séquence d'images composites basée sur, pour une première image composite de la séquence d'images composites, un agencement du premier canal et un agencement du deuxième canal; et o affiche la séquence d'images composites, la séquence d'images composites comprenant une première partie où le premier canal est affiché et une deuxième partie où le deuxième canal est affiché, et dans laquelle la première partie et la deuxième partie sont réglables. o creates, for the plurality of times given, a sequence of composite images based on, for a first composite image of the sequence of composite images, an arrangement of the first channel and an arrangement of the second channel; and o displays the sequence of composite images, the sequence of composite images comprising a first part where the first channel is displayed and a second part where the second channel is displayed, and in which the first part and the second part are adjustable.
L'unité de traitement graphique et la mémoire peuvent être incluses sur une carte graphique, et l'unité de traitement graphique peut être en outre configurée pour:  The graphics processing unit and memory can be included on a graphics card, and the graphics processing unit can be further configured to:
stocker l’image issue du flux vidéo composite décodé contenant ![l]des images du premier canal et du second canal dans la mémoire;  store the image from the decoded composite video stream containing! [l] images of the first channel and the second channel in the memory;
- obtenir des paramètres de personnalisation, et  - obtain personalization parameters, and
- créer la séquence d'images composites en fonction des paramètres de personnalisation. - create the sequence of composite images according to the personalization parameters.
La séquence d'images composites peut être créée en utilisant des images du premier canal et du second canal stockées dans la mémoire de la carte graphique. La séquence d'images composites peut être créée selon un premier ensemble de paramètres de dessin correspondant au premier canal et un second ensemble de paramètres de dessin correspondant au second canal. Le stockage des images du premier canal et du second canal peut comprendre le stockage des images du premier canal et du second canal en tant qu'objet de texture unique, l'objet de texture pouvant être associé au flux vidéo composite. The composite image sequence can be created using first channel and second channel images stored in the memory of the graphics card. The composite image sequence can be created according to a first set of drawing parameters corresponding to the first channel and a second set of drawing parameters corresponding to the second channel. Storing the first channel and second channel images may include storing the first channel and second channel images as a single texture object, the texture object possibly being associated with the composite video stream.
La séquence d'images composites peut être affichée sur un dispositif de sortie configuré pour recevoir une entrée afin d'ajuster la séquence d'images composites. Les instructions, lors de l'exécution, peuvent commander l'unité de traitement graphique pour créer une deuxième séquence de flux vidéo composite, dans lequel le flux vidéo composite de deuxième séquence est un ensemble de vignettes correspondant au premier canal ou au deuxième canal. Une interface utilisateur du dispositif de sortie peut comprendre des paramètres de personnalisation ajustables par l'utilisateur, et en réponse au réglage des paramètres de personnalisation ajustables par l'utilisateur, la première partie et la seconde partie de la séquence d'images composites peuvent être ajustées en conséquence.  The composite image sequence can be displayed on an output device configured to receive input to adjust the composite image sequence. The instructions, during execution, can control the graphics processing unit to create a second sequence of composite video stream, in which the composite video stream of second sequence is a set of thumbnails corresponding to the first channel or to the second channel. A user interface of the output device may include user-adjustable personalization parameters, and in response to the adjustment of user-adjustable personalization parameters, the first part and the second part of the composite image sequence may be adjusted accordingly.
La première partie et la deuxième partie peuvent se chevaucher.  The first part and the second part can overlap.
Selon encore un autre aspect de l’invention, il est proposé un produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, comportant des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes du procédé selon le premier aspect de l’invention, ou l’un ou plusieurs de ses perfectionnements.  According to yet another aspect of the invention, there is provided a computer program product, downloadable from a communication network and / or stored on a medium readable by computer and / or executable by a microprocessor, and loadable in an internal memory a calculation unit, comprising program code instructions which, when executed by the calculation unit, implement the steps of the method according to the first aspect of the invention, or one or more of his improvements.
Description des figures D’ autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels : Description of the figures Other advantages and particularities of the invention will appear on reading the detailed description of implementations and embodiments which are in no way limitative, with reference to the appended drawings in which:
- la figure 1 représente schématiquement un mode de réalisation mettant en œuvre un procédé selon l’invention.  - Figure 1 schematically shows an embodiment implementing a method according to the invention.
Description de modes de réalisation Description of embodiments
Les modes de réalisation décrits ci-après n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure.  Since the embodiments described below are in no way limitative, it is possible in particular to consider variants of the invention comprising only a selection of characteristics described, subsequently isolated from the other characteristics described, if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art. This selection includes at least one characteristic, preferably functional, without structural details, or with only part of the structural details if this part only is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art. .
Un mode de réalisation d’un système 1 mettant en œuvre un procédé selon un mode de réalisation de l’invention est illustré sur la figure 1. Un dispositif 100 selon l’invention et plus généralement un système d’affichage graphique selon l’invention sont simultanément décrits.An embodiment of a system 1 implementing a method according to an embodiment of the invention is illustrated in FIG. 1. A device 100 according to the invention and more generally a graphic display system according to the invention are simultaneously described.
Le système 1 comporte 4 canaux vidéo distincts respectivement référencés 10, 11 ,12 et 13.The system 1 comprises 4 separate video channels respectively referenced 10, 11, 12 and 13.
À un instant donné t, chacun des canaux produit une image élémentaire, respectivement référencée IEt, i , IEt, 2, IEl 3, IEl 2. At a given time t, each of the channels produces an elementary image, respectively referenced IE t, i , IE t, 2 , IE l 3 , IE l 2 .
A un instant donné t, une image composite ICt est formée d’une juxtaposition d’images élémentaires. At a given time t, a composite image IC t is formed by a juxtaposition of elementary images.
Une séquence d’images composites forme un flux vidéo composite Fv.  A sequence of composite images forms a composite video stream Fv.
Ce flux vidéo composite est encodé au cours d’une étape d’encodage Eenc pour générer un flux vidéo composite encodé Fvc.  This composite video stream is encoded during an Eenc encoding step to generate an Fvc encoded composite video stream.
Le flux vidéo composite Fvc peut être reçu par un dispositif 100 conforme à un mode de réalisation d’un dispositif selon l’invention, pour la visualisation d’éléments graphiques issus d’un flux vidéo composite. The composite video stream Fvc can be received by a device 100 in accordance with an embodiment of a device according to the invention, for viewing graphic elements originating from a composite video stream.
Le flux vidéo composite Fvc est associé à une structure de données Dstruct, qui décrit : au moins une coordonnée de chacune desdites images élémentaires IEt, i , IEl 2, IEl 3, IEl4 par rapport à une référence constante dans l’image composite, au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires IEt, i, I E, 2 , IE 3, IEl4 par rapport à une référence constante dans une zone de composition à afficher sur un écran. The composite video stream Fvc is associated with a data structure Dstruct, which describes: at least one coordinate of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 with respect to a constant reference in the composite image, at least one set of drawing parameters of each of said elementary images IE t, i , IE, 2, IE 3 , IE 14 with respect to a constant reference in a composition zone to be displayed on a screen.
Les paramètres de dessins comportent des précisions de position, taille, profondeur, opacité. The drawing parameters include details of position, size, depth, opacity.
Les paramètres de dessins sont être des objets au format de données JSON (pour l’anglais JavaScript Object Notation). The drawing parameters are objects in JSON data format (for the JavaScript Object Notation).
Le dispositif 100 comporte :  The device 100 includes:
- un moyen 102 configuré pour décoder le flux vidéo composite Eve et l’enregistrer, dans une mémoire 204 d’une carte graphique GPU, sous la forme d’un objet de texture TCt correspondant auxdites images composites ICt originelles,  a means 102 configured to decode the composite video stream Eve and record it, in a memory 204 of a GPU graphics card, in the form of a texture object TCt corresponding to said original composite images ICt,
- un moyen 104 d’acquisition occasionnelle de paramètres de personnalisation,  a means 104 for the occasional acquisition of personalization parameters,
- un moyen de construction 106 d’une image de rendu finale IRt configuré pour mettre en œuvre un traitement par la carte graphique GPU consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires IE,. i , IE,. 2, IE,. 3, IE,. 4 des coordonnées de chacune desdites images élémentaires IEt, i, IEl 2, IEl 3, IEl4 et des paramètres de personnalisation, - construction means 106 to a final rendered image IRt configured to implement a processing by the GPU graphics card of constructing an array of pixels according to said set of design parameters, the pixels of said elementary images IE. i, IE. 2, IE. 3, IE. 4 of the coordinates of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 and personalization parameters,
- un moyen d’affichage 108 de la succession d’images de rendu finale (IRt) dans une interface utilisateur de type lecteur vidéo interactif.  a means 108 for displaying the succession of final rendering images (IRt) in a user interface of the interactive video player type.
Le moyen 102 peut être réalisé sous forme de microprocesseur. L’objet texture est un objet de type texture au sens de l’interface de programmation applicative WebGL.  The means 102 can be produced in the form of a microprocessor. The texture object is a texture type object within the meaning of the WebGL application programming interface.
Le moyen 104 peut être un microprocesseur configuré pour acquérir occasionnellement des paramètres de personnalisation, tels que des sélections de parties d’image à afficher.  The means 104 may be a microprocessor configured to occasionally acquire personalization parameters, such as selections of image parts to be displayed.
Le moyen 106 peut être réalisé sous forme de microprocesseur configuré pour donner des instructions à la carte graphique GPU.  The means 106 can be implemented in the form of a microprocessor configured to give instructions to the GPU graphics card.
Bien entendu, les trois moyens 102, 104 et 106 peuvent être réalisés sous la forme d’un unique processeur.  Of course, the three means 102, 104 and 106 can be produced in the form of a single processor.
Le moyen d’affichage 108 peut être un lecteur vidéo affiché par un navigateur web.  The display means 108 may be a video player displayed by a web browser.
Le traitement mis en œuvre par la carte graphique GPU sur instruction du moyen 106 peut être, dans le cas de la mise en œuvre de l’interface de programmation applicative WebGL, celui réalisé par l’instruction glDrawElements. Cette instruction met en œuvre des buffers qui ne contiennent pas de pixels, mais des sommets ou des couleurs.  The processing implemented by the GPU graphics card on the instruction of the means 106 can be, in the case of the implementation of the WebGL application programming interface, that performed by the glDrawElements instruction. This instruction implements buffers which do not contain pixels, but vertices or colors.
Aussi, il est possible d’afficher une succession d’images, chacune des images comportant une partie principale et une partie de bandeau, la partie principale comportant une image relative à un des flux du flux vidéo composite, la partie de bandeau comportant des images provenant chacune des autres flux du flux vidéo composite, le taux de rafraîchissement de l’image de la partie principale et de chacune des images de la partie de bandeau étant le même, par exemple de 30 images par secondes. Also, it is possible to display a succession of images, each of the images comprising a main part and a strip part, the main part comprising an image relating to one of the streams of the composite video stream, the strip part comprising images from each of the other streams in the composite video stream, the image refresh rate of the main part and of each of the images of the strip part being the same, for example of 30 images per second.
Le flux vidéo composite à afficher dans l’image de la partie principale peut être sélectionné au moyen, par exemple, d’un clic, sur une autre image de la partie de bandeau.  The composite video stream to be displayed in the main part image can be selected, for example, by clicking on another image of the banner part.
L’image de la partie principale peut comprendre plusieurs des flux du flux vidéo composite. The main part image can include several of the streams in the composite video stream.
Lorsque l’image de la partie principale comporte plusieurs des flux du flux vidéo composite, une image d’au moins un flux affiché dans l’image principale peut être partiellement occultée par une image d’un autre flux affiché dans l’image principale. When the image of the main part comprises several of the streams of the composite video stream, an image of at least one stream displayed in the main image may be partially obscured by an image of another stream displayed in the main image.
Le système d’affichage graphique peut être implémenté d’une part par les flux vidéos précédemment décrits et d’autre part par la carte graphique GPU et la mémoire 204.  The graphics display system can be implemented on the one hand by the video streams described above and on the other hand by the GPU graphics card and the memory 204.
Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.  Of course, the invention is not limited to the examples which have just been described and numerous modifications can be made to these examples without departing from the scope of the invention. In addition, the different characteristics, forms, variants and embodiments of the invention can be associated with each other in various combinations as long as they are not incompatible or mutually exclusive of each other.

Claims

Revendications claims
1. Procédé pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé (Fvc) constitué par une succession d’images composites, chacune desdites images composites (ICt) étant formée d’une juxtaposition d’images élémentaires (IEt i), ledit flux vidéo composite étant associé à une structure de données décrivant : 1. Method for viewing graphic elements from an encoded composite video stream (Fvc) consisting of a succession of composite images, each of said composite images (IC t ) being formed of a juxtaposition of elementary images (IE ti ), said composite video stream being associated with a data structure describing:
au moins une coordonnée de chacune desdites images élémentaires (IEt, i) par rapport à une référence constante dans l’image composite, at least one coordinate of each of said elementary images (IE t, i ) with respect to a constant reference in the composite image,
au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires f I E, ;) par rapport à une référence constante dans une zone de composition à afficher sur un écran at least one set of pattern parameters of each of said elementary images f IE; ) compared to a constant reference in a composition zone to be displayed on a screen
ledit procédé comportant :  said process comprising:
- une étape de décodage, initiée par un navigateur web, dudit flux vidéo composite encodé pour l’enregistrement dans une mémoire d’une carte graphique (GPU) sous la forme d’un objet de texture (TCt) correspondant auxdites images composites (ICt) originelles, a step of decoding, initiated by a web browser, of said encoded composite video stream for recording in a memory of a graphics card (GPU) in the form of a texture object (TCt) corresponding to said composite images (IC t ) original,
- une étape d’acquisition occasionnelle de paramètres de personnalisation,  - a step of occasional acquisition of personalization parameters,
- une étape de construction d’une image de rendu finale (IRt) par un traitement par ladite carte graphique consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires (IEt i) desdites coordonnées de chacune desdites images élémentaires f I E, ;) et desdits paramètres de personnalisation, a step of constructing a final rendering image (IRt) by processing by said graphics card consisting in constructing an array of pixels as a function of said set of drawing parameters, of the pixels of said elementary images (IE ti ) of said coordinates of each of said elementary images f IE; ) and said personalization parameters,
- une étape d’affichage de la succession d’images de rendu finale (IRt) dans une interface utilisateur de type lecteur vidéo interactif.  - a step of displaying the succession of final rendering images (IRt) in a user interface of the interactive video player type.
2. Procédé selon la revendication précédente, ne comportant pas d’étape supplémentaire de capture d’image élémentaire (IEt i). 2. Method according to the preceding claim, comprising no additional step of elementary image capture (IE ti ).
3. Dispositif (100) pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé (Fvc) constitué par une succession d’images composites, chacune desdites images composites (ICt) étant formée d’une juxtaposition d’images élémentaires (IEt, i) , ledit flux vidéo composite étant associé à une stmcture de données décrivant : au moins une coordonnée de chacune desdites images élémentaires (IEt,i) par rapport à une référence constante dans l’image composite, au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires f I E, ;) par rapport à une référence constante dans une zone de composition à afficher sur un écran 3. Device (100) for viewing graphic elements from an encoded composite video stream (Fvc) constituted by a succession of composite images, each of said composite images (IC t ) being formed of a juxtaposition of images elementary (IE t, i ), said composite video stream being associated with a data structure describing: at least one coordinate of each of said elementary images (IE t, i ) with respect to a constant reference in the composite image, at least one set of pattern parameters of each of said elementary images f IE; ) compared to a constant reference in a composition zone to be displayed on a screen
ledit dispositif comportant :  said device comprising:
- un moyen (102) configuré pour décoder ledit flux vidéo composite et l’enregistrer, dans une mémoire d’une carte graphique (GPU), sous la forme d’un objet de texture (TCt) correspondant auxdites images composites (ICt) originelles, a means (102) configured to decode said composite video stream and record it, in a memory of a graphics card (GPU), in the form of a texture object (TCt) corresponding to said composite images (IC t ) original,
- un moyen (104) d’acquisition occasionnelle de paramètres de personnalisation, - a means (104) of occasional acquisition of personalization parameters,
- un moyen de construction (106) d’une image de rendu finale (IRt) configuré pour mettre en œuvre un traitement par ladite carte graphique consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires (IEt i) desdites coordonnées de chacune desdites images élémentaires (IEu) et desdits paramètres de personnalisation, a means of construction (106) of a final rendering image (IRt) configured to implement processing by said graphics card consisting in constructing an array of pixels as a function of said set of drawing parameters, of the pixels of said elementary images (IE ti ) of said coordinates of each of said elementary images (IEu) and of said personalization parameters,
- un moyen d’affichage (108) de la succession d’images de rendu finale (IRt) dans une interface utilisateur de type lecteur vidéo interactif.  a display means (108) of the succession of final rendering images (IRt) in a user interface of the interactive video player type.
4. Système (100) d'affichage graphique comprenant: 4. Graphic display system (100) comprising:
(a) un flux vidéo composite codé contenant une pluralité de canaux, comprenant au moins un premier canal et un second canal;  (a) a coded composite video stream containing a plurality of channels, comprising at least a first channel and a second channel;
(b) une unité de traitement graphique (GPU) et une mémoire (204) couplée à l'unité de traitement graphique, la mémoire stockant des instructions qui, lors de l'exécution, font que l'unité de traitement graphique:  (b) a graphics processing unit (GPU) and a memory (204) coupled to the graphics processing unit, the memory storing instructions which, during execution, cause the graphics processing unit to:
a. obtient l’image issue du flux vidéo composite décodé contenant le premier canal et le deuxième canal à plusieurs instants donnés ;  at. obtains the image from the decoded composite video stream containing the first channel and the second channel at several given times;
b. crée, pour la pluralité d'instants donnés, une séquence d'images composites basée sur, pour une première image composite de la séquence d'images composites, un agencement du premier canal et un agencement du deuxième canal; et c. affiche la séquence d'images composites, la séquence d'images composites comprenant une première partie où le premier canal est affiché et une deuxième partie où le deuxième canal est affiché, et dans laquelle la première partie et la deuxième partie sont réglables .  b. creates, for the plurality of given times, a sequence of composite images based on, for a first composite image of the sequence of composite images, an arrangement of the first channel and an arrangement of the second channel; and c. displays the composite image sequence, the composite image sequence comprising a first part where the first channel is displayed and a second part where the second channel is displayed, and in which the first part and the second part are adjustable.
5. Système d’affichage graphique selon la revendication 4, dans lequel l'unité de traitement graphique et la mémoire sont incluses sur une carte graphique, l'unité de traitement graphique étant en outre configurée pour: a. stocker l’image issue du flux vidéo composite décodé contenant des images du premier canal et du second canal dans la mémoire; 5. The graphic display system as claimed in claim 4, in which the graphics processing unit and the memory are included on a graphics card, the graphics processing unit being further configured for: at. storing the image from the decoded composite video stream containing images of the first channel and the second channel in the memory;
b. obtenir des paramètres de personnalisation, et  b. get personalization settings, and
c. créer la séquence d'images composites en fonction des paramètres de personnalisation .  vs. create the sequence of composite images according to the personalization parameters.
6. Système d’affichage graphique selon la revendication 5, dans lequel la séquence d'images composites est créée en utilisant des images du premier canal et du second canal stockées dans la mémoire de la carte graphique. The graphics display system of claim 5, wherein the composite image sequence is created using images of the first channel and the second channel stored in the memory of the graphics card.
7. Système d’affichage graphique selon la revendication 5, dans lequel la séquence d'images composites est créée selon un premier ensemble de paramètres de dessin correspondant au premier canal et un second ensemble de paramètres de dessin correspondant au second canal. 7. The graphic display system of claim 5, wherein the sequence of composite images is created according to a first set of drawing parameters corresponding to the first channel and a second set of drawing parameters corresponding to the second channel.
8. Système d’affichage graphique selon la revendication 5, dans lequel le stockage des images du premier canal et du second canal comprend le stockage des images du premier canal et du second canal en tant qu'objet de texture unique, l'objet de texture étant associé au flux vidéo composite. The graphic display system according to claim 5, in which the storage of the images of the first channel and of the second channel comprises the storage of the images of the first channel and of the second channel as a single texture object, the object of texture being associated with the composite video stream.
9. Système d’affichage graphique selon la revendication 4, dans lequel la séquence d'images composites est affichée sur un dispositif de sortie configuré pour recevoir une entrée afin d'ajuster la séquence d'images composites. 9. The graphical display system of claim 4, wherein the composite image sequence is displayed on an output device configured to receive input for adjusting the composite image sequence.
10. Système d’affichage graphique selon la revendication précédente, dans lequel les instructions, lors de l'exécution, commandent l'unité de traitement graphique pour créer une deuxième séquence de flux vidéo composite, dans lequel le flux vidéo composite de deuxième séquence est un ensemble de vignettes correspondant au premier canal ou au deuxième canal. 10. The graphical display system according to the preceding claim, in which the instructions, during execution, control the graphics processing unit to create a second sequence of composite video stream, in which the composite video stream of second sequence is a set of thumbnails corresponding to the first channel or to the second channel.
11. Système d’affichage graphique selon la revendication 9, dans lequel une interface utilisateur du dispositif de sortie comprend des paramètres de personnalisation ajustables par l'utilisateur, et en réponse au réglage des paramètres de personnalisation ajustables par l'utilisateur, la première partie et la seconde partie de la séquence d'images composites sont ajustées en conséquence. The graphical display system of claim 9, wherein a user interface of the output device includes customization parameters adjustable by the user, and in response to the adjustment of the customization parameters adjustable by the user, the first part and the second part of the composite image sequence are adjusted accordingly.
12. Système d’affichage graphique selon l’une quelconque des revendications 4 à 11 , dans lequel dans lequel la première partie et la deuxième partie se chevauchent. 12. A graphic display system according to any one of claims 4 to 11, wherein wherein the first part and the second part overlap.
13. Produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, caractérisé en ce qu’il comporte des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes d’un procédé selon l’une quelconque des revendications précédentes de procédé de visualisation. 13. Product computer program, downloadable from a communication network and / or stored on a medium readable by computer and / or executable by a microprocessor, and loadable in an internal memory of a computing unit, characterized in that it comprises program code instructions which, when executed by the calculation unit, implement the steps of a method according to any one of the preceding claims of the display method.
EP19758432.9A 2018-07-12 2019-07-12 Method for viewing graphical elements arising from an encoded composite video stream Pending EP3821611A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1856410A FR3083950B1 (en) 2018-07-12 2018-07-12 PROCESS FOR VISUALIZING GRAPHIC ELEMENTS FROM AN ENCODED COMPOSITE VIDEO STREAM
PCT/FR2019/051761 WO2020012139A2 (en) 2018-07-12 2019-07-12 Method for viewing graphical elements arising from an encoded composite video stream

Publications (1)

Publication Number Publication Date
EP3821611A2 true EP3821611A2 (en) 2021-05-19

Family

ID=65031416

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19758432.9A Pending EP3821611A2 (en) 2018-07-12 2019-07-12 Method for viewing graphical elements arising from an encoded composite video stream

Country Status (4)

Country Link
US (1) US20200020068A1 (en)
EP (1) EP3821611A2 (en)
FR (1) FR3083950B1 (en)
WO (1) WO2020012139A2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979672B1 (en) * 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11689749B1 (en) * 2021-11-22 2023-06-27 Hopin Ltd Centralized streaming video composition

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1518415A1 (en) * 2002-06-18 2005-03-30 Koninklijke Philips Electronics N.V. Video encoding method and corresponding encoding and decoding devices
WO2008151416A1 (en) 2007-06-12 2008-12-18 In Extenso Holdings Inc. Distributed synchronized video viewing and editing
US9300705B2 (en) * 2011-05-11 2016-03-29 Blue Jeans Network Methods and systems for interfacing heterogeneous endpoints and web-based media sources in a video conference
US9154813B2 (en) * 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
FR2989244B1 (en) 2012-04-05 2014-04-25 Current Productions MULTI-SOURCE VIDEO INTERFACE AND NAVIGATION
US20150262404A1 (en) * 2014-03-13 2015-09-17 Huawei Technologies Co., Ltd. Screen Content And Mixed Content Coding
KR102218908B1 (en) * 2014-05-07 2021-02-23 엘지전자 주식회사 Digital device and method of processing a service thereof
US10412130B2 (en) * 2016-04-04 2019-09-10 Hanwha Techwin Co., Ltd. Method and apparatus for playing media stream on web browser

Also Published As

Publication number Publication date
WO2020012139A2 (en) 2020-01-16
FR3083950B1 (en) 2021-04-30
WO2020012139A3 (en) 2020-03-12
FR3083950A1 (en) 2020-01-17
US20200020068A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
Zhou et al. Image restoration for under-display camera
Overbeck et al. A system for acquiring, processing, and rendering panoramic light field stills for virtual reality
JP7289796B2 (en) A method and system for rendering virtual reality content based on two-dimensional ("2D") captured images of a three-dimensional ("3D") scene
US20210029336A1 (en) Processing images captured by a camera behind a display
EP1527599B1 (en) Method and system enabling real time mixing of synthetic images and video images by a user
CN107680042B (en) Rendering method, device, engine and storage medium combining texture and convolution network
EP1292921B1 (en) Refinement of a three-dimensional triangular mesh
US10580143B2 (en) High-fidelity 3D reconstruction using facial features lookup and skeletal poses in voxel models
FR2565014A1 (en) QUICK MEMORY SYSTEM AND DATA PROCESSING METHOD FOR PRODUCING FRAME OF IMAGE ELEMENTS, AND QUICK MEMORY SEGMENT
EP3821611A2 (en) Method for viewing graphical elements arising from an encoded composite video stream
CN106569700A (en) Screenshot method and screenshot device
CN109065001B (en) Image down-sampling method and device, terminal equipment and medium
FR2996034A1 (en) Method for generating high dynamic range image representing scene in e.g. digital still camera, involves generating composite images by superposition of obtained images, and generating high dynamic range image using composite images
WO2007071882A2 (en) Method for providing data to a digital processing means
FR2950182A1 (en) IMAGE PROCESSING METHOD
EP2987319A1 (en) Method for generating an output video stream from a wide-field video stream
US20120162215A1 (en) Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image
Söchting et al. Lexcube: Interactive Visualization of Large Earth System Data Cubes
FR2887347A1 (en) Digital image`s depth map constructing method for e.g. digital photography field, involves evaluating clarity of each block to obtain discrete function, and determining and assigning optimal value of focal distance to map
FR2948800A1 (en) Method for estimating quantity of light diffused by cloud, involves estimating coefficients in base of spherical functions, and estimating light quantity diffused by media from estimated coefficients along diffusion direction
US11043035B2 (en) Methods and systems for simulating image capture in an extended reality system
KR101864454B1 (en) Apparatus and method for composing images in an image processing device
KR101255218B1 (en) method of abstraction rendering image and apparatus adopting the method
Gutiérrez et al. Computational photography
FR3112633A1 (en) High-resolution controllable facial aging with spatially sensitive conditional GANs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210112

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RAV Requested validation state of the european patent: fee paid

Extension state: MA

Effective date: 20210112