EP4264947A1 - Serveur, procede de traitement d'une video par le serveur, terminal, et procede mis enoeuvre par le terminal pour enrichir la video par un objet - Google Patents

Serveur, procede de traitement d'une video par le serveur, terminal, et procede mis enoeuvre par le terminal pour enrichir la video par un objet

Info

Publication number
EP4264947A1
EP4264947A1 EP21848174.5A EP21848174A EP4264947A1 EP 4264947 A1 EP4264947 A1 EP 4264947A1 EP 21848174 A EP21848174 A EP 21848174A EP 4264947 A1 EP4264947 A1 EP 4264947A1
Authority
EP
European Patent Office
Prior art keywords
vsi
video
parameters
initial video
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21848174.5A
Other languages
German (de)
English (en)
Inventor
Chantal Guionnet
Richard Guignon
Jeremy Lacoche
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4264947A1 publication Critical patent/EP4264947A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Definitions

  • Title of the invention Server, method for processing a video by the server, terminal, and method implemented by the terminal to enrich the video with an object
  • the invention relates to the general field of enrichment of a video by a user, in a personalized manner.
  • the invention relates to a method for processing a video with a view to broadcasting.
  • the video called initial video, comprises a succession of images acquired by a camera.
  • the method is implemented by a server and comprises at least one step of generating an enriched stream, the enriched stream being composed of the initial video and, for at least one image of the initial video, parameters of the position and calibration of the camera associated with this image, the initial video and said parameters being able to be sent to at least one terminal.
  • the invention relates to a server configured to process a video with a view to broadcasting, the video, referred to as the initial video, comprising a succession of images acquired by a camera, the server comprising an enriched stream generator, the enriched stream being composed of the initial video and, for at least one image of the initial video, of parameters of the position and of the calibration of the camera associated with this image, the initial video and the said parameters being able to be transmitted to destination of at least one terminal.
  • the server and the receiving terminals for the video and parameters communicate between them via a communication network, for example an IP network. No limitation is imposed on the nature of this communication network.
  • the proposed server can send the initial video and the parameters of the camera to one or more identified terminals, for example in the context of point-to-point or point-to-multipoint communication. Alternatively, the server can send the initial video and the parameters of the camera in broadcast mode, without identifying a specific destination terminal.
  • the camera can be connected to the server via a wired or wireless connection, via a local or long-distance network.
  • the camera position parameters are the coordinates of the camera lens in a Cartesian frame, for example an orthonormal frame or a spherical frame.
  • the camera calibration parameters can include at least one coordinate of the optical center of the camera (in the above-mentioned Cartesian frame or in another frame), a focal length, a magnification factor and/or distortion parameters.
  • the proposed server can obtain the parameters of the camera from various sensors associated with or included in the camera, for example a coordinate sensor of the camera along a given axis, or a module for determining the focal distance of the camera, or a module for determining a magnification factor.
  • the proposed server can obtain these parameters continuously, as the initial video is acquired by the camera or as the initial video is received by the server.
  • the server and the processing method proposed make it possible to provide the terminals which receive the initial video and the parameters of the camera, means for enriching the video in a personalized way and for obtaining a natural rendering by taking into account the camera parameters by the terminals for the positioning of objects in the initial video.
  • the server can send the enriched stream to the terminals, the parameters of the position and of the calibration of the camera being integrated into the enriched stream broadcast.
  • the invention also relates to a method for enriching a video, called an initial video, by at least one enrichment object, the initial video comprising a succession of images acquired by a camera, the method being implemented implemented by a terminal and comprising at least one step of adaptation, at least in images following a first image of the initial video received by the terminal, of view characteristics of an enrichment object selected and inserted in the first image, the adaptation being carried out as a function of parameters of the position and of the calibration of the camera associated with the images of the initial video, the parameters having been received by the terminal in association with the initial video.
  • the invention relates to a terminal comprising a video enrichment object adapter, called initial video and comprising a succession of images acquired by a camera, the adapter being capable of adapting, at least in images following a first image of the initial video received by the terminal, at least one view characteristic of the enrichment object selected and inserted in the first image, the adapter being capable of operating as a function of parameters of the position and calibration of said camera associated with the images of the initial video, the parameters having been received by the terminal in association with the initial video.
  • a video enrichment object adapter called initial video and comprising a succession of images acquired by a camera
  • the adapter being capable of adapting, at least in images following a first image of the initial video received by the terminal, at least one view characteristic of the enrichment object selected and inserted in the first image
  • the adapter being capable of operating as a function of parameters of the position and calibration of said camera associated with the images of the initial video, the parameters having been received by the terminal in association with the initial video.
  • the first image is an image of the initial video chosen by a user of the terminal to insert the enrichment object therein.
  • the adaptation of the view characteristics of the enrichment object according to the proposed enrichment method is carried out as a function of parameters of the position and of the calibration of the camera associated with the first image, and of the parameters associated with the following images .
  • the terminal obtains an enriched video from the initial video and the enrichment object inserted in the first image and adapted in the following images. .
  • the terminal can insert several enrichment objects in the same first image.
  • the terminal inserts enrichment objects into different images, each of these images being considered as a first image within the meaning of the invention for the enrichment object inserted into this image.
  • the view characteristics of the enrichment object can comprise the size and/or the position of this enrichment object, or any other characteristic relating to a shot of the enrichment object as if he was in the actual scene captured by the camera.
  • the position can be defined in particular by the distance, in an image of the video, between the enrichment object and a point representing a position of the camera; the enrichment object then being positioned on a circle of radius equal to said distance.
  • the position can be defined by a view angle, by the camera, of the enrichment object, as if this object is filmed by the camera, the view angle being an angular coordinate defined with respect to a point representing the position of the camera, for example at 30 degrees northeast of the camera.
  • the position and orientation of the enrichment object are adapted in the following images to give the illusion that this object is acquired by the camera according to the position and orientation of the camera associated with these following pictures.
  • the proposed technique offers a natural rendering because the dimensions (size), positions and angles of view in the images of the enriched video are dynamically adapted according to the parameters of the camera at the time of image acquisition.
  • the rendering is natural in that it gives the user the illusion that the enrichment objects have been acquired by the camera.
  • the proposed terminal can enrich the initial video substantially simultaneously with the reception of the video and the parameters. Indeed, the terminal does not need to carry out complex processing of the content of the initial video to deduce the parameters of the camera.
  • the proposed technique allows a user of the terminal to enrich the video in a personalized way, by choosing the enrichment objects to be inserted in the first image.
  • An enrichment object can be text or a fixed or animated image, of two or three dimensions.
  • two terminals which receive the same initial video coming from the server can obtain and restore two differently enriched videos.
  • the terminal also inserts an enrichment sound object by matching it to the component of the soundtrack of the initial video associated with the first image.
  • the terminal receives an enriched stream comprising the initial video and the parameters of the position and of the calibration of the camera associated with the images of the video.
  • the proposed terminal further comprises a communication module configured to receive the enriched stream composed of the initial video and parameters of the position and the calibration of the camera associated with the images of the initial video.
  • the initial video is sent by the server as its images are acquired by the camera (real-time transmission) and enriched in a personalized way by the terminal just before its live restitution.
  • the server sends the parameters associated with the images of the initial video and the initial video in a desynchronized manner, that is to say before or after.
  • the server sends the parameters associated with an image and the image synchronously.
  • the parameters associated with the image can be sent in the header of a packet comprising this image.
  • the server can send a said image and the parameters associated with this image on the same communication channel, or synchronously on separate channels.
  • the proposed terminal receives the initial video and the parameters associated with at least one image synchronized with this image.
  • This embodiment allows the terminal to enrich the initial video as it is received.
  • the terminal has the parameters of the camera corresponding to each image received from the initial video.
  • the processing method according to the invention comprises an insertion of the parameters of the position and of the calibration of the camera associated with the images of the initial video in the control data of the enriched stream.
  • the initial video is included in the useful data of the enriched stream.
  • a sending device wishes to send a message to a receiving device, it sends the message over the network with other data which allows the routing of the message to to the receiving device.
  • the useful data also called the payload
  • the control data comprises headers and metadata which control the transmission of the payload data.
  • the proposed server can send the parameters of the camera in a “data” component associated with another “video” component used to broadcast the initial video.
  • the server can send the initial video and the camera parameters for terminals in accordance with the invention and terminals of the state of the art, within the framework of the same broadcast. Only the receiver terminals in accordance with the invention and which wish to enrich the initial video take the parameters of the camera into consideration.
  • the parameters of the camera can also constitute metadata of the initial video images.
  • the processing method further comprises a step of inserting into the enriched stream at least one shooting parameter of at least one real object of the scene filmed by said camera. .
  • the processing method further comprises a step of sending, in association with the initial video, this shooting parameter of the real object. This shooting parameter is defined, at the time of acquisition of a said image by the camera, in the Cartesian coordinate system in which the parameters of the position of the camera are defined.
  • the adaptation of the view characteristics of the enrichment object takes into account a shooting parameter of a real object of the scene filmed by the camera, the shooting parameter of the real object being received by the terminal in association with the initial video.
  • the shooting parameter of the real object comprises the position of the real object relative to the camera, the position being defined for example in terms of distance and/or angle of frontal or lateral view by relative to a point representing a camera position.
  • the enrichment method further comprises a step of recording in a non-volatile memory accessible by the terminal, the initial video or the enriched video, the parameters of the position and of the calibration of the camera, and possibly parameters for shooting the real object.
  • This embodiment allows the terminal to subsequently enrich the recorded video by referring to the parameters of the camera (and possibly the shooting parameters of the real object filmed), to obtain a new enriched video.
  • the recording of the initial or enriched video allows a different enrichment from one time to another. Indeed, the enrichment objects inserted, their view characteristics such as their sizes and positions, and the first images in which the objects are inserted may be different.
  • the processing method comprises an optimization of a transmission of the parameters of the position and of the calibration of the camera associated with the images of the initial video.
  • the processing method comprises an insertion into the enriched stream of at least one parameter associated with a given image of the initial video, if and only if this parameter is different from the corresponding parameter associated with the previous image.
  • This mode allows you to insert into the enriched flow optimized parameters and therefore to reduce the necessary resources (bandwidth, energy consumption) for the transmission of this flow.
  • This mode allows optimization of the parameters to be sent by the server to the terminals.
  • the server only sends changes to the parameters of the camera, for example a change in the position of the camera, a change in an angle taken by the camera and/or a change the focal length of the camera (zoom in or zoom out).
  • This mode makes it possible to optimize the use of the bandwidth between the server and the terminals, and to reduce the energy consumption of the terminals.
  • the processing method comprises an insertion into the enriched stream of information on a variation of a parameter associated with a given image of the initial video, if the sending of said information consumes less bandwidth than sending the new parameter after said variation.
  • a transmission of the parameters of the position and of the calibration of the camera associated with the images of the initial video in the control data of the enriched stream is repeated.
  • the transmission of the parameters can be repeated on a regular basis, for example every 15 or 30 minutes.
  • the transmission of parameters can be repeated at predefined times.
  • the processing method includes obtaining by the server at least two initial videos acquired by two cameras and which correspond to the same filmed scene.
  • the proposed server sends the two initial videos and the parameters associated with the images of each of the two videos to the terminal.
  • the enrichment method includes receiving at least two initial videos acquired by two cameras and corresponding to the same filmed scene, and parameters of these cameras.
  • the insertion of the enrichment object and the adaptation of its view characteristics take into account the parameters of each of the cameras.
  • the enriched video is obtained from the two initial videos.
  • the enriched video can be obtained by a selection at a time given, of the video to be enriched among the initial videos.
  • the enriched video sometimes corresponds to the first initial enriched video, and sometimes to the second initial enriched video.
  • the enriched video can be obtained by a combination of the two initial videos, for example by stereoscopy, followed by an insertion of an enrichment object with a two-dimensional or three-dimensional effect and an adaptation of the characteristics of this object.
  • the video enriched according to the method of the invention can be a so-called augmented reality video, that is to say obtained by superimposing an initial video representing a real scene and enrichment objects calculated by the terminal when the initial video is received.
  • the invention also relates to a video broadcasting system, the system comprising at least one camera, a server in accordance with the invention and at least one terminal in accordance with the invention.
  • the invention also relates to a device for acquiring the initial video with a view to its broadcasting, this device comprising an enriched stream generator, the enriched stream being composed of the initial video and, for at least one image of the initial video, of parameters of the position and of the calibration of the camera associated with this image, the initial video and the parameters being capable of being sent to at least one terminal.
  • This device can be connected to a recorder connectable to a transmitter, for example the proposed server. Alternatively, this device can be connected directly to a transmitter such as the proposed server.
  • the invention also relates to a computer program on a recording medium, this program being capable of being implemented in a computer or a server in accordance with the invention.
  • This program includes instructions adapted to the implementation of a processing method, as described above.
  • the invention also relates to a computer program on a recording medium, this program being capable of being implemented in a computer or a terminal in accordance with the invention.
  • This program includes instructions adapted to the implementation of an enrichment process, as described above.
  • Each of these programs may use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in partially compiled form, or in any other desirable shape.
  • the invention also relates to an information medium or a recording medium readable by a computer, and comprising instructions of a computer program as mentioned above.
  • the information or recording media can be any entity or device capable of storing the programs.
  • the media may comprise a storage medium, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or even a magnetic recording medium, for example a floppy disk or a disk. hard, or flash memory.
  • the information or recording media can be transmissible media such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio link, by optical link without wire or by other means.
  • the programs according to the invention can in particular be downloaded from an Internet-type network.
  • each information or recording medium may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of a method in accordance with the invention.
  • fig.3 illustrates functional architectures of a server and proposed terminals, according to a particular embodiment
  • fig.4 presents a hardware architecture of a proposed terminal, according to a particular embodiment.
  • fig.5 presents a hardware architecture of a proposed server, according to a particular embodiment.
  • a method for enriching a video implemented according to a particular embodiment by a terminal Ta; the server SRV, the terminal Ta and the methods being in accordance with the invention.
  • a CAM camera is connected to the SRV server, for example via a wired connection. No limitation is imposed on the nature of the connection of the camera to the server.
  • the server SRV and the terminal Ta can communicate with each other via a communication network, for example a television broadcasting network or an IP network. No limitation is imposed on the nature of this communication network.
  • the server SRV obtains a video, called initial video V, acquired by the camera CAM.
  • the server SRV obtains the video V as it is acquired by the camera CAM.
  • the SRV server is configured to broadcast this video live, as it is acquired.
  • the initial video V is a sequence of several images VSi. To each VSi image, correspond parameters of the PPi position and of the PCi calibration of the camera when this VSi image was acquired.
  • the parameters of the position PPi comprise for example the coordinates of the camera in a Cartesian coordinate system.
  • the PCi calibration parameters of the camera comprise for example the focal length, a coordinate of the optical center and the distortion parameters of the CAM camera.
  • the server SRV obtains the images VSi and the parameters PPi, PCi of the camera associated with these images VSi.
  • the SRV server obtains the PPi and PCi parameters synchronous with the associated VSi images.
  • the server SRV obtains at least one parameter p_ORi for shooting a real object of the scene filmed by the camera CAM in the Cartesian coordinate system at time of VSi image acquisition.
  • the shooting parameter p_ORi can correspond to a position and/or to a frontal or lateral angle of view of the real object with respect to the camera.
  • the real object can be fixed or mobile.
  • the server SRV sends to the terminal Ta the initial video V as it is acquired and the parameters PPi and PCi associated with the images VSi of the initial video V.
  • the initial video V comprises images VSI to VS5.
  • the first VSI image is acquired by the camera CAM whose parameters, during acquisition, are referenced by PPI and PCI.
  • the server SRV sends during step E300 the VSI image in association with the PPI and PCI parameters. These position and PPI and PCI calibration parameters are not changed during the acquisition of the second VS2 image.
  • the server SRV sends during the step E300, the VS2 image without returning the PPI and PCI parameters, these parameters not being changed and also being associated with the VS2 image.
  • the third VS3 image corresponds to new camera parameters, PP3 and PC3
  • the SRV server sends during step E300 the VS3 image in conjunction with the new PP3 and PC3 settings.
  • the SRV server only sends the PPi and PCi parameters when these parameters are different from the last parameters sent.
  • the server can send information on the evolution of these parameters (for example variations), if this allows better optimization of the bandwidth compared to sending new parameters.
  • the server SRV sends the parameters PPi and PCi associated with each image VSi, even if they are also associated with the previous image VS(i-l).
  • the server SRV sends (E300) the parameters PPi and PCi synchronously with the associated images VSi, but on a different communication channel.
  • the SRV server also sends during step E300, the shooting parameter p_ORi of the real object of the scene filmed by the camera, at the time of acquisition of the VSi image. This parameter is sent in association with the corresponding VSi image. If the real object changes position, the SRV server sends a new shot parameter in association with the corresponding new image.
  • the terminal Ta receives the initial video V coming from the server SRV, as well as the position parameters PPi and calibration parameters PCi of the camera CAM during the acquisition VSi images.
  • the terminal Ta receives this parameter p_ORi during step F100.
  • the terminal Ta obtains at least one enrichment object Oa, such as text, or a fixed or animated image.
  • the terminal Ta can select the object Oa in a library, for example recorded in a memory of the terminal Ta or in a memory of another device to which the terminal can access.
  • the selection by the terminal of the object is made in particular according to one or more parameters for viewing the enhanced video, in particular from among the following: viewing context (time of day, location, number of viewers, etc.), user profile, parameters relating to the user's terminal (screen size, quality of the image and/or sound that can be rendered, etc.), etc.
  • the terminal Ta can receive the enrichment object Oa from the server SRV.
  • a user of the terminal Ta selects the object Oa to insert it into an image of the initial video V, called the “first image”.
  • the terminal Ta inserts this selected object into the first image, for example the VSI image.
  • the terminal Ta obtains during step F200 a sound-type enrichment object, which it inserts during step F300 by synchronizing it with the sound component associated with the first VS1 picture.
  • the terminal Ta continues to receive (F100) images VSi of this video V, and adapts during the step F300 of obtaining the enriched video Va+, characteristics view of the enrichment object Oa as a function of the parameters PP1 and PCI associated with the first image VSI, and of the parameters PPi and PCi associated with each of the following images VSi, i varies from 2 to 5 in our example.
  • the view characteristics of the enrichment object include for example the position and/or the size of this object in a VSi image.
  • the view characteristics such as the size and position of the object of enhancement Oa in the third VS3 image are changed from the view characteristics of the enhancement object Oa in the second VS2 image.
  • the initial video comprises an acquisition of a scene in a room, for example in a living room.
  • the terminal inserts during a first iteration of step F300, an enrichment object Oa representing a clock or a decorative painting, to decorate a wall of the living room.
  • the view characteristics (position and size) of this clock or table Oa inserted in the first VSI image are selected by the user to match the position and dimensions of the wall in the scene.
  • the terminal Ta saves the parameters of the camera associated with the first VSI image and the parameters of the object Oa inserted in the first VSI image, such as its size, its position and its orientation.
  • the parameters of the camera CAM change, for example by enlarging the focal length of the camera (zoom), but that the position of the optical center of the camera n has not changed since the acquisition position of VSI.
  • the position and orientation of the object in the VSn image are identical to what they were in the VSI image but the size of the object Oa is enlarged during one iteration of the step F300.
  • the new size of the Oa object in the VSn image is determined from the size of the Oa object in the VSI image, the change in camera focal length between the VSI and VSn images, and the position of the object Oa in the VSI image with respect to the position of the optical center of the camera associated with the VSI image.
  • the position of the object Oa in the image VSm is adapted during an iteration of step F300.
  • the new position of the enrichment object Oa is determined from its position in the previous image VSn and the values of the parameter of the camera which has changed (in particular the coordinates of the optical center), before and after the change.
  • the adaptation of the position, orientation and size (including the depth) of the object Oa in the images VSn, VSm are such that the object is perceived as if it had been acquired in the real scene by the camera, knowing that the position, the orientation and the size of the object Oa in the real scene are defined by the position, the orientation and the size of the object Oa in the VS1 image at the time of its insertion.
  • the initial video V relates to a football match.
  • the enrichment object Oa inserted is a texture covering the image of the balloon illustrated by the first figure.
  • the size and the position of the portion of the image covered by the texture Oa are adapted during the iterations of step F300.
  • the terminal T restores the enhanced video Va+, for example on a screen of the terminal Ta.
  • the restitution F500 is implemented as the view characteristics of the object Oa are adapted and the enriched video Va+ is obtained F300.
  • the restitution can take place after the enrichment of all the VSi images of the initial video V is finished.
  • the terminal Ta saves in a memory accessible by the latter, the initial video V, the parameters PPi and PCi associated with the images VSi of the initial video V, and possibly the parameter p_ORi shot of the real object with respect to the CAM camera.
  • This recording allows subsequent enhancement of the initial video V.
  • the rendering of this subsequent enhancement may be different from the enhanced video Va+.
  • the terminal Ta saves in a memory accessible by the latter, the enhanced video Va-i-, the parameters PPi and PCi associated with the images VSi of the initial video V, and possibly the parameter p_ORi for shooting the real object with respect to the CAM camera. This recording allows subsequent additional enrichment from the already enriched video Va+.
  • the server sends the parameters PPi and PCi associated with the VSi images, in synchronization with the sending of the VSi images.
  • the parameters and the images are sent with a time shift, one before the other, with cross-references (at least one reference from a parameter to an image and at least one reference from an image to a parameter) in order to recreate the synchronization at the terminal level.
  • the terminal comprises two modes of restitution of the video received: a mode of restitution of the initial video and an enriched mode of restitution.
  • the enriched restitution mode comprises the implementation of steps F200 to F500 whereas the mode of restitution of the initial video comprises directly after the reception step F100 of the enriched stream the restitution of the initial video carried by this enriched stream.
  • the restitution mode implemented depends on an action by the user.
  • the enriched restitution mode is triggered by an enrichment request received by the terminal in particular by means of a user interface.
  • FIG.2 is a flowchart representing steps Exxx of the method for processing a video, and steps Fxxx of the method for enriching a video, the methods being implemented according to a second mode of particular achievement.
  • the server SRV obtains during steps ElOOa and ElOOb, two initial videos VI and V2 acquired by two cameras CAM1 and CAM2 to film the same scene, simultaneously. These videos are synchronized. During these steps ElOOa and ElOOb, the server SRV obtains parameters of the position PPli and of the calibration PCli of the camera CAM1, associated with the images of the first video VI, and parameters of the position PP2i and of the calibration PC2i of the camera CAM2, associated with the images of the second video V2.
  • step E300 similar to step E300 described with reference to [fig.1], the server SRV sends the two initial videos VI and V2 and all the parameters to the terminal Ta.
  • step F100 similar to step F100 described with reference to [fig.l], the terminal Ta receives the two initial videos VI and V2 and all the parameters from the server SRV.
  • the terminal Ta obtains the enrichment object Oa, for example a three-dimensional modeled object.
  • the terminal Ta obtains an enriched video Va-i- from the two initial videos VI and V2, for example by combining images from the two videos to have a video with a 3D effect, then by inserting the object Oa and by adapting its view characteristics (position, size, orientation, etc.) taking into account the parameters associated with the images of the first video VI and the parameters associated with the images of the first video V2.
  • the [fig.3] represents functional architectures, according to a particular embodiment, of the proposed server SRV, of the terminal Ta and of two other terminals Tb and Te in accordance with the invention.
  • the CAM camera described with reference to [fig.l] is connected to the SRV server.
  • the server SRV, the terminals Ta, Tb and Te and the camera CAM form a system for broadcasting a video V.
  • the SRV server comprises:
  • this OBTS module is an enriched stream generator, the enriched stream being composed of said initial video V and, for at least one image VSi of the initial video V, of parameters PPi, PCi of the position and of the calibration of the associated camera to this picture and
  • COMS communication module configured to send (E300) the initial video V and the parameters PPi, PCi to the terminals Ta, Tb and Te.
  • the OBTS module can also be configured to obtain (E200) the parameters p_ORi for shooting real objects filmed by the camera CAM.
  • the CMS communication module is further configured to send these parameters p_ORi in association with the corresponding images of the initial video V.
  • the SRV server further comprises an optimization module OPTIM configured to optimize the transmission of the parameters of the camera PPi and PCi.
  • the OPTIM module can be configured to determine if the PPi and PCi parameters associated with a VSi image are different from the parameters associated with the previous VS image (i-1).
  • the optimization module OPTIM commands the communication module COM_S so that the latter sends (E300) the parameters associated with the image VSi only if and only these parameters are different from those associated with the image VS(i-l).
  • the optimization module OPTIM is configured to determine whether the sending of new camera parameters associated with the VSi image or the sending of variations between the parameters associated with the VSi and VS(i-l) images requires fewer resources in terms of bandwidth and to control the communications module according to a result of this comparison.
  • the server SRV sends the parameters over a communication channel different from the channel used to send the video V.
  • the parameters and the images VSi of the video V can be sent on the same communication channel, the parameters being sent as control data, for example in packet headers, while the images being sent as useful data, in the bodies of the packages.
  • the terminal Ta comprises:
  • a communication module OBT_Ta configured to receive (El 00) the initial video V, this initial video comprising a succession of images VSi acquired by the camera CAM, the communication module is further configured to receive
  • selector SLCTa configured to select (F200) at least one enrichment object Oa
  • PROCa adapter configured to obtain (F300) a Va+ enriched video by:
  • the terminal Ta further includes a module DISPa for restoring (F500) the enhanced video Va+.
  • the terminal Ta can comprise a memory in which a library is recorded, the enrichment object Oa is obtained from this library.
  • the terminal Tb has a functional architecture similar to that of the terminal Ta.
  • the terminal Tb obtains (F200) an enrichment object Ob different from the object Oa.
  • the terminal Tb then obtains (F300), from the same initial video V, an enriched video Vb-i- different from the video Va-i- enriched by the terminal Ta.
  • the enriched videos Oa and Ob can be different because the choice of the users of the terminals Ta and Tb, in terms of the moment of insertion of the objects Oa and Ob (and therefore of the "first image"), and view characteristics (eg position and size) of the enrichment objects upon initial insertion, may be different.
  • the terminal Te also has a functional architecture similar to that of the terminal Ta. Suppose that the terminal Te does not wish to enrich the initial video V, it then restores a video Vc identical to the initial video V.
  • the implementation of the processing method by the server SRV has no impact on the operation of the Te terminal. Indeed, the video V and the PPi and PCi parameters of the camera are sent on two different channels. The terminal Te can ignore the parameter transmission channel.
  • each of the terminals Ta and Tb has the hardware architecture of a computer, as illustrated in [fig.4],
  • the architecture of the terminal Ta for example, comprises in particular a 7T processor, an 8T random access memory, a 9T read only memory, a 10T non-volatile flash memory in a particular embodiment of the invention, as well as means of communication 11T.
  • Such means are known per se and are not described in more detail here.
  • the 9T read only memory of the terminal Ta constitutes a recording medium in accordance with the invention, readable by the processor 7T and on which is recorded here a computer program ProgT in accordance with the invention.
  • the 10T memory of the terminal Ta makes it possible to record variables used for the execution of the steps of the method proposed to enrich a video, such as the initial video V, the images VSi, the parameters PPi and PCi of the position and of the camera calibration, the parameter p_ORi of the shot of the real object, and the enhanced video Va+.
  • the computer program ProgT defines functional and software modules here, configured to enrich the initial video V by the terminal Ta. These functional modules rely on and/or control the 7T-11T hardware elements of the Ta terminal mentioned above.
  • the SRV server has the hardware architecture of a computer, as illustrated in [fig.5].
  • the architecture of the server SRV comprises in particular a 7S processor, an 8S RAM, a 9S ROM, a 10S non-volatile flash memory in a particular embodiment of the invention, as well as 11S communication means. Such means are known per se and are not described in more detail here.
  • the 9S ROM of the SRV server constitutes a recording medium in accordance with the invention, readable by the 7S processor and on which is recorded here a ProgS computer program in accordance with the invention.
  • the 10S memory of the server SRV makes it possible to record variables used for the execution of the steps of the proposed method for processing a video, such as the initial video V, the images VSi, the parameters PPi and PCi of the position and calibration of the camera, and the parameter p_ORi of the shot of the real object.
  • the computer program ProgS defines functional and software modules here, configured to broadcast the initial video V by the server SRV. These functional modules rely on and/or control the 7S-11S hardware elements of the SRV server mentioned above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

Serveur, procédé de traitement d'une vidéo par le serveur, terminal, et procédé mis en œuvre par le terminal pour enrichir la vidéo par un objet Le terminal (Ta) comprend un adaptateur (PROCa, PROCb) d'objet d'enrichissement d'une vidéo, dite vidéo initiale et comportant une succession d'images (VSi) acquises par une caméra (CAM), l'adaptateur étant apte à adapter, au moins dans des images (VSi) suivant une première image (VSI) de la vidéo initiale (V) reçue par le terminal, au moins une caractéristique de vue de l'objet d'enrichissement (Oa, Ob) sélectionné et inséré dans la première image (VSI), l'adaptateur étant apte à opérer en fonction de paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés aux images (VSI, VSi) de la vidéo initiale (V), les paramètres (PPi, PCi) ayant été reçus par le terminal en association avec la vidéo initiale.

Description

Description
Titre de l’invention : Serveur, procédé de traitement d’une vidéo par le serveur, terminal, et procédé mis en œuvre par le terminal pour enrichir la vidéo par un objet
Technique antérieure
[0001] L’invention se rapporte au domaine général de F enrichissement d’une vidéo par un utilisateur, de façon personnalisée.
[0002] Dans l’état actuel de la technique, on connait des techniques d’enrichissement de vidéos par insertion d’objets dits d’enrichissement, par exemple du texte, une image bidimensionnelle ou tridimensionnelle, ou une autre vidéo, avant sa diffusion aux utilisateurs.
[0003] Cette solution, ne permet pas un enrichissement personnalisé de la vidéo par les utilisateurs finaux, c’est-à-dire par insertion d’objets d’enrichissement choisis par les utilisateurs.
[0004] Il n’existe pas à ce jour de solution permettant à un utilisateur d’insérer facilement des objets dans une vidéo reçue via un réseau de télécommunications, qui offre un rendu satisfaisant du point de vue de l’utilisateur.
Exposé de l’invention
[0005] L’invention vise un procédé de traitement d’une vidéo en vue d’une diffusion. La vidéo, dite vidéo initiale, comporte une succession d’images acquises par une caméra. Le procédé est mis en œuvre par un serveur et comprend au moins une étape de génération d’un flux enrichi, le flux enrichi étant composé de la vidéo initiale et, pour au moins une image de la vidéo initiale, de paramètres de la position et de la calibration de la caméra associés à cette image, la vidéo initiale et lesdits paramètres étant aptes à être émis à destination d’au moins un terminal.
[0006] Corrélativement, l’invention vise un serveur configuré pour traiter une vidéo en vue d’une diffusion, la vidéo, dite vidéo initiale, comportant une succession d’images acquises par une caméra, le serveur comprenant un générateur de flux enrichi, le flux enrichi étant composé de la vidéo initiale et, pour au moins une image de la vidéo initiale, de paramètres de la position et de la calibration de la caméra associés à cette image, la vidéo initiale et lesdits paramètres étant aptes à être émis à destination d’au moins un terminal.
[0007] Les caractéristiques et avantages du procédé de traitement d’une vidéo selon l’invention présentés ci-après s’appliquent de la même façon au serveur selon l’invention et vice versa.
[0008] Le serveur et les terminaux récepteurs de la vidéo et des paramètres communiquent entre eux via un réseau de communication, par exemple un réseau IP. Aucune limitation n’est imposée quant à la nature de ce réseau de communication. Le serveur proposé peut envoyer la vidéo initiale et les paramètres de la caméra à un ou plusieurs terminaux identifiés, par exemple dans le cadre d’une communication point à point ou point à multipoints. Alternativement, le serveur peut envoyer la vidéo initiale et les paramètres de la caméra en mode de diffusion (« broadcast » en anglais), sans identifier un terminal destinataire précis.
[0009] La caméra peut être connectée au serveur via une connexion filaire ou sans fil, via un réseau local ou longue distance.
[0010] Les paramètres de la position de la caméra sont les coordonnées de l’objectif de la caméra dans un repère cartésien, par exemple un repère orthonormé ou un repère sphérique.
[0011] Les paramètres de la calibration de la caméra, dits aussi « paramètres d’étalonnage », peuvent comprendre au moins une coordonnée du centre optique de la caméra (dans le repère cartésien précité ou dans un autre repère), une distance focale, un facteur d'agrandissement et/ou des paramètres de distorsion.
[0012] Le serveur proposé peut obtenir les paramètres de la caméra à partir de différents capteurs associés à ou inclus dans la caméra, par exemple un capteur de coordonnée de la caméra selon un axe donné, ou un module de détermination de la distance focale de la caméra, ou un module de détermination d’un facteur d’agrandissement.
En particulier, le serveur proposé peut obtenir ces paramètres de façon continue, au fur et à mesure de l’acquisition de la vidéo initiale par la caméra ou au fur et à mesure de la réception de la vidéo initiale par le serveur.
[0013] Le serveur et le procédé de traitement proposés permettent de fournir aux terminaux qui reçoivent la vidéo initiale et les paramètres de la caméra, des moyens pour enrichir la vidéo de façon personnalisée et pour obtenir un rendu naturel grâce à la prise en compte des paramètres de la caméra par les terminaux pour le positionnement des objets dans la vidéo initiale. En particulier, le serveur peut envoyer aux terminaux le flux enrichi, les paramètres de la position et de la calibration de la caméra étant intégrés au flux enrichi diffusé.
[0014] Nous désignons par un paramètre de la caméra associé à une image, le paramètre de la caméra au moment de l’acquisition de l’image par la caméra.
[0015] L’invention vise également un procédé d’enrichissement d’une vidéo, dite vidéo initiale, par au moins un objet d’enrichissement, la vidéo initiale comprenant une succession d’images acquises par une caméra, le procédé étant mis en œuvre par un terminal et comprenant au moins une étape d’adaptation, au moins dans des images suivant une première image de la vidéo initiale reçue par le terminal, de caractéristiques de vue d’un objet d’enrichissement sélectionné et inséré dans la première image, l’adaptation étant effectuée en fonction de paramètres de la position et de la calibration de la caméra associés aux images de la vidéo initiale, les paramètres ayant été reçus par le terminal en association avec la vidéo initiale.
[0016] Corrélativement, l’invention vise un terminal comprenant un adaptateur d’objet d’enrichissement d’une vidéo, dite vidéo initiale et comportant une succession d’images acquises par une caméra, l’adaptateur étant apte à adapter, au moins dans des images suivant une première image de la vidéo initiale reçue par le terminal, au moins une caractéristique de vue de l’objet d’enrichissement sélectionné et inséré dans la première image, l’adaptateur étant apte à opérer en fonction de paramètres de la position et de la calibration de ladite caméra associés aux images de la vidéo initiale, les paramètres ayant été reçus par le terminal en association avec la vidéo initiale.
[0017] Les caractéristiques et avantages du procédé d’enrichissement selon l’invention présentés ci-après s’appliquent de la même façon au terminal selon l’invention et vice versa.
[0018] Les caractéristiques et avantages du terminal et du procédé d’enrichissement selon l’invention présentés ci-après s’appliquent de la même façon au serveur et au procédé de traitement selon l’invention et vice versa.
[0019] La première image est une image de la vidéo initiale choisie par un utilisateur du terminal pour y insérer l’objet d’enrichissement. L’adaptation des caractéristiques de vue de l’objet d’enrichissement selon le procédé d’enrichissement proposé est effectuée en fonction de paramètres de la position et de la calibration de la caméra associés à la première image, et des paramètres associés aux images suivantes.
[0020] Suite à la mise en œuvre du procédé d’enrichissement selon l’invention, le terminal obtient une vidéo enrichie à partir de la vidéo initiale et de l’objet d’enrichissement inséré dans la première image et adapté dans les images suivantes.
[0021] En particulier, le terminal peut insérer plusieurs objets d’enrichissement dans la même première image. Dans un mode de réalisation particulier, le terminal insère des objets d’enrichissement dans des images différentes, chacune de ces images étant considérée comme une première image au sens de l’invention pour l’objet d’enrichissement inséré dans cette image.
[0022] Les caractéristiques de vue de l’objet d’enrichissement peuvent comporter la taille et/ ou la position de cet objet d’enrichissement, ou toute autre caractéristique relative à une prise de vue de l’objet d’enrichissement comme s’il était dans la scène réelle filmée par la caméra. La position peut être définie notamment par la distance, dans une image de la vidéo, entre l’objet d’enrichissement et un point représentant une position de la caméra ; l’objet d’enrichissement étant alors positionné sur un cercle de rayon égal à ladite distance. La position peut être définie par un angle de vue, par la caméra, de l’objet d’enrichissement, comme si cet objet est filmé par la caméra, l’angle de vue étant une coordonnée angulaire définie par rapport à un point représentant la position de la caméra, par exemple à 30 degrés au nord-est de la caméra.
[0023] Lorsque l’utilisateur insère l’objet d’enrichissement dans la première image on détermine une position et une orientation originales dans la scène par rapport à la position et à l’orientation de la caméra au moment de l’acquisition de cette première image.
[0024] Ensuite, la position et l’orientation de l’objet d’enrichissement sont adaptées dans les images suivantes pour donner l’illusion que cet objet est acquis par la caméra selon la position et l’orientation de la caméra associées à ces images suivantes.
[0025] La technique proposée offre un rendu naturel car les dimensions (taille), positions et angles de vue dans les images de la vidéo enrichie sont adaptés dynamiquement en fonction des paramètres de la caméra au moment de l’acquisition des images. Le rendu est naturel en ce qu’il donne à l’utilisateur l’illusion que les objets d’enrichissement ont été acquis par la caméra.
[0026] Le terminal proposé peut enrichir la vidéo initiale de façon sensiblement simultanée avec la réception de la vidéo et des paramètres. En effet, le terminal n’a pas besoin d’effectuer un traitement complexe du contenu de la vidéo initiale pour en déduire les paramètres de la caméra.
[0027] La technique proposée permet à un utilisateur du terminal d’enrichir la vidéo de façon personnalisée, en choisissant les objets d’enrichissement à insérer dans la première image. Un objet d’enrichissement peut être du texte ou une image fixe ou animée, de deux ou de trois dimensions. Ainsi, deux terminaux qui reçoivent la même vidéo initiale en provenance du serveur, peuvent obtenir et restituer deux vidéos enrichies différemment. Dans un mode de réalisation particulier, le terminal insère en plus un objet sonore d’enrichissement en le calant à la composante de la bande de son de la vidéo initiale associée à la première image.
[0028] Dans un mode de réalisation particulier, le terminal reçoit un flux enrichi comportant la vidéo initiale et les paramètres de la position et de la calibration de la caméra associés aux images de la vidéo. Dans ce mode, le terminal proposé comprend en outre un module de communication configuré pour recevoir le flux enrichi composé de la vidéo initiale et de paramètres de la position et de la calibration de la caméra associés aux images de la vidéo initiale.
[0029] Dans un mode de réalisation particulier, la vidéo initiale est envoyée par le serveur au fur et à mesure de l’acquisition de ses images par la caméra (émission en temps réel) et enrichie de façon personnalisée par le terminal juste avant sa restitution en direct (en anglais « live »).
[0030] Dans un mode de réalisation particulier, le serveur envoie les paramètres associés aux images de la vidéo initiale et la vidéo initiale de façon désynchronisée, c’est-à-dire avant, ou après.
[0031] Dans un autre mode de réalisation particulier du procédé de diffusion, le serveur envoie les paramètres associés à une image et l’image de façon synchrone. En particulier, les paramètres associés à l’image peuvent être envoyés dans l’entête d’un paquet comportant cette image. Le serveur peut envoyer une dite image et les paramètres associés à cette image sur un même canal de communication, ou de façon synchrone sur des canaux distincts. Selon ce mode, le terminal proposé reçoit la vidéo initiale et les paramètres associés à au moins une image synchronisés avec cette image.
[0032] Ce mode de réalisation permet au terminal d’enrichir la vidéo initiale au fur et à mesure de sa réception. En effet, grâce à la synchronisation, le terminal dispose des paramètres de la caméra correspondant à chaque image reçue de la vidéo initiale.
[0033] Dans un mode de réalisation particulier, le procédé de traitement selon l’invention comporte une insertion des paramètres de la position et de la calibration de la caméra associés aux images de la vidéo initiale dans les données de contrôle du flux enrichi.
[0034] La vidéo initiale est comprise dans les données utiles du flux enrichi. Nous rappelons que selon l’état de la technique des réseaux de communications, lorsqu’un dispositif émetteur souhaite envoyer un message à un dispositif récepteur, il envoie sur le réseau le message avec d’autres données qui permettent l’acheminement du message jusqu’au dispositif récepteur. Nous rappelons que les données utiles, nommés également la charge utile (« payload » en anglais) est la partie des données transmises qui est le message réel prévu (soit la vidéo initiale dans notre invention). Les données de contrôle (« control data » en anglais) comportent des entêtes et des métadonnées qui contrôlent la transmission des données utiles.
[0035] En particulier, le serveur proposé peut envoyer les paramètres de la caméra dans une composante « données » (data en anglais) associée à une autre composante « vidéo » utilisée pour diffuser la vidéo initiale.
[0036] Selon ce mode, dans la mesure où les paramètres de la caméra sont transmis dans une composante indépendante, sans aucune modification des composantes vidéo (images et son), le serveur peut envoyer la vidéo initiale et les paramètres de la caméra pour des terminaux conformes à l’invention et des terminaux de l’état de la technique, dans le cadre d’une même diffusion. Seuls les terminaux récepteurs conformes à l’invention et qui souhaitent enrichir la vidéo initiale prennent en considération les paramètres de la caméra.
[0037] Les paramètres de la caméra peuvent aussi constituer des métadonnées des images de vidéo initiale.
[0038] Dans un mode de réalisation particulier, le procédé de traitement comporte en outre une étape d’insertion dans le flux enrichi d’au moins un paramètre de prise de vue d’au moins un objet réel de la scène filmée par ladite caméra. [0039] Dans un mode de réalisation particulier, le procédé de traitement comporte en outre une étape d’envoi, en association avec la vidéo initiale, de ce paramètre de prise de vue de l’objet réel. Ce paramètre de prise de vue est défini, au moment de l’acquisition d’une dite image par la caméra, dans le repère cartésien dans lequel les paramètres de la position de la caméra sont définis.
[0040] Dans un mode de réalisation particulier du procédé d’enrichissement, l’adaptation des caractéristiques de vue de l’objet d’enrichissement tient compte d’un paramètre de prise de vue d’un objet réel de la scène filmée par la caméra, le paramètre de prise de vue de l’objet réel étant reçu par le terminal en association avec la vidéo initiale.
[0041] Le paramètre de prise de vue de l’objet réel comporte la position de l’objet réel par rapport à la caméra, la position étant définie par exemple en terme de distance et/ou d’angle de vue frontale ou latérale par rapport à un point représentant une position de la caméra.
[0042] Ces modes de réalisation permettent de tenir compte des positions des objets réels filmés par rapport au repère précité, en particulier tenir compte du déplacement des objets réels par rapport à ce repère. Cela permet une adaptation continue et dynamique des paramètres des objets d’enrichissement en fonction des changements dans le contenu de la vidéo initiale. Nous notons que la caméra et l’objet réel peuvent être tous les deux mobiles.
[0043] Dans un mode de réalisation particulier, le procédé d’enrichissement comporte en outre une étape d’enregistrement dans une mémoire non volatile accessible par le terminal, de la vidéo initiale ou de la vidéo enrichie, des paramètres de la position et de la calibration de la caméra, et éventuellement des paramètres de prise de vue de l’objet réel.
[0044] Ce mode de réalisation permet au terminal d’enrichir ultérieurement la vidéo enregistrée en se référant aux paramètres de la caméra (et éventuellement les paramètres de prise de vue de l’objet réel filmé), pour obtenir une nouvelle vidéo enrichie.
[0045] L’enregistrement de la vidéo initiale ou enrichie permet un enrichissement différent d’une fois à l’autre. En effet, les objets d’enrichissement insérés, leurs caractéristiques de vue telles que leurs tailles et positions, et les premières images dans lesquelles les objets sont insérés peuvent être différents.
[0046] Dans un mode de réalisation particulier, le procédé de traitement comprend une optimisation d’une émission des paramètres de la position et de la calibration de la caméra associés aux images de la vidéo initiale.
[0047] Dans un mode de réalisation particulier, le procédé de traitement comporte une insertion dans le flux enrichi d’au moins un paramètre associé à une image donnée de la vidéo initiale, si et seulement si ce paramètre est différent du paramètre correspondant associé à l’image précédente. Ce mode permet d’insérer dans le flux enrichi des paramètres optimisés et donc de réduire les ressources nécessaires (bande passante, consommation énergétique) pour la transmission de ce flux.
[0048] Ce mode permet une optimisation des paramètres à envoyer par le serveur aux terminaux. En effet, selon ce mode, le serveur n’envoie que les changements des paramètres de la caméra, par exemple un changement de la position de la caméra, un changement d’un angle de prise de vue par la caméra et/ou un changement de la distance focale de la caméra (zoom ou dézoom). Ce mode permet d’optimiser l’utilisation de la bande passante entre le serveur et les terminaux, et de réduire la consommation en énergie des terminaux.
[0049] Dans un mode de réalisation particulier, le procédé de traitement comporte une insertion dans le flux enrichi d’une information sur une variation d’un paramètre associé à une image donnée de la vidéo initiale, si l’envoi de ladite information consomme moins de bande passante que l’envoi du nouveau paramètre après ladite variation.
[0050] Dans un mode de réalisation particulier du procédé de traitement selon l’invention, une émission des paramètres de la position et de la calibration de la caméra associés aux images de la vidéo initiale dans les données de contrôle du flux enrichi est répétée. En particulier, l’émission des paramètres peut être répétée de façon régulière, par exemple chaque 15 ou 30 minutes. Alternativement, l’émission des paramètres peut être répétée à des instants prédéfinis.
[0051] Le fait de réémettre les paramètres permet à chaque terminal qui accède à une diffusion en cours de la vidéo initiale de récupérer les paramètres de la caméra et pouvoir ainsi effectuer l’enrichissement en tenant compte de ces paramètres. Ce mode permet au terminal de recevoir les paramètres de la caméra même si la caméra n’a pas bougé. En effet, l’envoi des paramètres n’est pas effectué uniquement après un changement de l’un de ces paramètres.
[0052] Dans un mode de réalisation particulier, le procédé de traitement comporte une obtention par le serveur d’au moins deux vidéos initiales acquises par deux caméras et qui correspondent à une même scène filmée. Le serveur proposé envoie au terminal les deux vidéos initiales et les paramètres associés aux images de chacune des deux vidéos.
[0053] Dans un mode de réalisation particulier, le procédé d’enrichissement comporte une réception d’au moins deux vidéos initiales acquises par deux caméras et correspondant à une même scène filmée, et des paramètres de ces caméras. L’insertion de l’objet d’enrichissement et l’adaptation de ses caractéristiques de vue tiennent compte des paramètres de chacune des caméras.
[0054] Selon ce mode, la vidéo enrichie est obtenue à partir des deux vidéos initiales.
[0055] En particulier, la vidéo enrichie peut être obtenue par une sélection à un moment donné, de la vidéo à enrichir parmi les vidéos initiales. La vidéo enrichie correspond parfois à la première vidéo initiale enrichie, et parfois à la deuxième vidéo initiale enrichie.
[0056] Alternativement, la vidéo enrichie peut être obtenue par une combinaison des deux vidéos initiales, par exemple par une stéréoscopie, suivie d’une insertion d’un objet d’enrichissement avec un effet bidimensionnel ou tridimensionnel et d’une adaptation des caractéristiques de cet objet.
[0057] La vidéo enrichie selon le procédé de l’invention peut être une vidéo dite de réalité augmentée, c’est-à-dire obtenue par une superposition d’une vidéo initiale représentant une scène réelle et d'objets d’enrichissement calculés par le terminal au moment de la réception de la vidéo initiale.
[0058] L’invention vise également un système de diffusion d’une vidéo, le système comprenant au moins une caméra, un serveur conforme à l’invention et au moins un terminal conforme à l’invention.
[0059] L’invention vise également un dispositif d’acquisition de la vidéo initiale en vue de sa diffusion, ce dispositif comprenant un générateur de flux enrichi, le flux enrichi étant composé de la vidéo initiale et, pour au moins une image de la vidéo initiale, de paramètres de la position et de la calibration de la caméra associés à cette image, la vidéo initiale et les paramètres étant aptes à être émis à destination d’au moins un terminal. Ce dispositif peut être connecté à un enregistreur connectable à un émetteur, par exemple le serveur proposé. Alternativement, ce dispositif peut être connecté directement à un émetteur tel que le serveur proposé.
[0060] L’invention vise également un programme d’ordinateur sur un support d’enregistrement, ce programme étant susceptible d’être mis en œuvre dans un ordinateur ou un serveur conforme à l’invention. Ce programme comporte des instructions adaptées à la mise en œuvre d’un procédé de traitement, tel que décrit ci- dessus.
[0061] L’invention vise également un programme d’ordinateur sur un support d’enregistrement, ce programme étant susceptible d’être mis en œuvre dans un ordinateur ou un terminal conforme à l’invention. Ce programme comporte des instructions adaptées à la mise en œuvre d’un procédé d’enrichissement, tel que décrit ci- dessus.
[0062] Chacun de ces programmes peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
[0063] L’invention vise aussi un support d'information ou un support d’enregistrement lisibles par un ordinateur, et comportant des instructions d’un programme d'ordinateur tel que mentionné ci-dessus.
[0064] Les supports d'information ou d’enregistrement peuvent être n'importe quelle entité ou dispositif capable de stocker les programmes. Par exemple, les supports peuvent comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy disc) ou un disque dur, ou une mémoire flash.
[0065] D'autre part, les supports d'information ou d’enregistrement peuvent être des supports transmissibles tels qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par lien radio, par lien optique sans fil ou par d'autres moyens.
[0066] Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet.
[0067] Alternativement, chaque support d'informations ou d’enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution d’un procédé conforme à l’invention. Brève description des dessins
[0068] D’autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures :
[fig.l] la [fig.l] est un organigramme représentant des étapes des procédés proposés, mis en œuvre selon un premier mode de réalisation particulier ;
[fig.2] la [fig.2] est un organigramme représentant des étapes des procédés proposés, mis en œuvre selon un autre mode de réalisation particulier ;
[fig.3] la [fig.3] illustre des architectures fonctionnelles d’un serveur et de terminaux proposés, selon un mode de réalisation particulier ;
[fig.4] la [fig.4] présente une architecture matérielle d’un terminal proposé, selon un mode de réalisation particulier ; et
[fig.5] la [fig.5] présente une architecture matérielle d’un serveur proposé, selon un mode de réalisation particulier.
Description des modes de réalisation
[0069] La [fig.1] est un organigramme représentant :
- des étapes, numérotées Exxx, d’un procédé de traitement d’une vidéo en vue d’une diffusion, mis en œuvre selon un mode de réalisation particulier par un serveur SRV ; et
- des étapes, numérotées Fxxx, d’un procédé d’enrichissement d’une vidéo, mis en œuvre selon un mode de réalisation particulier par un terminal Ta ; le serveur SRV, le terminal Ta et les procédés étant conformes à l’invention. [0070] Une caméra CAM est connectée au serveur SRV, par exemple via une connexion filaire. Aucune limitation n’est imposée quant à la nature de la connexion de la caméra au serveur.
[0071] Le serveur SRV et le terminal Ta peuvent communiquer entre eux via un réseau de communication, par exemple un réseau de diffusion de télévision ou un réseau IP. Aucune limitation n’est imposée quant à la nature de ce réseau de communication.
[0072] Au cours d’une étape El 00, le serveur SRV obtient une vidéo, dite vidéo initiale V, acquise par la caméra CAM. Dans le mode décrit ici, le serveur SRV obtient la vidéo V au fur et à mesure de son acquisition par la caméra CAM. Le serveur SRV est configuré pour diffuser cette vidéo en direct, au fur et à mesure de l’acquisition.
[0073] La vidéo initiale V est une séquence de plusieurs images VSi. A chaque image VSi, correspond des paramètres de la position PPi et de la calibration PCi de la caméra lorsque cette image VSi a été acquise. Les paramètres de la position PPi comportent par exemple des coordonnées de la caméra dans un repère cartésien. Les paramètres de la calibration PCi de la caméra comportent par exemple la distance focale, une coordonnée du centre optique et les paramètres de distorsion de la caméra CAM.
[0074] Au cours de l’étape E100, le serveur SRV obtient les images VSi et les paramètres PPi, PCi de la caméra associés à ces images VSi. Dans le mode décrit ici, le serveur SRV obtient les paramètres PPi et PCi synchrones aves les images associées VSi.
[0075] Dans le mode décrit ici, et au cours d’une étape optionnelle E200, le serveur SRV obtient au moins un paramètre p_ORi de prise de vue d’un objet réel de la scène filmée par la caméra CAM dans le repère cartésien au moment de l’acquisition de l’image VSi. Le paramètre de prise de vue p_ORi peut correspondre à une position et/ou à un angle de vue frontale ou latérale de l’objet réel par rapport à la caméra. L’objet réel peut être fixe ou mobile.
[0076] Au cours d’une étape E300, le serveur SRV envoie au terminal Ta, la vidéo initiale V au fur et à mesure de son acquisition et les paramètres PPi et PCi associés aux images VSi de la vidéo initiale V.
[0077] Dans l’exemple décrit ici, nous supposons que la vidéo initiale V comporte des images VSI à VS5. La première image VSI est acquise par la caméra CAM dont les paramètres, lors de l’acquisition, sont référencés par PPI et PCI. Le serveur SRV envoie au cours de l’étape E300 l’image VSI en association avec les paramètres PPI et PCI. Ces paramètres de position et de calibration PPI et PCI ne sont pas changés lors de l’acquisition de la deuxième image VS2. Pour optimiser la bande passante, le serveur SRV envoie au cours de l’étape E300, l’image VS2 sans renvoyer les paramètres PPI et PCI, ces paramètres n’étant pas changés et étant associés également à l’image VS2. Supposant que la troisième image VS3 correspond à des nouveaux paramètres de la caméra, PP3 et PC3, le serveur SRV envoie au cours de l’étape E300 l’image VS3 en association avec les nouveaux paramètres PP3 et PC3.
[0078] Dans le mode décrit ici, le serveur SRV n’envoie les paramètres PPi et PCi que lorsque ces paramètres sont différents des derniers paramètres envoyés. En particulier, en cas d’évolution de certains paramètres, le serveur peut envoyer des informations sur l’évolution de ces paramètres (par exemple les variations), si cela permet une meilleure optimisation de la bande passante par rapport à un envoi des nouveaux paramètres. Dans un autre mode de réalisation, le serveur SRV envoie les paramètres PPi et PCi associés à chaque image VSi, même s’ils sont associés également à l’image précédente VS(i-l).
[0079] Le serveur SRV envoie (E300) les paramètres PPi et PCi de façon synchrone avec les images associées VSi, mais sur un canal de communication différent.
[0080] Le serveur SRV envoie également au cours de l’étape E300, le paramètre de prise de vue p_ORi de l’objet réel de la scène filmée par la caméra, au moment de l’acquisition de l’image VSi. Ce paramètre est envoyé en association avec l’image VSi correspondante. Si l’objet réel change de position, le serveur SRV envoie un nouveau paramètre de prise de vue en association avec la nouvelle image correspondante.
[0081] Au cours d’une étape F100 du procédé d’enrichissement, le terminal Ta reçoit la vidéo initiale V en provenance du serveur SRV, ainsi que les paramètres de position PPi et de calibration PCi de la caméra CAM lors de l’acquisition des images VSi.
[0082] Dans le mode décrit ici, comme le serveur a envoyé (E300) le paramètre de prise de vue p_ORi de l’objet réel filmé par la caméra CAM, le terminal Ta reçoit ce paramètre p_ORi au cours de l’étape F100.
[0083] Au cours d’une étape F200, le terminal Ta obtient au moins un objet d’enrichissement Oa, tel que du texte, ou une image fixe ou animée. Le terminal Ta peut sélectionner l’objet Oa dans une bibliothèque, par exemple enregistrée dans un mémoire du terminal Ta ou dans une mémoire d’un autre dispositif à laquelle le terminal peut accéder. La sélection par le terminal de l’objet est notamment effectuée en fonction d’un ou plusieurs paramètres de visualisation de la vidéo enrichie notamment parmi les suivants : contexte de visualisation (moment de la journée, lieu, nombre de spectateurs, etc.), profil de l’utilisateur, paramètres relatifs au terminal de l’utilisateur (taille de l’écran, qualité de l’image et/ou du son pouvant être restitués, etc.), etc. Alternativement, le terminal Ta peut recevoir l’objet d’enrichissement Oa en provenance du serveur SRV. Un utilisateur du terminal Ta sélectionne l’objet Oa pour l’insérer dans une image de la vidéo initiale V, dite « première image ».
[0084] Au cours d’une étape F300 d’obtention d’une vidéo enrichie Va-i- à partir de la vidéo V, suite à la sélection de l’objet d’enrichissement Oa, le terminal Ta insère cet objet sélectionné dans la première image, par exemple l’image VSI. [0085] Dans un mode de réalisation, le terminal Ta obtient au cours de l’étape F200 un objet d’enrichissement de type son, qu’il insère au cours de l’étape F300 en le synchronisant avec la composante son associée à la première image VS1.
[0086] Comme la vidéo initiale V est diffusée en direct, le terminal Ta continue à recevoir (F100) des images VSi de cette vidéo V, et adapte au cours de l’étape F300 d’obtention de la vidéo enrichie Va+, des caractéristiques de vue de l’objet d’enrichissement Oa en fonction des paramètres PP1 et PCI associés à la première image VSI, et des paramètres PPi et PCi associés à chacune des images suivantes VSi, i varie de 2 à 5 dans notre exemple. Les caractéristiques de vue de l’objet d’enrichissement comportent par exemple la position et/ou la taille de cet objet dans une image VSi.
[0087] Selon l’exemple décrit ici, comme les paramètres PP3 et PC3 associées à l’image VS3 sont différents de ceux associés à l’image VS2, les caractéristiques de vue telles que la taille et la position de l’objet d’enrichissement Oa dans la troisième image VS3 sont modifiées par rapport aux caractéristiques de vue de l’objet d’enrichissement Oa dans la deuxième image VS2.
[0088] Selon un exemple d’utilisation des procédés de l’invention, la vidéo initiale comprend une acquisition d’une scène dans une pièce, par exemple dans un salon. Le terminal insère au cours d’une première itération de l’étape F300, un objet d’enrichissement Oa représentant une horloge ou un tableau de décoration, pour décorer un mur du salon. Les caractéristiques de vue (position et taille) de cet horloge ou tableau Oa inséré dans la première image VSI sont sélectionnées par l’utilisateur de façon à correspondre à la position et aux dimensions du mur dans la scène. Le terminal Ta enregistre les paramètres de la caméra associés à la première image VSI et les paramètres de l’objet Oa inséré dans la première image VSI, tels que sa taille, sa position et son orientation.
[0089] Supposant que dans une image suivante VSn de la vidéo initiale V, les paramètres de la caméra CAM changent, par exemple par agrandissement de la distance focale de la caméra (zoom), mais que la position du centre optique de la caméra n’a pas varié depuis la position d’acquisition de VSI. Dans ces conditions, la position et l’orientation de l’objet dans l’image VSn sont identiques à ce qu’elles étaient dans l’image VSI mais la taille de l’objet Oa est agrandie au cours d’une itération de l’étape F300. La nouvelle taille de l’objet Oa dans l’image VSn est déterminée à partir de la taille de l’objet Oa dans l’image VSI, du changement de la distance focale de la caméra entre les images VSI et VSn, et de la position de l’objet Oa dans l’image VSI par rapport à la position du centre optique de la caméra associé à l’image VSI.
[0090] Supposant que dans une autre image suivante VSm, les paramètres de la caméra CAM changent, par exemple par une rotation de la caméra, la position de l’objet Oa dans l’image VSm est adaptée au cours d’une itération de l’étape F300. La nouvelle position de l’objet d’enrichissement Oa est déterminée à partir de sa position dans l’image précédente VSn et les valeurs du paramètre de la caméra qui a changé (notamment les coordonnées du centre optique), avant et après le changement.
[0091] Conformément à l’invention, l’adaptation de la position, de l’orientation et de la taille (y compris la profondeur) de l’objet Oa dans les images VSn, VSm sont telles que l’objet est perçu comme s’il avait été acquis dans la scène réelle par la caméra, sachant que la position, l’orientation et la taille de l’objet Oa dans la scène réelle sont définies par la position, l’orientation et la taille de l’objet Oa dans l’image VS1 au moment de son insertion.
[0092] Selon un autre exemple d’utilisation des procédés de l’invention, la vidéo initiale V est relative à un match de football. Sur la première image, l’objet d’enrichissement Oa inséré est une texture couvrant l’image du ballon illustrée par la première figure. Comme la position p_ORi du ballon réel change par rapport à la caméra, la taille et la position de la portion d’image recouverte par la texture Oa sont adaptées au cours des itérations de l’étape F300.
[0093] Au cours d’une étape F500, le terminal T restitue la vidéo enrichie Va+, par exemple sur un écran du terminal Ta. Dans le mode décrit, la restitution F500 est mise en œuvre au fur et à mesure de l’adaptation des caractéristiques de vue de l’objet Oa et l’obtention F300 de la vidéo enrichie Va+. Alternativement, la restitution peut avoir lieu après que l’enrichissement de toutes les images VSi de la vidéo initiale V soit terminé.
[0094] Au cours d’une étape optionnelle F 120, le terminal Ta enregistre dans une mémoire accessible par ce dernier, la vidéo initiale V, les paramètres PPi et PCi associés aux images VSi de la vidéo initiale V, et éventuellement le paramètre p_ORi de prise de vue de l’objet réel par rapport à la caméra CAM. Cet enregistrement permet un enrichissement ultérieur de la vidéo initiale V. Le rendu de cet enrichissement ultérieur peut être différent de la vidéo enrichie Va+.
[0095] Au cours d’une étape optionnelle F400, le terminal Ta enregistre dans une mémoire accessible par ce dernier, la vidéo enrichie Va-i-, les paramètres PPi et PCi associés aux images VSi de la vidéo initiale V, et éventuellement le paramètre p_ORi de prise de vue de l’objet réel par rapport à la caméra CAM. Cet enregistrement permet un enrichissement ultérieur complémentaire à partir de la vidéo déjà enrichie Va+.
[0096] Dans le mode décrit en référence à la [fig.l], le serveur envoie les paramètres PPi et PCi associés aux images VSi, en synchronisation avec l’envoi des images VSi. Dans un autre mode de réalisation, les paramètres et les images sont envoyés avec un décalage temporel, l’un avant l’autre, avec des références croisées (au moins une référence d’un paramètre vers une image et au moins une référence d’une image vers un paramètre) afin de recréer la synchronisation au niveau du terminal. [0097] Dans un mode de réalisation particulier, le terminal comporte deux modes de restitution de la vidéo reçue : un mode de restitution de la vidéo initiale et un mode de restitution enrichi. Le mode de restitution enrichi comporte la mise en œuvre des étapes F200 à F500 alors que le mode de restitution de la vidéo initiale comporte directement après l’étape F100 de réception du flux enrichi la restitution de la vidéo initiale portée par ce flux enrichi. Le mode de restitution mis en œuvre est fonction d’une action de l’utilisateur. Notamment, le mode de restitution enrichi est déclenché par une requête d’enrichissement reçu par le terminal notamment au moyen d’une interface utilisateur.
[0098] La [fig.2] est un organigramme représentant des étapes Exxx du procédé de traitement d’une vidéo, et des étapes Fxxx du procédé d’enrichissement d’une vidéo, les procédés étant mis en œuvre selon un deuxième mode de réalisation particulier.
[0099] Dans le mode décrit ici, et contrairement au premier mode décrit en référence à la [fig.l], le serveur SRV obtient au cours d’étapes ElOOa et ElOOb, deux vidéos initiales VI et V2 acquises par deux caméras CAM1 et CAM2 pour filmer une même scène, de façon simultanée. Ces vidéos sont synchronisées. Au cours de ces étapes ElOOa et ElOOb, le serveur SRV obtient des paramètres de la position PPli et de la calibration PCli de la caméra CAM1, associés aux images de la première vidéo VI, et des paramètres de la position PP2i et de la calibration PC2i de la caméra CAM2, associés aux images de la deuxième vidéo V2.
[0100] Au cours d’une étape E300 similaire à l’étape E300 décrite en référence à la [fig.1], le serveur SRV envoie les deux vidéos initiales VI et V2 et l’ensemble des paramètres au terminal Ta.
[0101] Au cours d’une étape F100 similaire à l’étape F100 décrite en référence à la [fig.l], le terminal Ta reçoit les deux vidéos initiales VI et V2 et l’ensemble des paramètres en provenance du serveur SRV.
[0102] Au cours d’une étape F200 similaire à l’étape F200 décrite en référence à la [fig.l], le terminal Ta obtient l’objet d’enrichissement Oa, par exemple un objet modélisé à trois dimensions.
[0103] Au cours d’une étape F300, le terminal Ta obtient une vidéo enrichie Va-i- à partir des deux vidéos initiales VI et V2, par exemple en combinant des images des deux vidéos pour avoir une vidéo avec un effet 3D, puis en insérant l’objet Oa et en adaptant ses caractéristiques de vue (position, taille, orientation, etc) en tenant compte des paramètres associés aux images de la première vidéo VI et des paramètres associés aux images de la première vidéo V2.
[0104] La [fig.3] représente des architectures fonctionnelles, selon un mode de réalisation particulier, du serveur proposé SRV, du terminal Ta et de deux autres terminaux Tb et Te conformes à l’invention.
[0105] La caméra CAM décrite en référence à la [fig.l] est connectée au serveur SRV. Le serveur SRV, les terminaux Ta, Tb et Te et la caméra CAM forment un système de diffusion d’une vidéo V.
[0106] Le serveur SRV comporte :
- un module OBTS d’obtention (El 00) de la vidéo initiale V et d’obtention (El 00), pour au moins une image VSi de la vidéo initiale V, des paramètres PPi, PCi de la position et de la calibration de la caméra CAM associés à cette image VSi; ce module OBTS est un générateur de flux enrichi, le flux enrichi étant composé de ladite vidéo initiale V et, pour au moins une image VSi de la vidéo initiale V, de paramètres PPi, PCi de la position et de la calibration de la caméra associés à cette image et
- un module de communication COMS configuré pour envoyer (E300) la vidéo initiale V et les paramètres PPi, PCi aux terminaux Ta, Tb et Te.
[0107] Le module OBTS peut être configuré en outre pour obtenir (E200) les paramètres p_ORi de prise de vue des objets réels filmés par la caméra CAM. Le module de communication CMS est configuré en outre pour envoyer ces paramètres p_ORi en association avec les images correspondantes de la vidéo initiale V.
[0108] Dans le mode décrit ici, le serveur SRV comprend en outre un module d’optimisation OPTIM configuré pour optimiser l’émission des paramètres de la caméra PPi et PCi. Par exemple, le module OPTIM peut être configuré pour déterminer si les paramètres PPi et PCi associées à une image VSi sont différents des paramètres associés à l’image précédente VS (i-1). Le module d’optimisation OPTIM commande le module de communication COM_S pour que ce dernier n’envoie (E300) les paramètres associés à l’image VSi que si et seulement ces paramètres sont différents de ceux associés à l’image VS(i-l). Selon un autre exemple, le module d’optimisation OPTIM est configuré pour déterminer si l’envoi de nouveaux paramètres de la caméra associés à l’image VSi ou l’envoi des variations entre les paramètres associés aux images VSi et VS(i-l) requiert moins de ressources en terme de bande passante et de commander le module de communications en fonction d’un résultat de cette comparaison.
[0109] Dans le mode décrit ici, et tel qu’illustré par la [fig.3], le serveur SRV envoie les paramètres sur un canal de communication différent du canal utilisé pour envoyer la vidéo V. Alternativement, les paramètres et les images VSi de la vidéo V peuvent être envoyés sur un même canal de communication, les paramètres étant envoyés en tant que données de contrôle, par exemple dans des entêtes de paquets, alors que les images étant envoyées en tant que données utiles, dans les corps des paquets.
[0110] Le terminal Ta comporte :
- un module de communication OBT_Ta configuré pour recevoir (El 00) la vidéo initiale V, cette vidéo initiale comprenant une succession d’images VSi acquises par la caméra CAM, le module de communication est configuré en outre pour recevoir
(El 00) les paramètres PPi, PCi de la position et de la calibration de la caméra associés à au moins une image VSi de la vidéo initiale V ;
- un sélectionneur SLCTa configuré pour sélectionner (F200) d’au moins un objet d’enrichissement Oa ; et
- un adaptateur PROCa configuré pour obtenir (F300) une vidéo enrichie Va+ par :
- insertion de l’objet d’enrichissement Oa sélectionné dans une première image VSI de la vidéo initiale V ; et
- adaptation d’au moins une caractéristique de vue de l’objet d’enrichissement Oa dans les images suivantes (VS2 à VS5) en fonction des paramètres PP1, PCI associés à la première image et des paramètres PPi, PCi associés à chacune des images
VSi suivantes de la vidéo initiale V.
[0111] Dans le mode décrit ici, le terminal Ta comporte en outre un module DISPa de restitution (F500) de la vidéo enrichie Va+.
[0112] Le terminal Ta peut comprendre une mémoire dans laquelle une bibliothèque est enregistrée, l’objet d’enrichissement Oa est obtenu à partir de cette bibliothèque.
[0113] Le terminal Tb a une architecture fonctionnelle similaire à celle du terminal Ta. Le terminal Tb obtient (F200) un objet d’enrichissement Ob différent de l’objet Oa. Le terminal Tb obtient (F300) alors, à partir de la même vidéo initiale V, une vidéo enrichie Vb-i- différente de la vidéo Va-i- enrichie par le terminal Ta. Nous notons que même si les objets Oa et Ob sont identiques, les vidéos enrichies Oa et Ob peuvent être différentes car le choix des utilisateurs des terminaux Ta et Tb, en termes du moment d’insertion des objets Oa et Ob (et donc de la « première image »), et des caractéristiques de vue (par exemple la position et la taille) des objets d’enrichissement lors de l’insertion initiale, peuvent être différents.
[0114] Le terminal Te a également une architecture fonctionnelle similaire à celle du terminal Ta. Supposons que le terminal Te ne souhaite pas enrichir la vidéo initiale V, il restitue alors une vidéo Vc identique à la vidéo initiale V. La mise en œuvre du procédé de traitement par le serveur SRV n’a pas d’impact sur le fonctionnement du terminal Te. En effet, la vidéo V et les paramètres PPi et PCi de la caméra sont envoyés sur deux canaux différents. Le terminal Te peut ignorer le canal de transmission des paramètres.
[0115] Dans les modes de réalisation décrits ici, chacun des terminaux Ta et Tb a l’architecture matérielle d’un ordinateur, telle qu’illustrée à la [fig.4],
[0116] L’architecture du terminal Ta par exemple comprend notamment un processeur 7T, une mémoire vive 8T, une mémoire morte 9T, une mémoire flash non volatile 10T dans un mode particulier de réalisation de l’invention, ainsi que des moyens de communication 11T. De tels moyens sont connus en soi et ne sont pas décrits plus en détail ici.
[0117] La mémoire morte 9T du terminal Ta constitue un support d’enregistrement conforme à l’invention, lisible par le processeur 7T et sur lequel est enregistré ici un programme d’ordinateur ProgT conforme à l’invention.
[0118] La mémoire 10T du terminal Ta permet d’enregistrer des variables utilisées pour l’exécution des étapes du procédé proposé pour enrichir une vidéo, telles que la vidéo initiale V, les images VSi, les paramètres PPi et PCi de la position et de la calibration de la caméra, le paramètre p_ORi de la prise de vue de l’objet réel, et la vidéo enrichie Va+.
[0119] Le programme d’ordinateur ProgT définit des modules fonctionnels et logiciels ici, configurés pour enrichir la vidéo initiale V par le terminal Ta. Ces modules fonctionnels s’appuient sur et/ou commandent les éléments matériels 7T-11T du terminal Ta cités précédemment.
[0120] Dans les modes de réalisation décrits ici, le serveur SRV a l’architecture matérielle d’un ordinateur, telle qu’illustrée à la [fig.5] .
[0121] L’architecture du serveur SRV comprend notamment un processeur 7S, une mémoire vive 8S, une mémoire morte 9S, une mémoire flash non volatile 10S dans un mode particulier de réalisation de l’invention, ainsi que des moyens de communication 11S. De tels moyens sont connus en soi et ne sont pas décrits plus en détail ici.
[0122] La mémoire morte 9S du serveur SRV constitue un support d’enregistrement conforme à l’invention, lisible par le processeur 7S et sur lequel est enregistré ici un programme d’ordinateur ProgS conforme à l’invention.
[0123] La mémoire 10S du serveur SRV permet d’enregistrer des variables utilisées pour l’exécution des étapes du procédé proposé de traitement d’une vidéo, telles que la vidéo initiale V, les images VSi, les paramètres PPi et PCi de la position et de la calibration de la caméra, et le paramètre p_ORi de la prise de vue de l’objet réel.
[0124] Le programme d’ordinateur ProgS définit des modules fonctionnels et logiciels ici, configurés pour diffuser la vidéo initiale V par le serveur SRV. Ces modules fonctionnels s’appuient sur et/ou commandent les éléments matériels 7S-11S du serveur SRV cités précédemment.

Claims

Revendications
[Revendication 1] Procédé d’enrichissement d’une vidéo (V), dite vidéo initiale, par au moins un objet d’enrichissement (Oa, Ob), ladite vidéo initiale comportant une succession d’images (VSi) acquises par une caméra (CAM), le procédé étant mis en œuvre par un terminal (Ta, Tb) et comprenant au moins une étape d’adaptation (F300), au moins dans des images (VSi) suivant une première image (VSI) de ladite vidéo initiale (V) reçue (F 100) par le terminal, de caractéristiques de vue d’un dit objet d’enrichissement (Oa, Ob) sélectionné (F200) et inséré dans ladite première image (VSI), l’adaptation (F300) étant effectuée en fonction de paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés aux images (VSI, VSi) de la vidéo initiale (V), les paramètres (PPi, PCi) ayant été reçus (F 100) par le terminal en association avec la vidéo initiale.
[Revendication 2] Procédé selon la revendication 1 dans lequel l’adaptation (F300) des caractéristiques de vue de l’objet d’enrichissement tient compte d’un paramètre de prise de vue (p_ORi) d’un objet réel d’une scène filmée par ladite caméra (CAM), le paramètre (p_ORi) de prise de vue de l’objet réel étant reçu (F100) par le terminal en association avec la vidéo initiale.
[Revendication 3] Procédé de traitement d’une vidéo (V) en vue d’une diffusion, la vidéo, dite vidéo initiale (V), comportant une succession d’images (VSi) acquises par une caméra (CAM), ledit procédé étant mis en œuvre par un serveur (SRV) et comprenant au moins une étape de génération d’un flux enrichi, le flux enrichi étant composé de la vidéo initiale (V) et, pour au moins une image (VSi) de la vidéo initiale (V), de paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés à cette image (VSi), ladite vidéo initiale (V) et lesdits paramètres (PPi, PCi) étant aptes à être émis (E300) à destination d’au moins un terminal (Ta, Tb, Te).
[Revendication 4] Procédé selon la revendication 3 comprenant une insertion des paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés aux images de la vidéo initiale dans les données de contrôle du flux enrichi.
[Revendication 5] Procédé selon l’une des revendications 3 ou 4 dans lequel ladite vidéo initiale est envoyée (E300) au fur et à mesure de son acquisition (El 00).
[Revendication 6] Procédé selon l’une des revendications 3 à 5 dans lequel les paramètres (PPi, PCi) associés à une image (VSi) et cette image (VSi) sont synchronisés dans le flux enrichi.
[Revendication 7] Procédé selon l’une des revendications 3 à 6 comprenant une optimisation d’une émission des paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés aux images de la vidéo initiale.
[Revendication 8] Procédé selon la revendication 7 comprenant une insertion dans le flux enrichi d’au moins un dit paramètre (PP3, PC3) associé à une image donnée (VS3) de la vidéo initiale (V), si et seulement si ce paramètre (PP3, PC3) est différent du paramètre correspondant associé (PPI, PCI) à l’image précédente (VS2).
[Revendication 9] Procédé selon l’une des revendications 3 à 8 comprenant en outre une étape d’insertion dans le flux enrichi (E200) d’un paramètre (p_ORi) de prise de vue d’un objet réel de la scène filmée par ladite caméra.
[Revendication 10] Procédé selon l’une des revendications 3 à 9 dans lequel une émission des paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés aux images (VSi) de la vidéo initiale dans les données de contrôle du flux enrichi est répétée.
[Revendication 11] Programme d’ordinateur (ProgT, ProgS) comportant des instructions pour l’exécution des étapes d'un procédé selon la revendication 1 à 2, ou d’un procédé selon l’une quelconque des revendications 3 à 10, lorsque ledit programme est exécuté par un ordinateur.
[Revendication 12] Support d’enregistrement (7T, 7S) lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur selon la revendication 11.
[Revendication 13] Terminal (Ta, Tb, Te) comprenant un adaptateur (PROCa, PROCb) d’objet d’enrichissement d’une vidéo, dite vidéo initiale et comportant une succession d’images (VSi) acquises par une caméra (CAM), l’adaptateur étant apte à adapter, au moins dans des images (VSi) suivant une première image (VSI) de la vidéo initiale (V) reçue par le terminal, au moins une caractéristique de vue de l’objet d’enrichissement (Oa, Ob) sélectionné et inséré dans la première image (VSI), l’adaptateur étant apte à opérer en fonction de paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés aux images (VSI, VSi) de la vidéo initiale (V), les paramètres (PPi, PCi) ayant été reçus par le terminal en association avec la vidéo initiale.
[Revendication 14] Terminal selon la revendication 13 comprenant en outre un module de communication (OBT_Ta, OBT_Tb) configuré pour recevoir un flux enrichi composé de la vidéo initiale (V) et de dits paramètres (PPi, PCi) associés aux images (VSi) de la vidéo initiale (V). [Revendication 15] Serveur (SRV) configuré pour traiter une vidéo en vue d’une diffusion, la vidéo, dite vidéo initiale, comportant une succession d’images (VSi) acquises par une caméra (CAM), le serveur (SRV) comprenant un générateur (OBTS) de flux enrichi, le flux enrichi étant composé de ladite vidéo initiale (V) et, pour au moins une image (VSi) de la vidéo initiale (V), de paramètres (PPi, PCi) de la position et de la calibration de ladite caméra associés à cette image (VSi), la vidéo initiale (V) et lesdits paramètres (PPi, PCi) étant aptes à être émis à destination d’au moins un terminal (Ta, Tb, Te).
EP21848174.5A 2020-12-15 2021-12-13 Serveur, procede de traitement d'une video par le serveur, terminal, et procede mis enoeuvre par le terminal pour enrichir la video par un objet Pending EP4264947A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2013226A FR3117714A1 (fr) 2020-12-15 2020-12-15 Serveur, procédé de traitement d’une vidéo par le serveur, terminal, et procédé mis en œuvre par le terminal pour enrichir la vidéo par un objet
PCT/FR2021/052289 WO2022129753A1 (fr) 2020-12-15 2021-12-13 Serveur, procede de traitement d'une video par le serveur, terminal, et procede mis en œuvre par le terminal pour enrichir la video par un objet

Publications (1)

Publication Number Publication Date
EP4264947A1 true EP4264947A1 (fr) 2023-10-25

Family

ID=74592205

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21848174.5A Pending EP4264947A1 (fr) 2020-12-15 2021-12-13 Serveur, procede de traitement d'une video par le serveur, terminal, et procede mis enoeuvre par le terminal pour enrichir la video par un objet

Country Status (4)

Country Link
US (1) US20240107089A1 (fr)
EP (1) EP4264947A1 (fr)
FR (1) FR3117714A1 (fr)
WO (1) WO2022129753A1 (fr)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6351219B2 (ja) * 2012-08-23 2018-07-04 キヤノン株式会社 画像検索装置、画像検索方法及びプログラム
US10198858B2 (en) * 2017-03-27 2019-02-05 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
FR3090256B1 (fr) * 2018-12-12 2021-07-02 Orange Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants

Also Published As

Publication number Publication date
US20240107089A1 (en) 2024-03-28
WO2022129753A1 (fr) 2022-06-23
FR3117714A1 (fr) 2022-06-17

Similar Documents

Publication Publication Date Title
JP2022536182A (ja) データストリームを同期させるシステム及び方法
KR20200012878A (ko) 가상 현실 콘텐츠를 제공하기 위해 장면의 2d 캡처 이미지를 사용하기 위한 방법 및 시스템
FR2902568A1 (fr) Procede d'affichage d'une image mosaique au sein d'un recepteur pour la selection de programmes audiovisuels, recepteurs et serveurs associes
US20190208281A1 (en) User device pan and scan
FR2975555A1 (fr) Methode d'adaptation dynamique du debit de reception et recepteur associe
FR2884027A1 (fr) Procede et dispositif de transmission et de reception de sequences d'images entre un serveur et un client
FR2902266A1 (fr) Procede et dispositif de repartition de la bande passante de communication
FR3004054A1 (fr) Generation et restitution d'un flux representatif d'un contenu audiovisuel
EP3449634A1 (fr) Procédé de composition contextuelle d'une représentation vidéo intermédiaire
FR3093884A1 (fr) Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
CN108632644B (zh) 预览图的展示方法以及设备
EP4264947A1 (fr) Serveur, procede de traitement d'une video par le serveur, terminal, et procede mis enoeuvre par le terminal pour enrichir la video par un objet
EP4184922A1 (fr) Procédé de gestion de l' accès à un contenu multimédia
FR2866183A1 (fr) Procedes d'emission et de reception d'une animation, et dispositifs associes
EP3840335B1 (fr) Réception d'un contenu numérique en mode truque
FR3103667A1 (fr) Equipement décodeur transmettant des métadonnées à un équipement auxiliaire pour le piloter
WO2015059420A1 (fr) Procede de diffusion multipoints
FR3005386A1 (fr) Procede et dispositif de fourniture d’une partie deja diffusee d’un flux multimedia, terminal utilisateur, programme d’ordinateur et medium de stockage correspondants
EP3025477B1 (fr) Procede de synchronisation lors du traitement par un lecteur multimedia d'un contenu multimedia transmis par un service mbms
FR3135857A1 (fr) Gestion de la restitution d’un contenu multimédia sur plusieurs écrans.
FR3054765B1 (fr) Procede pour la lecture sur un equipement d'un contenu multimedia avec un retard cible par rapport au direct inferieur a un retard maximal donne
CN112203101B (zh) 一种远程视频直播方法、装置及电子设备
EP4593401A1 (fr) Gestion optimisée des fichiers manifestes pour clients de télécommunications recevant des contenus adaptatifs sur http (has)
WO2005088928A1 (fr) Procede d’edition de pages multimedia aupres d’un terminal, avec pre-memorisation de parametres d’objets intervenant dans les scenes.
EP4349002A1 (fr) Procede de traitement de données de pixels, dispositif et programme correspondant

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230531

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250212