FR3124289A1 - Method for rendering, on a terminal of a spectator, a place grouping together several distinct spaces in which a spectator moves virtually - Google Patents

Method for rendering, on a terminal of a spectator, a place grouping together several distinct spaces in which a spectator moves virtually Download PDF

Info

Publication number
FR3124289A1
FR3124289A1 FR2106758A FR2106758A FR3124289A1 FR 3124289 A1 FR3124289 A1 FR 3124289A1 FR 2106758 A FR2106758 A FR 2106758A FR 2106758 A FR2106758 A FR 2106758A FR 3124289 A1 FR3124289 A1 FR 3124289A1
Authority
FR
France
Prior art keywords
place
spectator
terminal
restitution
streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2106758A
Other languages
French (fr)
Other versions
FR3124289B1 (en
Inventor
Renaud Cazoulat
Stéphane GLAZIOU
Juliette Wolff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to FR2106758A priority Critical patent/FR3124289B1/en
Publication of FR3124289A1 publication Critical patent/FR3124289A1/en
Application granted granted Critical
Publication of FR3124289B1 publication Critical patent/FR3124289B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/214Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Procédé de restitution, sur un terminal d’un spectateur, d’un lieu regroupant plusieurs espaces distincts dans lequel un spectateur se déplace virtuellement L’invention se rapporte à un procédé de restitution, sur un terminal (108) d'un spectateur (SP1), d'un lieu (100) dans lequel le spectateur (SP1) se déplace virtuellement, le lieu (100) regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras respectives (101, 102, 103, 104), ledit procédé étant caractérisé en ce qu'il comprend les phases suivantes : une phase d'obtention de la description de différentes qualités de flux audiovisuels filmés dans les différents espaces ; une phase de récupération de la position virtuelle du spectateur (SP1) ;une phase de sélection des flux reçus de manière à ce que pour un espace donné, à un moment donné, l'entité de gestion (200) demande à recevoir un seul flux audiovisuel de format variable parmi les flux audiovisuels disponibles ; et,une phase de demande de restitution du lieu (100) sur le terminal (108) du spectateur (SP1), en utilisant les flux audiovisuels sélectionnés. Figure 1Method for rendering, on a viewer's terminal, a place grouping together several distinct spaces in which a viewer moves virtually The invention relates to a method for rendering, on a terminal (108) of a viewer (SP1 ), of a location (100) in which the viewer (SP1) moves virtually, the location (100) grouping together several distinct spaces, the spaces being filmed by respective cameras (101, 102, 103, 104), said method being characterized in that it comprises the following phases: a phase of obtaining the description of different qualities of audiovisual streams filmed in the different spaces; a phase for recovering the virtual position of the spectator (SP1);a phase for selecting the streams received so that for a given space, at a given time, the management entity (200) requests to receive a single stream variable format audiovisual from the available audiovisual streams; and, a phase of requesting restitution of the location (100) on the terminal (108) of the viewer (SP1), using the selected audiovisual streams. Figure 1

Description

Procédé de restitution, sur un terminal d’un spectateur, d’un lieu regroupant plusieurs espaces distincts dans lequel un spectateur se déplace virtuellementMethod for rendering, on a terminal of a spectator, a place grouping together several distinct spaces in which a spectator moves virtually

Le domaine technique est celui du filmage audiovisuel, de la diffusion et de la restitution d’images.The technical field is that of audiovisual filming, distribution and restitution of images.

Plus précisément, l’invention se rapporte à un procédé de restitution, sur un terminal d’un spectateur, d’un lieu regroupant plusieurs espaces distincts dans lequel un spectateur se déplace virtuellement.More specifically, the invention relates to a process for rendering, on a terminal of a spectator, a place grouping together several distinct spaces in which a spectator moves virtually.

Les lieux dont il est question sont par exemple des salons professionnels, dans lesquels plusieurs stands peuvent être visités. Les stands tenus par différents exposants constituent des espaces distincts. Les lieux peuvent être également des espaces commerciaux, dans lesquels on va trouver des rayons présentant des biens à vendre d’une catégorie donnée. Les différents rayons sont alors également des espaces distincts présents dans un lieu donné. Une autre possibilité à laquelle s’applique l’invention est celle de lieux culturels tels des musées ou des galeries, séparés en plusieurs espaces comme des salles ou bien là encore des stands. Une autre possibilité est celle d’un espace de congrès académiques dans laquelle différentes salles où sont présentées des conférences en parallèle forment des espaces distincts. Ces exemples ne sont pas limitatifs et beaucoup d’autres lieux peuvent être concernés par l’invention.The places in question are, for example, trade fairs, in which several stands can be visited. The stands held by different exhibitors constitute distinct spaces. The places can also be commercial spaces, in which we will find shelves presenting goods for sale of a given category. The different rays are then also distinct spaces present in a given place. Another possibility to which the invention applies is that of cultural places such as museums or galleries, separated into several spaces such as rooms or even stands. Another possibility is that of an academic conference space in which different rooms where conferences are presented in parallel form distinct spaces. These examples are not limiting and many other places may be affected by the invention.

L’invention concerne les visites virtuelles de lieux. Le fait que le lieu puisse être séparé en plusieurs espaces distincts va permettre d’optimiser la diffusion des flux vidéo nécessaires à la visite virtuelle et interactive de ces lieux. L’invention consiste en un procédé de restitution, sur un terminal d’un spectateur, d’un lieu regroupant plusieurs espaces distincts dans lequel un spectateur se déplace virtuellement, procédé grâce auquel les flux vidéo permettant la restitution de ce lieu sont diffusés de manière optimisée. Le procédé et la diffusion des flux permettront à plusieurs spectateurs de réaliser en parallèle une visite interactive et virtuelle du lieu, les spectateurs utilisant leurs terminaux respectifs, sur lesquels le lieu sera restitué.The invention relates to virtual tours of places. The fact that the place can be separated into several distinct spaces will make it possible to optimize the distribution of the video streams necessary for the virtual and interactive visit of these places. The invention consists of a process for rendering, on a viewer's terminal, a place grouping together several distinct spaces in which a viewer moves virtually, a process by means of which the video streams enabling the restitution of this place are broadcast in a optimized. The process and the broadcasting of the streams will allow several spectators to carry out an interactive and virtual visit of the place in parallel, the spectators using their respective terminals, on which the place will be reproduced.

Etat de la techniqueState of the art

La situation sanitaire marquée par la pandémie de CoVid-19 montre l’intérêt de pouvoir réaliser des visites virtuelles de lieux. Un mode de visite particulièrement apprécié est la visite hybride. Dans ce mode, un certain nombre de visiteurs peuvent accéder en personne au lieu. Pour assurer une faible densité de visiteurs, ce qui est souhaitable d’un point de vue sanitaire, les autres visiteurs en mode hybride réalisent une visite virtuelle, à distance, par des moyens vidéo.The health situation marked by the CoVid-19 pandemic shows the interest of being able to carry out virtual visits to places. A particularly popular mode of visit is the hybrid visit. In this mode, a certain number of visitors can access the place in person. To ensure a low density of visitors, which is desirable from a health point of view, the other visitors in hybrid mode carry out a virtual visit, remotely, by video means.

Un premier moyen de réaliser une visite virtuelle est de disposer des caméras fixes à plusieurs endroits du lieu. Un site web pourra alors être proposé aux visiteurs virtuels, site qui combinera des informations textuelles sur le lieu avec la possibilité de consulter les flux vidéo des caméras fixes. Cette solution utilise des technologies éprouvées, mais a l’inconvénient de ne pas permettre aux visiteurs virtuels de se promener de façon aléatoire, non planifiée, dans le lieu, et de faire des rencontres non prévues, contrairement aux visiteurs physiques.A first way to make a virtual visit is to have fixed cameras in several places of the place. A website can then be offered to virtual visitors, a site which will combine textual information on the place with the possibility of consulting video streams from fixed cameras. This solution uses proven technologies, but has the disadvantage of not allowing virtual visitors to wander randomly, unplanned, in the place, and to make unplanned encounters, unlike physical visitors.

Un autre moyen de réaliser des visites virtuelles peut être alors de déployer dans le lieu des robots, pouvant être guidés par des visiteurs, qui portent des caméras. La visite virtuelle consistera pour le visiteur à guider le robot dans le lieu, en s’appuyant sur le flux vidéo de la caméra pour se repérer dans le lieu. Le flux vidéo (et sonore) pourra permettre au visiteur qui guide le robot d’interagir avec des exposants ou d’autres visiteurs, que ceux-ci soient présents physiquement dans le lieu ou bien représentés par un autre robot. Cette solution permet aux visiteurs virtuels de retrouver la spontanéité d’une visite physique, et ses rencontres aléatoires. Par contre, elle implique un coût matériel élevé, causé par l’utilisation de robots, ainsi qu’une forte charge des ressources réseaux du lieu. En effet, chaque visiteur virtuel nécessite de mobiliser un flux vidéo complet, dans les deux sens, entre le lieu et le visiteur virtuel.Another means of carrying out virtual visits can then be to deploy robots in the place, which can be guided by visitors, who carry cameras. The virtual visit will consist for the visitor to guide the robot in the place, relying on the video stream of the camera to find his way around the place. The video (and sound) stream may allow the visitor guiding the robot to interact with exhibitors or other visitors, whether they are physically present in the place or represented by another robot. This solution allows virtual visitors to rediscover the spontaneity of a physical visit, and its random encounters. On the other hand, it involves a high material cost, caused by the use of robots, as well as a heavy load on the network resources of the place. Indeed, each virtual visitor requires the mobilization of a complete video stream, in both directions, between the place and the virtual visitor.

L’invention vient améliorer la situation.The invention improves the situation.

L’inventionThe Invention

Selon un premier aspect fonctionnel, l’invention a trait à un procédé de restitution, sur un terminal d’un spectateur, d'un lieu dans lequel le spectateur se déplace virtuellement, le lieu regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras respectives, ledit procédé étant caractérisé en ce qu'il comprend les phases suivantes implémentées par une entité de gestion :According to a first functional aspect, the invention relates to a method for rendering, on a terminal of a spectator, a place in which the spectator moves virtually, the place grouping together several distinct spaces, the spaces being filmed by respective cameras, said method being characterized in that it comprises the following phases implemented by a management entity:

  • une phase d'obtention de la description de différentes qualités de flux audiovisuels filmés dans les différents espaces, les différents flux étant ré-encodés par un ou des serveurs dans des formats variables nécessitant un débit plus ou moins important ;a phase of obtaining the description of different qualities of audiovisual streams filmed in the different spaces, the different streams being re-encoded by one or more servers in variable formats requiring a greater or lesser bit rate;
  • une phase de récupération de la position virtuelle du spectateur dans la restitution du lieu, cette position virtuelle étant déterminée par les interactions du spectateur avec la restitution du lieu sur le terminal ;a phase of recovering the virtual position of the spectator in the restitution of the place, this virtual position being determined by the interactions of the spectator with the restitution of the place on the terminal;
  • une phase de sélection des flux reçus de manière à ce que pour un espace donné, à un moment donné, l'entité de gestion demande à recevoir un seul flux audiovisuel de format variable parmi les flux audiovisuels disponibles dont la description est obtenue en phase d'obtention, la sélection du flux parmi les flux disponibles pour un espace donné étant fonction de la distance entre d'une part la position virtuelle du spectateur au moment donné dans la restitution virtuelle du lieu, position récupérée en phase de récupération, et d'autre part la position virtuelle de l'espace donné dans le lieu ; et,a phase of selection of the streams received so that for a given space, at a given time, the management entity requests to receive a single audiovisual stream of variable format from among the available audiovisual streams whose description is obtained in phase d obtaining, the selection of the stream from among the streams available for a given space being a function of the distance between, on the one hand, the virtual position of the spectator at the given moment in the virtual restitution of the place, position recovered in the recovery phase, and on the other hand, the virtual position of the given space in the place; and,
  • une phase de demande de restitution du lieu sur le terminal du spectateur, en utilisant les flux audiovisuels sélectionnés dans la phase de sélection pour représenter les espaces distincts filmés dans le lieu.a phase of requesting restitution of the place on the viewer's terminal, using the audiovisual streams selected in the selection phase to represent the distinct spaces filmed in the place.

Grâce à l’invention, des spectateurs obtiendront des flux audiovisuels filmant les espaces distincts d’un lieu, ces flux étant de débit variable. Ces flux permettront au spectateur de réaliser une visite virtuelle du lieu et les flux audiovisuels reçus par le spectateur seront sélectionnés suivant la distance entre la position virtuelle du spectateur et celle de l’espace filmé. Cette variabilité des flux permet d’optimiser le débit nécessaire au spectateur. C’est une entité de gestion dédiée qui implémente le procédé en obtenant la description des différents formats de flux disponibles, en récupérant la position virtuelle du spectateur, en sélectionnant les flux en fonction de la distance virtuelle entre le spectateur et l’espace filmé, et enfin en demandant la restitution du lieu sur le terminal du spectateur.Thanks to the invention, spectators will obtain audiovisual streams filming the distinct spaces of a place, these streams being of variable bit rate. These streams will allow the viewer to take a virtual tour of the place and the audiovisual streams received by the viewer will be selected according to the distance between the virtual position of the viewer and that of the filmed space. This variability of streams makes it possible to optimize the bit rate necessary for the viewer. It is a dedicated management entity that implements the process by obtaining the description of the different stream formats available, by retrieving the viewer's virtual position, by selecting the streams according to the virtual distance between the viewer and the filmed space, and finally by requesting the restitution of the place on the spectator's terminal.

Selon un premier mode de mise en œuvre particulier de l’invention, la sélection parmi les flux de débit variable ré-encodés à partir du flux produit par une caméra filmant un espace donné consiste à prendre le flux de débit le plus faible lorsqu'un spectateur est le plus éloigné dans la restitution virtuelle de l'espace filmé, et à prendre des flux de débit de plus en plus élevé au fur et à mesure qu'un spectateur se rapproche dans la restitution virtuelle de l'espace filmé.According to a first particular mode of implementation of the invention, the selection among the variable bit rate streams re-encoded from the stream produced by a camera filming a given space consists in taking the lowest bit rate stream when a spectator is furthest away in the virtual restitution of the filmed space, and to take streams of increasingly high bit rate as a spectator approaches in the virtual restitution of the filmed space.

Grâce à ce premier mode, l’entité de gestion peut optimiser le débit des flux diffusés vers le terminal du spectateur. En effet, l’entité de gestion récupère la position virtuelle du spectateur dans la restitution virtuelle du lieu et peut à partir de là sélectionner les flux qui correspondent aux espaces visibles par le spectateur dans la restitution. Au fur et à mesure que le spectateur se rapproche virtuellement d’un espace filmé dans la restitution du lieu, l’entité de gestion va sélectionner des flux à la résolution plus détaillée. Il ne sera donc transmis au terminal du spectateur que les flux dont il a besoin ce qui optimise la transmission.Thanks to this first mode, the management entity can optimize the bit rate of the streams broadcast to the viewer's terminal. Indeed, the management entity recovers the virtual position of the spectator in the virtual restitution of the place and can from there select the flows which correspond to the spaces visible by the spectator in the restitution. As the viewer virtually approaches a filmed space in the restitution of the location, the management entity will select streams with more detailed resolution. It will therefore be transmitted to the viewer's terminal only the streams it needs, which optimizes the transmission.

Selon un deuxième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre alternativement ou cumulativement avec le précédent mode, la diffusion des flux de débit variable entre, d'une part, le ou les serveurs qui ont ré-encodé les flux de débit variable, et, d'autre part, les terminaux des spectateurs, mette en œuvre un réseau de diffusion de contenu, également dénommé CDN (pourContent Delivery Networken anglais).According to a second particular mode of implementation of the invention, which may be implemented alternatively or cumulatively with the previous mode, the broadcasting of the variable bit rate streams between, on the one hand, the server or servers which have re- encoded the variable bit rate streams, and, on the other hand, the spectators' terminals, implements a content distribution network, also called CDN (for Content Delivery Network in English).

Dans ce deuxième mode de réalisation, le procédé utilise un réseau de diffusion de contenu (CDN, pourContent Delivery Network) afin de diffuser les flux ré-encodés de débit variable depuis le lieu restitué. L’avantage de ce mode de réalisation est d’utiliser un procédé éprouvé et efficace pour la diffusion de flux audiovisuels vers une grande quantité de spectateurs.In this second embodiment, the method uses a content distribution network (CDN, for Content Delivery Network ) in order to broadcast the re-encoded streams of variable bit rate from the restored location. The advantage of this embodiment is to use a proven and effective method for broadcasting audiovisual streams to a large number of viewers.

Selon un troisième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre alternativement ou cumulativement avec les précédents modes, le procédé comprend, sur requête du terminal d’un spectateur, un passage dans un mode dit d’interaction, dans lequel une communication audiovisuelle directe est établie entre d’une part le dit terminal d’un spectateur et d’autre part une caméra filmant un espace distinct du lieu, la communication utilisant un seul des flux diffusés depuis le lieu.According to a third particular mode of implementation of the invention, which may be implemented alternatively or cumulatively with the previous modes, the method comprises, at the request of the terminal of a spectator, a passage in a so-called mode of interaction , in which a direct audiovisual communication is established between on the one hand said terminal of a spectator and on the other hand a camera filming a space distinct from the place, the communication using only one of the streams broadcast from the place.

Grâce à ce mode de mise en œuvre particulier de l’invention, le spectateur peut entrer en communication avec un ou des correspondants situés dans le lieu. Il peut s’agir par exemple d’un correspondant qui tient un stand dans un salon professionnel si l’espace filmé avec lequel le terminal du spectateur rentre en relation est ce stand. Pour optimiser la diffusion des flux depuis le lieu, un seul flux sera utilisé pour la communication.Thanks to this particular mode of implementation of the invention, the viewer can enter into communication with one or more correspondents located in the place. This may be, for example, a correspondent who holds a stand at a trade show if the filmed space with which the viewer's terminal comes into contact is this stand. To optimize the distribution of streams from the location, a single stream will be used for communication.

Selon un quatrième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre cumulativement avec le mode précédent, la requête est transmise suite à pointage dans la restitution virtuelle du lieu de la partie correspondant au flux issu d'une caméra filmant un espace distinct et en ce que ce pointage déclenche d'une part une transmission d’une demande de coupure des flux de débit variable diffusés vers le terminal du spectateur par le réseau de diffusion de contenu et d'autre part une demande d’'établissement d'une communication audiovisuelle en temps réel entre le terminal du spectateur et la caméra qui filme l'espace distinct pointé lors du dit pointage.According to a fourth particular mode of implementation of the invention, which can be implemented cumulatively with the previous mode, the request is transmitted following pointing in the virtual restitution of the place of the part corresponding to the stream from a camera filming a separate space and in that this score triggers on the one hand a transmission of a request to cut the variable bit rate streams broadcast to the viewer's terminal by the content distribution network and on the other hand a request to establishment of audiovisual communication in real time between the viewer's terminal and the camera which films the distinct space pointed to during said pointing.

Grâce à ce mode, c’est le spectateur qui va pouvoir déclencher le passage en mode dit d’interaction. Suite à l’exploration virtuelle du lieu restitué, le spectateur peut décider d’interroger directement un correspondant situé dans un espace filmé distinct du lieu, par exemple le responsable d’un stand dans le cas où le lieu est un salon professionnel. De façon optimisée, le passage en mode dit d’interaction va limiter la diffusion vers le spectateur à un seul flux, celui qui est utile pour la communication. Par ailleurs, l’utilisation d’un réseau de diffusion de contenu (CDN) introduit une latence de quelques secondes, qui n’est pas gênante pour la restitution du lieu, mais qui empêcherait d’établir une communication entre le spectateur et un correspondant dans l’espace filmé. C’est pourquoi le passage dans le mode dit d’interaction comprend une coupure des flux diffusés via le réseau de diffusion de contenu (CDN) vers le spectateur pour établir une communication directe.Thanks to this mode, it is the spectator who will be able to trigger the transition to so-called interaction mode. Following the virtual exploration of the returned location, the viewer can decide to directly question a correspondent located in a filmed space separate from the location, for example the manager of a stand in the case where the location is a trade show. In an optimized way, switching to so-called interaction mode will limit the broadcast to the viewer to a single stream, the one that is useful for communication. Furthermore, the use of a content delivery network (CDN) introduces a latency of a few seconds, which is not a problem for the restitution of the place, but which would prevent the establishment of a communication between the spectator and a correspondent. in filmed space. This is why switching to the so-called interaction mode includes cutting off the streams broadcast via the content delivery network (CDN) to the viewer to establish direct communication.

Selon un cinquième mode de mise en œuvre particulier de l’invention, qui pourra être mis en œuvre cumulativement avec le mode précédent, la transmission de la requête est programmée pour avoir lieu à une date et heure donnée.According to a fifth particular mode of implementation of the invention, which can be implemented cumulatively with the previous mode, the transmission of the request is scheduled to take place at a given date and time.

Grâce à ce mode de réalisation, il est possible de programmer des bascules en mode dit d’interaction pour des spectateurs donnés vers des correspondants donnés dans des espaces distincts filmés, sans intervention explicite des spectateurs. L’intérêt de ce mode est de faciliter la visite virtuelle du lieu dans le cas du salon commercial pour un spectateur qui va programmer les rendez-vous qu’il souhaite avoir, ou s’inscrire à une visite standard déjà programmée. La programmation des bascules permet d’optimiser la diffusion des flux.Thanks to this embodiment, it is possible to program switches in so-called interaction mode for given spectators to given correspondents in distinct filmed spaces, without explicit intervention by the spectators. The interest of this mode is to facilitate the virtual visit of the place in the case of the trade show for a spectator who will schedule the appointments he wishes to have, or register for a standard visit already scheduled. The programming of the scales makes it possible to optimize the diffusion of the flows.

Selon un premier aspect matériel, l’invention se rapporte à une entité de gestion implémentant un procédé de restitution sur un terminal d'un spectateur d'un lieu dans lequel le spectateur se déplace virtuellement, le lieu regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras respectives, ladite entité comprenant les modules suivants :According to a first material aspect, the invention relates to a management entity implementing a method for rendering on a terminal of a spectator a place in which the spectator moves virtually, the place grouping together several distinct spaces, the spaces being filmed by respective cameras, said entity comprising the following modules:

  • un module d'obtention de la description de différentes qualités de flux audiovisuels filmés dans les différents espaces, les différents flux étant ré-encodés par un ou des serveurs dans des formats variables nécessitant un débit plus ou moins important ;a module for obtaining the description of different qualities of audiovisual streams filmed in the different spaces, the different streams being re-encoded by one or more servers in variable formats requiring a greater or lesser bit rate;
  • un module de récupération de la position virtuelle du spectateur dans la restitution du lieu, cette position virtuelle étant déterminée par les interactions du spectateur avec la restitution du lieu sur le terminal ;a module for recovering the virtual position of the spectator in the restitution of the place, this virtual position being determined by the interactions of the spectator with the restitution of the place on the terminal;
  • un module de sélection des flux reçus de manière à ce que pour un espace donné, à un moment donné, l'entité de gestion demande à recevoir un seul flux audiovisuel de format variable parmi les flux audiovisuels disponibles dont la description est obtenue par le module d'obtention, la sélection du flux parmi les flux disponibles pour un espace donné étant fonction de la distance entre d'une part la position virtuelle du spectateur au moment donné dans la restitution virtuelle du lieu, position récupérée par le module de récupération, et d'autre part la position virtuelle de l'espace donné dans le lieu ; et,a module for selecting the streams received so that for a given space, at a given time, the management entity requests to receive a single audiovisual stream of variable format from among the audiovisual streams available whose description is obtained by the module obtaining, the selection of the stream from among the streams available for a given space being a function of the distance between, on the one hand, the virtual position of the spectator at the given moment in the virtual restitution of the place, position recovered by the recovery module, and on the other hand, the virtual position of the given space in the place; and,
  • un module de demande de restitution du lieu sur le terminal du spectateur, en utilisant les flux audiovisuels sélectionnés par le module de sélection pour représenter les espaces distincts filmés dans le lieu.a module for requesting restitution of the place on the viewer's terminal, using the audiovisual streams selected by the selection module to represent the distinct spaces filmed in the place.

Selon un deuxième aspect matériel, dépendant du premier aspect matériel, l’invention se rapporte à un terminal de spectateur comprenant une entité de gestion selon le premier aspect matériel, entité implémentant un procédé de restitution sur le terminal d’un lieu dans lequel le spectateur se déplace virtuellement, le lieu regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras.According to a second hardware aspect, depending on the first hardware aspect, the invention relates to a viewer terminal comprising a management entity according to the first hardware aspect, entity implementing a method for rendering on the terminal a place in which the viewer moves virtually, the place bringing together several distinct spaces, the spaces being filmed by cameras.

Grâce à cet aspect matériel, l’entité de gestion est incluse dans le terminal du spectateur sur lequel est restitué virtuellement le lieu regroupant plusieurs espaces distincts, lieu visité virtuellement par le spectateur. Cet aspect permet d’intégrer l’entité de gestion dans le terminal du spectateur et de réaliser un déploiement simplifié du procédé de restitution.Thanks to this material aspect, the management entity is included in the spectator's terminal on which the place is virtually restored, grouping together several distinct spaces, a place visited virtually by the spectator. This aspect makes it possible to integrate the management entity into the viewer's terminal and to achieve a simplified deployment of the restitution process.

Les terminaux de spectateurs peuvent être tout type de terminal. Par exemple, il peut s’agir d’ordinateurs personnels, de type stations de travail ou bien ordinateurs portables. Il peut également s’agir d’ordinateurs de type tablettes. Il peut également s’agir de téléphones portables disposant de capacités de calcul comme par exemple des ordiphones (poursmartphonesen anglais) ou bien des phablettes (pourphabletsen anglais) à savoir un terminal intermédiaire entre un ordiphone et une tablette en ce qui concerne la taille d’écran.Spectator terminals can be any type of terminal. For example, they may be personal computers, of the workstation or laptop type. It can also be tablet-type computers. It can also be mobile phones with computing capabilities such as ordiphones (for smartphones in English) or phablets (for phablets in English), namely an intermediate terminal between a ordiphone and a tablet as regards the screen size.

Selon un autre aspect matériel, dépendant du premier aspect matériel, l’invention se rapporte à un serveur comprenant une entité de gestion selon le premier aspect matériel, entité implémentant un procédé de restitution sur le terminal d’un lieu dans lequel le spectateur se déplace virtuellement, le lieu regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras.According to another hardware aspect, depending on the first hardware aspect, the invention relates to a server comprising a management entity according to the first hardware aspect, entity implementing a method for rendering on the terminal a place in which the spectator moves virtually, the place grouping together several distinct spaces, the spaces being filmed by cameras.

Grâce à cet aspect matériel, il est possible dans l’architecture matérielle implémentant le procédé de séparer l’entité implémentant le procédé de restitution du terminal sur lequel est effectuée la restitution virtuelle du lieu. Un serveur peut regrouper une ou des entités de gestion qui vont implémenter le procédé de restitution sur plusieurs terminaux de spectateurs. Le serveur peut être un serveur matériel déployé dans le lieu d’exposition ou bien au contraire à proximité des terminaux de spectateurs. Le serveur peut également être un serveur virtuel, déployé dans une infrastructure d’informatique en nuage (pourcloud computingen anglais).Thanks to this hardware aspect, it is possible in the hardware architecture implementing the method to separate the entity implementing the restitution method from the terminal on which the virtual restitution of the location is carried out. A server can group together one or more management entities which will implement the restitution method on several spectator terminals. The server can be a hardware server deployed in the exhibition venue or, on the contrary, close to the spectators' terminals. The server can also be a virtual server, deployed in a cloud computing infrastructure.

Selon un autre aspect matériel, l’invention a trait à un programme d'ordinateur apte à être mis en œuvre par une entité de gestion, le programme comprenant des instructions de code qui, lorsqu’elles sont mises en œuvre par un processeur, implémentent le procédé de restitution défini ci-dessus.According to another hardware aspect, the invention relates to a computer program capable of being implemented by a management entity, the program comprising code instructions which, when implemented by a processor, implement the restitution method defined above.

Le programme d’ordinateur peut être développé en tout type de langage informatique, qu’il soit compilé ou bien interprété ou bien toute combinaison des deux.The computer program may be developed in any type of computer language, whether compiled or interpreted or any combination of the two.

Enfin, selon un autre aspect matériel, l’invention a trait à un support de données sur lequel est enregistré un programme d’ordinateur comprenant une séquence d’instructions pour la mise en œuvre du procédé de restitution défini ci-dessus lorsqu’il est chargé dans et exécuté par un processeur.Finally, according to another material aspect, the invention relates to a data medium on which is recorded a computer program comprising a sequence of instructions for the implementation of the restitution method defined above when it is loaded into and executed by a processor.

Les supports de données peuvent être n'importe quelle entité ou dispositif capable de stocker les programmes. Par exemple, les supports peuvent comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique tel qu’un un disque dur. D'autre part, les supports peuvent être des supports transmissibles tels qu'un signal électrique ou optique, qui peuvent être acheminés via un câble électrique ou optique, par radio ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.Data carriers can be any entity or device capable of storing programs. For example, the media may comprise a storage medium, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording medium such as a hard disk. On the other hand, the media can be transmissible media such as an electrical or optical signal, which can be conveyed via an electrical or optical cable, by radio or by other means. The programs according to the invention can in particular be downloaded from an Internet-type network. Alternatively, the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.

L'invention sera mieux comprise à la lecture de la description qui suit, donnée à titre d'exemple, et faite en référence aux dessins annexées sur lesquels :The invention will be better understood on reading the following description, given by way of example, and made with reference to the appended drawings in which:

représente un lieu dans lequel on trouve plusieurs espaces distincts filmés par des caméras, le lieu étant visité virtuellement par un premier spectateur et un second spectateur étant en interaction avec un correspondant situé dans le lieu. represents a place in which there are several distinct spaces filmed by cameras, the place being visited virtually by a first spectator and a second spectator being in interaction with a correspondent located in the place.

illustre un exemple possible de restitution d’un espace distinct du lieu sous forme de brique tridimensionnelle. illustrates a possible example of restitution of a space distinct from the place in the form of three-dimensional brick.

illustre un exemple possible de restitution virtuelle du lieu sur le terminal d’un spectateur, en réalisant un survol virtuel du lieu. illustrates a possible example of virtual rendering of the location on a viewer's terminal, by performing a virtual fly-over of the location.

illustre un autre exemple possible de restitution virtuelle du lieu sur le terminal d’un spectateur, en réalisant une exploration virtuelle du lieu au niveau du sol. illustrates another possible example of virtual restitution of the location on a spectator's terminal, by carrying out a virtual exploration of the location at ground level.

illustre une interface homme-machine possible pour d’une part un spectateur et d’autre part un exposant en charge d’un espace distinct du lieu. illustrates a possible man-machine interface for a spectator on the one hand and an exhibitor in charge of a space separate from the venue on the other.

Description détaillée d’un ou plusieurs exemples de réalisation de l'inventionDetailed description of one or more embodiments of the invention

La représente un lieu 100 et une entité de gestion 200. L’entité de gestion 200 implémente le procédé qui va permettre de restituer le lieu 100 sur les terminaux 108 et 107, terminaux associés respectivement aux spectateurs SP1 et SP2.The represents a place 100 and a management entity 200. The management entity 200 implements the method which will make it possible to restore the place 100 on the terminals 108 and 107, terminals associated respectively with the spectators SP1 and SP2.

Le spectateur SP1 réalise une visite virtuelle du lieu 100 par l’intermédiaire de son terminal 108. Le terminal 108 est un terminal permettant d’offrir au spectateur SP1 une expérience immersive, dite de réalité virtuelle, mais l’invention peut s’appliquer à tout type de terminal, comme par exemple un ordinateur personnel, de type station de travail ou bien ordinateur portable. Il peut également s’agir d’un ordinateur de type tablette. Il peut également s’agir d’un téléphone portable disposant de capacités de calcul comme par exemple un ordiphone (poursmartphoneen anglais) ou bien une phablette (pourphableten anglais) à savoir un terminal intermédiaire entre un ordiphone et une tablette en ce qui concerne la taille d’écran.The viewer SP1 takes a virtual tour of the place 100 via his terminal 108. The terminal 108 is a terminal making it possible to offer the viewer SP1 an immersive experience, called virtual reality, but the invention can be applied to any type of terminal, such as for example a personal computer, of the workstation or laptop type. It can also be a tablet type computer. It can also be a mobile phone with computing capabilities such as a ordiphone (for smartphone in English) or a phablet (for phablet in English), namely an intermediate terminal between a ordiphone and a tablet in regarding screen size.

La restitution virtuelle du lieu 100 sur le terminal 108 du spectateur SP1 s’appuie sur des flux audio-visuels issus d’espaces distincts du lieu 100 filmés par des caméras respectives 101, 102, 103 et 104. Les flux issus des caméras 101, 102, 103 et 104 sont ré-encodés par un serveur SRV en plusieurs flux de débit variable. Un seul serveur SRV est représenté dans la , mais d’autres architectures de diffusion en temps réel (streamingen anglais) sont possibles, faisant appel à plusieurs serveurs. Le débit variable des flux ré-encodés est représenté dans la par l’épaisseur variable des traits issus du serveur SRV pour chaque flux issu des caméras 101, 102, 103 et 104.The virtual restitution of the place 100 on the terminal 108 of the viewer SP1 is based on audio-visual streams from separate spaces of the place 100 filmed by respective cameras 101, 102, 103 and 104. The streams from the cameras 101, 102, 103 and 104 are re-encoded by an SRV server into several streams of variable bit rate. A single SRV server is represented in the , but other real-time broadcasting architectures are possible, using several servers. The variable bit rate of the re-encoded streams is represented in the by the variable thickness of the lines coming from the server SRV for each stream coming from the cameras 101, 102, 103 and 104.

L’entité de gestion 200 implémente le procédé de restitution du lieu 100 sur le terminal 108 du spectateur SP1 par l’intermédiaire de quatre modules :The management entity 200 implements the location restitution process 100 on the terminal 108 of the viewer SP1 via four modules:

  • le module 201 obtient la description des différentes qualités de flux audio-visuels disponibles ré-encodés par le serveur SRV issus des caméras 101, 102, 103 et 104 ;the module 201 obtains the description of the different qualities of available audio-visual streams re-encoded by the server SRV from the cameras 101, 102, 103 and 104;
  • le module 202 récupère la position virtuelle du spectateur SP1 dans la restitution du lieu 100 sur le terminal 108, cette position virtuelle étant déterminée par les interactions du spectateur SP1 avec la restitution du lieu 100 sur le terminal 108 ;the module 202 retrieves the virtual position of the spectator SP1 in the rendering of the place 100 on the terminal 108, this virtual position being determined by the interactions of the spectator SP1 with the rendering of the place 100 on the terminal 108;
  • le module 203 sélectionne parmi les flux disponibles ré-encodés par le serveur SRV, dont la description a été obtenue par le module 201, des flux en fonction de la position virtuelle du spectateur SP1 dans la restitution du lieu 100 sur le terminal 108, position récupérée par le module 202 ; et,the module 203 selects from among the available streams re-encoded by the server SRV, the description of which was obtained by the module 201, streams according to the virtual position of the spectator SP1 in the restitution of the place 100 on the terminal 108, position retrieved by module 202; and,
  • le module 204 demande la restitution du lieu 100 sur le terminal 108 du spectateur SP1 en utilisant les flux sélectionnés par le module 203.the module 204 requests the restitution of the place 100 on the terminal 108 of the viewer SP1 using the streams selected by the module 203.

Les flux sélectionnés par le module 203 sont diffusés par un réseau de diffusion de contenu CDN (pourContent Delivery Networken anglais). Le réseau de diffusion de contenu CDN est inclus dans un réseau de communication plus large INT, ici le réseau Internet. Tout type de réseau de communication peut être envisagé entre le lieu 100 et les terminaux 108 et 107 des spectateurs SP1 et SP2, par exemple une liaison privée, de type WAN (pourWide Area Networken anglais) ou bien un réseau local LAN (pourLocal Area Networken anglais) si les spectateurs sont proches du lieu 100.The streams selected by the module 203 are broadcast by a content delivery network CDN (for Content Delivery Network in English). The content distribution network CDN is included in a wider communication network INT, here the Internet network. Any type of communication network can be envisaged between the place 100 and the terminals 108 and 107 of the spectators SP1 and SP2, for example a private connection, of the WAN type (for Wide Area Network in English) or else a local area network LAN (for Local Area Network in English) if the viewers are close to location 100.

Le spectateur SP2, quant à lui, est placé dans un mode dit d’interaction. Le fait que SP2 soit dans un mode d’interaction peut avoir lieu postérieurement à une visite virtuelle par le spectateur SP2 du lieu 100, visite similaire à celle qu’effectue le spectateur SP1. Le spectateur SP2 dispose du terminal 107 qui est un ordinateur portable, mais l’invention peut s’appliquer à tout type de terminal, comme par exemple un ordinateur de type station de travail. Il peut également s’agir d’un ordinateur de type tablette. Il peut également s’agir d’un téléphone portable disposant de capacités de calcul comme par exemple un ordiphone (poursmartphoneen anglais) ou bien une phablette (pourphableten anglais) à savoir un terminal intermédiaire entre un ordiphone et une tablette en ce qui concerne la taille d’écran. Le spectateur SP2 dispose également d’une caméra 106, par exemple de type webcaméra, mais qui peut être tout type de caméra, intégrée ou non au terminal 107.The spectator SP2, meanwhile, is placed in a so-called interaction mode. The fact that SP2 is in an interaction mode can take place after a virtual visit by the spectator SP2 of the place 100, a visit similar to that carried out by the spectator SP1. The viewer SP2 has the terminal 107 which is a portable computer, but the invention can be applied to any type of terminal, such as for example a computer of the workstation type. It can also be a tablet type computer. It can also be a mobile phone with computing capabilities such as a ordiphone (for smartphone in English) or a phablet (for phablet in English), namely an intermediate terminal between a ordiphone and a tablet in regarding screen size. The viewer SP2 also has a camera 106, for example of the webcam type, but which can be any type of camera, integrated or not in the terminal 107.

Le spectateur SP2 est placé dans un mode d’interaction avec le correspondant COR qui est filmé dans le lieu 100 par la caméra 105. Un flux audiovisuel de type point à point est établi entre la caméra 105 d’une part et la caméra 106 et le terminal 107 du spectateur SP2 d’autre part. Ce flux est porté par le réseau de communication INT, ici le réseau Internet. Tout type de réseau de communication peut être envisagé entre le lieu 100 et le terminal 107 du spectateur SP2, par exemple une liaison privée, de type WAN (pourWide Area Networken anglais) ou bien un réseau local LAN (pourLocal Area Networken anglais) si le spectateur SP2 est proche du lieu 100. Par contre, la communication point à point entre le correspondant COR et le spectateur SP2 ne peut pas passer par le réseau de diffusion de contenu CDN car celui-ci introduirait une trop forte latence, préjudiciable à la communication.The viewer SP2 is placed in a mode of interaction with the correspondent COR who is filmed in the place 100 by the camera 105. A point-to-point type audiovisual stream is established between the camera 105 on the one hand and the camera 106 and the terminal 107 of the viewer SP2 on the other hand. This flow is carried by the communication network INT, here the Internet network. Any type of communication network can be envisaged between the place 100 and the terminal 107 of the viewer SP2, for example a private link, of the WAN type (for Wide Area Network in English) or else a local network LAN (for Local Area Network in English). English) if the viewer SP2 is close to location 100. On the other hand, the point-to-point communication between the correspondent COR and the viewer SP2 cannot go through the CDN content delivery network because this would introduce too much latency, detrimental to communication.

Dans un mode de réalisation particulier de l’invention, le module de sélection 203 des flux de débit variable ré-encodés par le serveur SRV va mettre en œuvre une sélection suivant la distance entre la position virtuelle du spectateur SP1 dans la restitution du lieu 100 sur le terminal 108 et la position virtuelle de l’espace filmé par une des caméras 101, 102, 103 et 104, à savoir que la sélection va consister à prendre le flux de débit le plus faible plus la position virtuelle du spectateur SP1 est éloignée de la position virtuelle de l’espace filmé. Dans l’exemple illustré par la , on voit que l’entité de gestion 200 a sélectionné pour le flux issu de la caméra 101 un flux ré-encodé par le serveur SRV de débit plus important que pour le flux issu de la caméra 104 ré-encodé par le serveur SRV, ce qui est traduit graphiquement par un trait plus épais. Cela traduit que, dans la restitution virtuelle du lieu 100 sur le terminal 108, le spectateur SP1 est plus proche de l’espace filmé par la caméra 101 que de l’espace filmé par la caméra 103.In a particular embodiment of the invention, the selection module 203 of the variable bit rate streams re-encoded by the server SRV will implement a selection according to the distance between the virtual position of the spectator SP1 in the restitution of the place 100 on the terminal 108 and the virtual position of the space filmed by one of the cameras 101, 102, 103 and 104, namely that the selection will consist of taking the lowest bit rate stream the further the virtual position of the spectator SP1 is of the virtual position of the filmed space. In the example illustrated by the , we see that the management entity 200 has selected for the stream from the camera 101 a stream re-encoded by the SRV server with a higher bit rate than for the stream from the camera 104 re-encoded by the SRV server, which is graphically translated by a thicker line. This translates that, in the virtual restitution of the place 100 on the terminal 108, the spectator SP1 is closer to the space filmed by the camera 101 than to the space filmed by the camera 103.

Par ailleurs, aucun flux ré-encodé par le serveur SRV à partir du flux filmé par la caméra 102 n’est sélectionné par le module de sélection 203 de l’entité de gestion. Cela traduit le fait que l’espace filmé par la caméra 102 n’est pas visible pour le spectateur SP1 dans la restitution virtuelle du lieu 100 sur le terminal 108.Furthermore, no stream re-encoded by the server SRV from the stream filmed by the camera 102 is selected by the selection module 203 of the management entity. This reflects the fact that the space filmed by the camera 102 is not visible to the viewer SP1 in the virtual restitution of the place 100 on the terminal 108.

L’avantage clair de l’invention est ici l’optimisation de la diffusion des flux audio-visuels. En effet, seuls les flux nécessaires à la restitution du 100 sont diffusés via le réseau de communication INT et le réseau de diffusion de contenu CDN, ce qui permet d’éviter une saturation des réseaux. L’utilisation du réseau de diffusion de contenu CDN est particulièrement adaptée à ce contexte.The clear advantage of the invention here is the optimization of the broadcasting of audio-visual streams. Indeed, only the streams necessary for the restitution of the 100 are broadcast via the INT communication network and the CDN content distribution network, which makes it possible to avoid network saturation. The use of the CDN content delivery network is particularly suited to this context.

Comme déjà vu, l’invention comprend la possibilité de passer dans un mode dit d’interaction. La montre que le terminal 107 du spectateur SP2 est passé dans un tel mode d’interaction avec la caméra 105 situé dans le lieu 100, caméra qui filme un espace où se trouve un correspondant COR.As already seen, the invention includes the possibility of switching to a so-called interaction mode. The shows that the terminal 107 of the spectator SP2 has passed into such a mode of interaction with the camera 105 located in the place 100, a camera which films a space where a correspondent COR is located.

Le passage d’une visite virtuelle du lieu 100 au mode dit d’interaction s’effectue, dans un mode de réalisation, suite à une requête du terminal 107 d’un spectateur SP2. Dans un mode de réalisation, cette requête consiste en un pointage dans la restitution virtuelle du lieu 100 de l’espace filmé par la caméra 105. Ce pointage peut être en particulier réalisé par le spectateur SP2. Dans ce mode de réalisation, le spectateur SP2 décide au cours de sa visite virtuelle du lieu 100 de passer dans un mode d’interaction, par exemple car il veut entrer en communication avec un correspondant COR qui se trouve dans l’espace filmé par la caméra 105.The transition from a virtual visit of the place 100 to the so-called interaction mode takes place, in one embodiment, following a request from the terminal 107 of a viewer SP2. In one embodiment, this request consists of a pointing in the virtual restitution of the place 100 of the space filmed by the camera 105. This pointing can in particular be carried out by the viewer SP2. In this embodiment, the spectator SP2 decides during his virtual visit of the place 100 to switch to an interaction mode, for example because he wants to enter into communication with a correspondent COR who is in the space filmed by the camera 105.

Bien sûr, cet exemple n’est pas limitatif. Dans un autre mode de réalisation, le passage dans un mode d’interaction est programmé pour avoir lieu à une date et heure précise. Ce passage peut être programmé par le spectateur SP2 ou bien par le correspondant COR. Dans un contexte où le lieu 100 est par exemple un salon commercial, on peut avoir soit le spectateur SP2 qui programme une série de visites virtuelles de stands différents, ou bien le correspondant COR, qui est en charge d’un stand dans le lieu 100 qui programme une série de rendez-vous virtuels avec une série de prospects commerciaux.Of course, this example is not limiting. In another embodiment, switching to an interaction mode is programmed to take place at a specific date and time. This passage can be programmed by the viewer SP2 or else by the correspondent COR. In a context where the place 100 is for example a trade show, one can have either the spectator SP2 who programs a series of virtual visits of different stands, or the correspondent COR, who is in charge of a stand in the place 100 which schedules a series of virtual meetings with a series of business prospects.

Dans tous les cas, le passage dans un mode d’interaction implique que l’ensemble des flux qui ne sont pas issus de la caméra 105 avec laquelle est établie la communication point à point ne sont plus sélectionnés par l’entité de gestion 200 et adressés au terminal 107 du spectateur SP2. Par ailleurs, le flux qui sert à la communication point à point entre la caméra 105 et le terminal 107 du spectateur SP2 ainsi que la caméra 106 ne doit plus passer par le réseau de diffusion de contenu CDN car ce type de réseau introduit une latence préjudiciable à une communication temps réel. Par contre, le flux en question passe toujours par le réseau de communication INT.In all cases, switching to an interaction mode implies that all of the streams which do not come from the camera 105 with which the point-to-point communication is established are no longer selected by the management entity 200 and addressed to the terminal 107 of the viewer SP2. Furthermore, the stream that is used for point-to-point communication between the camera 105 and the terminal 107 of the viewer SP2 as well as the camera 106 must no longer go through the content distribution network CDN because this type of network introduces a detrimental latency. to real-time communication. On the other hand, the flow in question always passes through the communication network INT.

Ce mode de réalisation n’est bien sûr pas limitatif. Il est par exemple possible que la restitution virtuelle du lieu 100 sur le terminal 107 du spectateur SP2 continue, par exemple dans une fenêtre plus petite de son écran, alors qu’il est par ailleurs en communication point à point avec le correspondant COR filmé par la caméra 105. L’avantage de ce mode de réalisation est de conserver une vue sur les événements qui prennent place ailleurs dans le lieu 100. Dans ce cas, les autres flux que le flux servant à la communication point à point avec la caméra 105 restent bien sûr sélectionnés par l’entité de gestion 200 suivant la position virtuelle du spectateur SP2 dans la restitution du lieu 100.This embodiment is of course not limiting. It is for example possible that the virtual restitution of the place 100 on the terminal 107 of the viewer SP2 continues, for example in a smaller window of his screen, while he is otherwise in point-to-point communication with the correspondent COR filmed by the camera 105. The advantage of this embodiment is to keep a view of the events that take place elsewhere in the place 100. In this case, the streams other than the stream used for point-to-point communication with the camera 105 remain of course selected by the management entity 200 according to the virtual position of the spectator SP2 in the restitution of the place 100.

Dans un mode de réalisation, l’entité de gestion 200 fait partie du terminal 108 sur lequel est restitué virtuellement le lieu 100. L’avantage de ce mode de réalisation est de réaliser une intégration forte entre le terminal 108 sur lequel est restitué le lieu 100 et l’entité de gestion 200 qui implémente le procédé de restitution.In one embodiment, the management entity 200 is part of the terminal 108 on which the location 100 is virtually rendered. The advantage of this embodiment is to achieve strong integration between the terminal 108 on which the location is rendered 100 and the management entity 200 which implements the restitution method.

Comme déjà précisé, le terminal peut être tout type de terminal, comme par exemple un terminal 108 permettant d’offrir au spectateur SP1 une expérience immersive, dite de réalité virtuelle, mais aussi par exemple un ordinateur personnel, de type station de travail (non représenté sur la ) ou bien ordinateur portable 107. Il peut également s’agir d’un ordinateur de type tablette (non représenté sur la ). Il peut également s’agir d’un téléphone portable disposant de capacités de calcul comme par exemple un ordiphone (poursmartphoneen anglais), non représenté sur la , ou bien une phablette (pourphableten anglais), non représenté sur la , à savoir un terminal intermédiaire entre un ordiphone et une tablette en ce qui concerne la taille d’écran. Le spectateur SP2 peut également avoir accès à une caméra 106, par exemple de type webcaméra ou tout autre type de caméra, cette caméra étant ou non intégrée dans le terminal 107 ou 108 du spectateur SP1 ou SP2.As already specified, the terminal can be any type of terminal, such as for example a terminal 108 making it possible to offer the spectator SP1 an immersive experience, called virtual reality, but also for example a personal computer, of the workstation type (not represented on the ) or laptop computer 107. It can also be a tablet-type computer (not shown in the figure). ). It can also be a mobile phone with computing capabilities such as a smartphone (for smartphone in English), not shown in the figure. , or a phablet (for phablet in English), not represented on the , namely an intermediate terminal between a smartphone and a tablet in terms of screen size. The viewer SP2 can also have access to a camera 106, for example of the webcam type or any other type of camera, this camera being or not integrated into the terminal 107 or 108 of the viewer SP1 or SP2.

Dans un autre mode de réalisation, l’entité de gestion 200 est comprise dans un serveur non représenté sur la . L’entité de gestion 200 va alors communiquer avec le terminal 108 via une liaison de communication (non représentée sur la ) qui peut utiliser par exemple le réseau INT. L’avantage de ce mode est de séparer l’entité 200 implémentant le procédé de restitution du terminal 108 sur lequel est effectuée la restitution virtuelle du lieu 100. Un serveur peut regrouper une ou des entités de gestion 200 qui vont implémenter le procédé de restitution sur plusieurs terminaux de spectateurs, à savoir 107 et 108 dans la . Le serveur peut être un serveur matériel déployé dans le lieu d’exposition 100 ou bien au contraire à proximité des terminaux de spectateurs 107 et 108. Le serveur peut également être un serveur virtuel, déployé dans une infrastructure d’informatique en nuage (pourcloud computingen anglais).In another embodiment, the management entity 200 is included in a server not represented on the . The management entity 200 will then communicate with the terminal 108 via a communication link (not represented on the ) which can use for example the INT network. The advantage of this mode is to separate the entity 200 implementing the restitution method from the terminal 108 on which the virtual restitution of the place 100 is carried out. A server can group together one or more management entities 200 which will implement the restitution method on several spectator terminals, namely 107 and 108 in the . The server can be a hardware server deployed in the exhibition space 100 or on the contrary near the spectator terminals 107 and 108. The server can also be a virtual server, deployed in a cloud computing infrastructure (for cloud computing in English).

La illustre une manière dont un espace distinct du lieu 100 peut être restitué sur le terminal 108 du spectateur SP1. Dans ce mode de réalisation, l’espace filmé est restitué sous forme d’une brique tri-dimensionnelle.The illustrates a way in which a space distinct from the place 100 can be rendered on the terminal 108 of the spectator SP1. In this embodiment, the filmed space is restored in the form of a three-dimensional brick.

Dans le cas illustré, le lieu 100 est un salon commercial et les espaces filmés sont différents stands d’exposition commerciaux. Cet exemple n’est en aucun cas limitatif du mode de réalisation qui est illustré en . Le lieu 100 peut aussi bien être un musée et les espaces filmés des salles particulières, ou tout autre exemple de lieu 100 séparé en espaces distincts.In the case illustrated, the location 100 is a trade show and the spaces filmed are various commercial exhibition stands. This example is in no way limiting of the embodiment which is illustrated in . The place 100 can equally well be a museum and the filmed spaces of the particular rooms, or any other example of a place 100 separated into distinct spaces.

Dans le mode de réalisation, l’espace est filmé horizontalement par une caméra placée à hauteur d’homme, comme le montre l’image LIV dans la partie gauche de la . Comme déjà indiqué, l’espace est un stand d’exposition commercial. En plus du flux audio-visuel LIV, l’exposant responsable du stand doit prévoir deux images supplémentaires qui peuvent être un texte MSG1 ou bien une photographie MSG2. Un plus petit ou plus grand nombre d’images peuvent être fournies par l’exposant sachant que le procédé de restitution complètera les manques avec des images par défaut. Ces images peuvent être par exemple des messages publicitaires dans un contexte commercial ou tout autre message. D’autres choix d’images peuvent être faits, comme une image animée, ou un flux audio-visuel.In the embodiment, the space is filmed horizontally by a camera placed at human height, as shown in the LIV image in the left part of the . As already indicated, the space is a commercial exhibition stand. In addition to the LIV audio-visual stream, the exhibitor responsible for the stand must provide two additional images which may be a text MSG1 or a photograph MSG2. A smaller or larger number of images can be provided by the exhibitor knowing that the restitution process will fill in the gaps with default images. These images can be, for example, advertising messages in a commercial context or any other message. Other choices of images can be made, such as an animated image, or an audio-visual stream.

A partir du flux audio-visuel LIV et des images MSG1 et MSG2, le terminal 108 du spectateur SP1 va construire l’image d’une brique tri-dimensionnelle, restituée sur le terminal. Le flux LIV est utilisé pour restituer le plus long côté de la brique tri-dimensionnelle, pour donner l’impression d’un stand d’exposition. D’autres géométries de restitution sont possibles. L’entité de gestion 200 sélectionne la qualité et donc le débit du flux audio-visuel LIV en fonction de la distance virtuelle du spectateur SP1 avec la restitution virtuelle de l’espace filmé en brique tri-dimensionnelle.From the audio-visual stream LIV and the images MSG1 and MSG2, the terminal 108 of the spectator SP1 will construct the image of a three-dimensional brick, restored on the terminal. The LIV flux is used to render the longest side of the three-dimensional brick, to give the impression of an exhibition stand. Other restitution geometries are possible. The management entity 200 selects the quality and therefore the bit rate of the audio-visual stream LIV according to the virtual distance of the spectator SP1 with the virtual restitution of the filmed space in three-dimensional brick.

La illustre une manière dont le lieu 100 peut être restitué à partir de la restitution d’espaces distincts sous la forme de briques tri-dimensionnelles comme illustré par la .The illustrates a way in which the place 100 can be rendered from the rendering of distinct spaces in the form of three-dimensional bricks as illustrated by the .

Les briques tri-dimensionnelles sont placées dans la restitution virtuelle du lieu 100 de la même manière que les stands commerciaux d’exposition ou espaces distincts filmés correspondants sont placés dans le lieu 100. La restitution virtuelle du lieu 100 est alors une image en perspective du survol par le spectateur SP1 du lieu 100, dans lequel les espaces distincts filmés sont restitués par une brique tri-dimensionnelle. L’interaction du spectateur SP1 avec le terminal 108 va lui permettre de se déplacer virtuellement dans la restitution virtuelle du lieu 100. L’entité de gestion 200 va sélectionner les flux LIV permettant de construire les briques tri-dimensionnelles en fonction de la distance entre la position virtuelle du spectateur SP1 et la restitution sous forme de brique tri-dimensionnelle de l’espace filmé par le flux LIV.The three-dimensional bricks are placed in the virtual restitution of the place 100 in the same way as the corresponding commercial exhibition stands or distinct filmed spaces are placed in the place 100. The virtual restitution of the place 100 is then a perspective image of the overview by the spectator SP1 of place 100, in which the distinct spaces filmed are restored by a three-dimensional brick. The interaction of the viewer SP1 with the terminal 108 will enable him to move virtually in the virtual restitution of the place 100. The management entity 200 will select the LIV streams making it possible to build the three-dimensional bricks according to the distance between the virtual position of the spectator SP1 and the restitution in the form of a three-dimensional brick of the space filmed by the LIV stream.

La illustre une autre manière dont le lieu 100 peut être restitué à partir de la restitution d’espaces distincts sous la forme de briques tri-dimensionnelles comme illustré par la .The illustrates another way in which the place 100 can be rendered from the rendering of distinct spaces in the form of three-dimensional bricks as illustrated by the .

Les briques tri-dimensionnelles sont placées dans la restitution virtuelle du lieu 100 de la même manière que les stands commerciaux d’exposition ou espaces distincts filmés correspondants sont placés dans le lieu 100. La restitution virtuelle du lieu 100 est alors une image en perspective dans laquelle le spectateur SP1 est placé à hauteur d’homme et explore le lieu 100, dans lequel les espaces distincts filmés sont restitués par une brique tri-dimensionnelle. L’interaction du spectateur SP1 avec le terminal 108 va lui permettre de se déplacer virtuellement dans la restitution virtuelle du lieu 100, en restant à hauteur d’homme, comme s’il réalisait une marche virtuelle. Comme dans les autres modes de réalisation, l’entité de gestion 200 va sélectionner les flux LIV permettant de construire les briques tri-dimensionnelles en fonction de la distance entre la position virtuelle du spectateur SP1 et la restitution sous forme de brique tri-dimensionnelle de l’espace filmé par le flux LIV.The three-dimensional bricks are placed in the virtual restitution of the place 100 in the same way as the commercial exhibition stands or corresponding filmed distinct spaces are placed in the place 100. The virtual restitution of the place 100 is then a perspective image in in which the spectator SP1 is placed at the height of a man and explores the place 100, in which the distinct spaces filmed are restored by a three-dimensional brick. The interaction of the spectator SP1 with the terminal 108 will allow him to move virtually in the virtual restitution of the place 100, while remaining at eye level, as if he were performing a virtual walk. As in the other embodiments, the management entity 200 will select the LIV streams making it possible to construct the three-dimensional bricks according to the distance between the virtual position of the viewer SP1 and the restitution in the form of a three-dimensional brick of space filmed by the LIV stream.

Dans d’autres modes de réalisation possibles, les briques tri-dimensionnelles correspondant à des espaces filmés ne vont pas être placés dans la restitution virtuelle du lieu 100 de la même manière que les espaces filmés sont situés dans le lieu 100.In other possible embodiments, the three-dimensional bricks corresponding to filmed spaces will not be placed in the virtual restitution of location 100 in the same way as the filmed spaces are located in location 100.

Par exemple, dans un mode de réalisation, cela peut être le spectateur SP1 qui choisisse les espaces qu’il souhaite voir restitués dans la restitution virtuelle du lieu 100 sur le terminal 108. Dans ce mode de réalisation, le spectateur SP1 peut organiser les briques tri-dimensionnelles qui restituent des espaces filmés sans lien avec la situation des espaces filmés dans le lieu 100.For example, in one embodiment, this may be the viewer SP1 who chooses the spaces he wishes to see rendered in the virtual rendering of the place 100 on the terminal 108. In this embodiment, the viewer SP1 can organize the bricks three-dimensional images that restore filmed spaces unrelated to the situation of the filmed spaces in location 100.

Dans un autre mode de réalisation, la disposition des briques tri-dimensionnelles correspond à des rendez-vous pris par le spectateur SP1 avec des correspondants COR situés dans des espaces distincts filmés du lieu 100. Le spectateur SP1 peut avoir programmé une série de visites virtuelles et de rencontres avec des correspondants COR. Les rencontres entre le spectateur SP1 et ces correspondants Cor se passeront dans le mode dit d’interaction. Pour passer d’un rendez-vous à l’autre, le spectateur SP1 se déplacera dans la restitution virtuelle du lieu 100, dans laquelle les briques tri-dimensionnelles correspondant aux espaces distincts filmés où se situent les correspondants COR avec qui le spectateur SP1 a rendez-vous sont placés suivant une disposition cohérente avec la succession des rendez-vous et non pas suivant la disposition réelle des espaces distincts filmés dans le lieu 100.In another embodiment, the layout of the three-dimensional bricks corresponds to appointments made by the viewer SP1 with correspondents COR located in separate filmed spaces of the location 100. The viewer SP1 may have programmed a series of virtual visits and meetings with COR correspondents. The encounters between the spectator SP1 and these Cor correspondents will take place in the so-called interaction mode. To move from one meeting to another, the viewer SP1 will move around in the virtual rendering of location 100, in which the three-dimensional bricks corresponding to the distinct filmed spaces where the correspondents COR with whom the viewer SP1 has appointments are placed according to a layout consistent with the succession of appointments and not according to the actual layout of the distinct spaces filmed in location 100.

La illustre un mode de réalisation possible de l’invention pour ce qui concerne l’interface homme-machine mise à disposition d’une part des spectateurs SP1, SP2, SP3, SP4, SP5, SP6 et SP7, et d’autre part du correspondant COR qui se situe dans un espace distinct du lieu 100 et est filmé par la caméra 101. Le correspondant COR est dans un mode d’interaction avec le spectateur SP1. Cela implique que le flux de communication entre COR et SP1 est un flux audio-visuel AV afin que COR et SP1 puissent communiquer oralement. A contrario, les spectateurs SP2, SP3, SP4, SP5, SP6 et SP7 réalisent une visite virtuelle et se trouvent proches dans leur restitution virtuelle de l’espace distinct du lieu 100 dans lequel se situe le correspondant COR filmé par la caméra 101. Pour les spectateurs SP2, SP3, SP4, SP5, SP6 et SP7, le flux reçu VID est seulement vidéo, sans audio, pour préserver la confidentialité des échanges entre COR et SP1. Dans un mode de réalisation, le choix de restreindre ou pas le flux audio-visuel issu de la caméra 101 qui filme l’espace distinct du lieu 100 dans lequel se situe le correspondant COR est effectué par ledit correspondant COR ou par une personne en charge dudit espace.The illustrates a possible embodiment of the invention as regards the man-machine interface made available on the one hand to the spectators SP1, SP2, SP3, SP4, SP5, SP6 and SP7, and on the other hand to the correspondent COR which is located in a space separate from the place 100 and is filmed by the camera 101. The correspondent COR is in a mode of interaction with the viewer SP1. This implies that the communication stream between COR and SP1 is an AV audio-visual stream so that COR and SP1 can communicate orally. Conversely, the spectators SP2, SP3, SP4, SP5, SP6 and SP7 take a virtual tour and find themselves close in their virtual restitution to the space distinct from the place 100 in which the correspondent COR filmed by the camera 101 is located. viewers SP2, SP3, SP4, SP5, SP6 and SP7, the stream received VID is only video, without audio, to preserve the confidentiality of exchanges between COR and SP1. In one embodiment, the choice of whether or not to restrict the audio-visual stream from the camera 101 which films the space distinct from the place 100 in which the COR correspondent is located is made by said COR correspondent or by a person in charge of said space.

Dans le mode de réalisation illustré par la , les spectateurs SP1, SP2, SP3, SP4, SP5, SP6 et SP7, la restitution virtuelle du lieu 100 se limite à un flux capté par la caméra 101, que ce flux soit audio-visuel AV ou vidéo seulement VID, suite à un placement des positions virtuelles des spectateurs SP1, SP2, SP3, SP4, SP5, SP6 et SP7 dans la restitution virtuelle du lieu 100 en proximité maximale de la restitution virtuelle de l’espace filmé par la caméra 101.In the embodiment illustrated by the , the spectators SP1, SP2, SP3, SP4, SP5, SP6 and SP7, the virtual restitution of the place 100 is limited to a stream captured by the camera 101, whether this stream is audio-visual AV or video only VID, following a placement of the virtual positions of the spectators SP1, SP2, SP3, SP4, SP5, SP6 and SP7 in the virtual restitution of the place 100 in maximum proximity to the virtual restitution of the space filmed by the camera 101.

Dans un mode de réalisation toujours illustré par la , les spectateurs SP1, SP2, SP3, SP4, SP5, SP6 et SP7 sont filmés par une caméra, par exemple une web-caméra comme la caméra 106 de la . Les spectateurs SP1, SP2, SP3, SP4, SP5, SP6 et SP7 disposent dans leur interface homme-machine d’un retour leur indiquant l’image filmée par leur caméra dans le coin supérieur droit de l’écran. Dans ce mode de réalisation toujours, le correspondant COR est informé sur une interface homme-machine illustrée dans la partie droite de la que les spectateurs SP1, SP2, SP3, SP4, SP5, SP6 et SP7 se trouvent en position virtuelle très proches de la restitution virtuelle de l’espace distinct du lieu 100 filmé par la caméra 101 dans lequel se situe le correspondant COR, cette information étant donnée par le retour des caméras qui filment les spectateurs SP1, SP2, SP3, SP4, SP5, SP6 et SP7 dans l’interface homme-machine du correspondant COR. Dans un autre mode de réalisation, les spectateurs qui ne sont pas filmés par des caméras sont représentés par des images par défaut ou avatars à leur choix.In one embodiment still illustrated by the , the spectators SP1, SP2, SP3, SP4, SP5, SP6 and SP7 are filmed by a camera, for example a web camera like the camera 106 of the . Spectators SP1, SP2, SP3, SP4, SP5, SP6 and SP7 have feedback in their man-machine interface indicating to them the image filmed by their camera in the upper right corner of the screen. Still in this embodiment, the correspondent COR is informed on a man-machine interface illustrated in the right part of the that the spectators SP1, SP2, SP3, SP4, SP5, SP6 and SP7 are in a virtual position very close to the virtual restitution of the space distinct from the place 100 filmed by the camera 101 in which the correspondent COR is located, this information being given by the return of the cameras which film the spectators SP1, SP2, SP3, SP4, SP5, SP6 and SP7 in the man-machine interface of the correspondent COR. In another embodiment, the spectators who are not filmed by cameras are represented by default images or avatars of their choice.

Dans un mode de réalisation toujours illustré par la , le correspondant COR dispose d’un terminal (non représenté sur la figure) et une requête dudit terminal permet le passage dans un mode dit d’interaction avec un spectateur dont la position virtuelle dans la restitution du lieu 100 est très proche de l’espace distinct du lieu 100 filmé par la caméra 101 dans lequel se situe le correspondant COR, et la dite requête est transmise suite à un pointage dans l’interface homme-machine du correspondant COR vers une image d’un spectateur.In one embodiment still illustrated by the , the correspondent COR has a terminal (not shown in the figure) and a request from said terminal allows passage into a so-called mode of interaction with a spectator whose virtual position in the restitution of the place 100 is very close to the space distinct from the place 100 filmed by the camera 101 in which the correspondent COR is located, and the said request is transmitted following a pointing in the man-machine interface of the correspondent COR towards an image of a spectator.

Dans un mode de réalisation toujours illustré par la , l’interface homme-machine mise à disposition du correspondant COR met en avant le spectateur SP1 qui est en mode d’interaction avec le correspondant COR. Dans la , cette mise en avant est illustrée par un cadre épais autour de l’image filmée du spectateur SP1 dans l’interface homme-machine, mais tout autre mode de représentation graphique est possible.In one embodiment still illustrated by the , the man-machine interface made available to the correspondent COR highlights the viewer SP1 who is in interaction mode with the correspondent COR. In the , this highlighting is illustrated by a thick frame around the filmed image of the spectator SP1 in the man-machine interface, but any other mode of graphic representation is possible.

Signalons enfin ici que, dans le présent texte, le terme « module » peut correspondre aussi bien à un composant logiciel qu’à un composant matériel ou un ensemble de composants matériels et logiciels, un composant logiciel correspondant lui-même à un ou plusieurs programmes ou sous-programmes d’ordinateur ou de manière plus générale à tout élément d’un programme apte à mettre en œuvre une fonction ou un ensemble de fonctions telles que décrites pour les modules concernés. De la même manière, un composant matériel correspond à tout élément d’un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions pour le module concerné (circuit intégré, carte à puce, carte à mémoire, etc.).Finally, let us point out here that, in this text, the term "module" can correspond either to a software component or to a hardware component or a set of hardware and software components, a software component itself corresponding to one or more programs or computer sub-programs or more generally to any element of a program capable of implementing a function or a set of functions as described for the modules concerned. In the same way, a hardware component corresponds to any element of a hardware (or hardware) assembly capable of implementing a function or a set of functions for the module concerned (integrated circuit, smart card, memory card, etc. .).

Claims (11)

Procédé de restitution, sur un terminal (108) d'un spectateur (SP1), d'un lieu (100) dans lequel le spectateur (SP1) se déplace virtuellement, le lieu (100) regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras respectives (101, 102, 103, 104), ledit procédé étant caractérisé en ce qu'il comprend les phases suivantes implémentées par une entité de gestion (200) :
  • une phase d'obtention de la description de différentes qualités de flux audiovisuels filmés dans les différents espaces, les différents flux étant ré-encodés par un ou des serveurs (SRV) dans des formats variables nécessitant un débit plus ou moins important ;
  • une phase de récupération de la position virtuelle du spectateur (SP1) dans la restitution du lieu (100), cette position virtuelle étant déterminée par les interactions du spectateur (SP1) avec la restitution du lieu (100) sur le terminal (108) ;
  • une phase de sélection des flux reçus de manière à ce que pour un espace donné, à un moment donné, l'entité de gestion (200) demande à recevoir un seul flux audiovisuel de format variable parmi les flux audiovisuels disponibles dont la description est obtenue en phase d'obtention, la sélection du flux parmi les flux disponibles pour un espace donné étant fonction de la distance entre d'une part la position virtuelle du spectateur (SP1) au moment donné dans la restitution virtuelle du lieu (100), position récupérée en phase de récupération, et d'autre part la position virtuelle de l'espace donné dans le lieu (100) ; et,
  • une phase de demande de restitution du lieu (100) sur le terminal (108) du spectateur (SP1), en utilisant les flux audiovisuels sélectionnés dans la phase de sélection pour représenter les espaces distincts filmés dans le lieu (100).
Method for rendering, on a terminal (108) of a spectator (SP1), a place (100) in which the spectator (SP1) moves virtually, the place (100) grouping together several distinct spaces, the spaces being filmed by respective cameras (101, 102, 103, 104), said method being characterized in that it comprises the following phases implemented by a management entity (200):
  • a phase of obtaining the description of different qualities of audiovisual streams filmed in the different spaces, the different streams being re-encoded by one or more servers (SRV) in variable formats requiring a greater or lesser bit rate;
  • a phase of recovering the virtual position of the spectator (SP1) in the restitution of the place (100), this virtual position being determined by the interactions of the spectator (SP1) with the restitution of the place (100) on the terminal (108);
  • a phase of selecting the streams received so that for a given space, at a given time, the management entity (200) requests to receive a single audiovisual stream of variable format from among the available audiovisual streams whose description is obtained in the obtaining phase, the selection of the stream from among the streams available for a given space being a function of the distance between, on the one hand, the virtual position of the spectator (SP1) at the given moment in the virtual restitution of the place (100), position recovered in the recovery phase, and on the other hand the virtual position of the given space in the place (100); and,
  • a phase of requesting restitution of the place (100) on the terminal (108) of the viewer (SP1), using the audiovisual streams selected in the selection phase to represent the distinct spaces filmed in the place (100).
Procédé de restitution selon la revendication 1, caractérisé en ce que la sélection parmi les flux de débit variable ré-encodés à partir du flux produit par une caméra (101, 102, 103, 104) filmant un espace donné consiste à prendre le flux de débit le plus faible lorsqu'un spectateur (SP1) est le plus éloigné dans la restitution virtuelle de l'espace filmé, et à prendre des flux de débit de plus en plus élevé au fur et à mesure qu'un spectateur (SP1) se rapproche dans la restitution virtuelle de l'espace filmé.Restitution method according to Claim 1, characterized in that the selection among the re-encoded variable bit rate streams from the stream produced by a camera (101, 102, 103, 104) filming a given space consists in taking the stream of lowest bit rate when a spectator (SP1) is furthest away in the virtual restitution of the filmed space, and to take increasingly high bit rate streams as a spectator (SP1) brings closer in the virtual restitution of the filmed space. Procédé de restitution selon les revendications 1 à 2, caractérisé en ce que la diffusion des flux de débit variable entre, d'une part, le ou les serveurs (SRV) qui ont ré-encodé les flux de débit variable, et, d'autre part, les terminaux (108) des spectateurs (SP1), mette en œuvre un réseau de diffusion de contenu (CDN), également dénommé CDN (pour Content Delivery Network en anglais).Restitution method according to Claims 1 to 2, characterized in that the broadcasting of the variable bit rate streams between, on the one hand, the server or servers (SRV) which have re-encoded the variable bit rate streams, and, on the other hand, on the other hand, the terminals (108) of the spectators (SP1), implement a content distribution network (CDN), also called CDN (for Content Delivery Network in English). Procédé de restitution selon les revendications 1 à 3, caractérisé en ce qu'il comprend sur requête du terminal (107) d’un spectateur (SP2), un passage dans un mode dit d'interaction, dans lequel une communication audiovisuelle directe est établie entre d'une part le dit terminal (107) d'un spectateur (SP2) et d'autre part une caméra (105) filmant un espace distinct du lieu (100), la communication utilisant un seul des flux diffusés depuis le lieu (100).Restitution method according to Claims 1 to 3, characterized in that it comprises, at the request of the terminal (107) of a viewer (SP2), a passage into a so-called interaction mode, in which a direct audiovisual communication is established between on the one hand said terminal (107) of a spectator (SP2) and on the other hand a camera (105) filming a space separate from the place (100), the communication using only one of the streams broadcast from the place ( 100). Procédé de restitution selon la revendication 4, caractérisé en ce que la requête est transmise suite à pointage dans la restitution virtuelle du lieu (100) de la partie correspondant au flux issu d'une caméra (105) filmant un espace distinct et en ce que ce pointage déclenche d'une part une transmission d’une demande de coupure des flux de débit variable diffusés vers le terminal (107) du spectateur (SP2) par le réseau de diffusion de contenu (CDN) et d'autre part une demande d’'établissement d'une communication audiovisuelle en temps réel entre le terminal (107) du spectateur (SP2) et la caméra (105) qui filme l'espace distinct pointé lors du dit pointage.Restitution method according to Claim 4, characterized in that the request is transmitted following pointing in the virtual restitution of the place (100) of the part corresponding to the stream coming from a camera (105) filming a distinct space and in that this score triggers on the one hand a transmission of a request to cut the variable bit rate streams broadcast to the terminal (107) of the viewer (SP2) by the content delivery network (CDN) and on the other hand a request to ''establishment of an audiovisual communication in real time between the terminal (107) of the spectator (SP2) and the camera (105) which films the distinct space pointed to during said pointing. Procédé de restitution selon la revendication 4, caractérisé en ce que la transmission de la requête est programmée pour avoir lieu à une date et heure donnée.Restitution method according to Claim 4, characterized in that the transmission of the request is programmed to take place at a given date and time. Entité de gestion (200) implémentant un procédé de restitution sur un terminal (108) d'un spectateur (SP1) d'un lieu (100) dans lequel le spectateur (SP1) se déplace virtuellement, le lieu (100) regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras respectives (101, 102, 103, 104), ladite entité (200) comprenant les modules suivants :
  • un module (201) d'obtention de la description de différentes qualités de flux audiovisuels filmés dans les différents espaces, les différents flux étant ré-encodés par un ou des serveurs (SRV) dans des formats variables nécessitant un débit plus ou moins important ;
  • un module (202) de récupération de la position virtuelle du spectateur (SP1) dans la restitution du lieu (100), cette position virtuelle étant déterminée par les interactions du spectateur (SP1) avec la restitution du lieu (100) sur le terminal (108) ;
  • un module (203) de sélection des flux reçus de manière à ce que pour un espace donné, à un moment donné, l'entité de gestion (200) demande à recevoir un seul flux audiovisuel de format variable parmi les flux audiovisuels disponibles dont la description est obtenue par le module d'obtention (201), la sélection du flux parmi les flux disponibles pour un espace donné étant fonction de la distance entre d'une part la position virtuelle du spectateur (SP1) au moment donné dans la restitution virtuelle du lieu (100), position récupérée par le module de récupération (202), et d'autre part la position virtuelle de l'espace donné dans le lieu (100) ; et,
  • un module (204) de demande de restitution du lieu (100) sur le terminal du spectateur (SP1), en utilisant les flux audiovisuels sélectionnés par le module de sélection (203) pour représenter les espaces distincts filmés dans le lieu (100).
Management entity (200) implementing a method for rendering on a terminal (108) of a spectator (SP1) a place (100) in which the spectator (SP1) moves virtually, the place (100) grouping together several spaces distinct, the spaces being filmed by respective cameras (101, 102, 103, 104), said entity (200) comprising the following modules:
  • a module (201) for obtaining the description of different qualities of audiovisual streams filmed in the different spaces, the different streams being re-encoded by one or more servers (SRV) in variable formats requiring a greater or lesser bit rate;
  • a module (202) for recovering the virtual position of the spectator (SP1) in the restitution of the place (100), this virtual position being determined by the interactions of the spectator (SP1) with the restitution of the place (100) on the terminal ( 108);
  • a module (203) for selecting the streams received so that for a given space, at a given time, the management entity (200) requests to receive a single audiovisual stream of variable format from among the available audiovisual streams whose description is obtained by the obtaining module (201), the selection of the stream from among the streams available for a given space being a function of the distance between, on the one hand, the virtual position of the spectator (SP1) at the given moment in the virtual restitution of the place (100), position retrieved by the recovery module (202), and on the other hand the virtual position of the space given in the place (100); and,
  • a module (204) requesting restitution of the place (100) on the spectator's terminal (SP1), using the audiovisual streams selected by the selection module (203) to represent the distinct spaces filmed in the place (100).
Terminal (108) de spectateur (SP1) comprenant une entité de gestion (200) selon la revendication 7 implémentant un procédé de restitution sur le terminal (108) d'un lieu (100) dans lequel le spectateur (SP1) se déplace virtuellement, le lieu (100) regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras (101, 102, 103, 104).Terminal (108) of spectator (SP1) comprising a management entity (200) according to claim 7 implementing a method for rendering on the terminal (108) a place (100) in which the spectator (SP1) moves virtually, the place (100) grouping together several distinct spaces, the spaces being filmed by cameras (101, 102, 103, 104). Serveur comprenant une entité de gestion (200) selon la revendication 7 implémentant un procédé de restitution sur le terminal (108) d’un spectateur (SP1) d'un lieu (100) dans lequel le spectateur (SP1) se déplace virtuellement, le lieu (100) regroupant plusieurs espaces distincts, les espaces étant filmés par des caméras (101, 102, 103, 104).Server comprising a management entity (200) according to claim 7 implementing a method for rendering on the terminal (108) of a spectator (SP1) a place (100) in which the spectator (SP1) moves virtually, the place (100) grouping together several distinct spaces, the spaces being filmed by cameras (101, 102, 103, 104). Programme d'ordinateur apte à être mis en œuvre par une entité de gestion (200) selon la revendication 7, ledit programme comprenant des instructions qui, lorsqu'elles sont mises en œuvre par un processeur, implémentent un procédé de restitution selon la revendication 1.Computer program capable of being implemented by a management entity (200) according to claim 7, said program comprising instructions which, when implemented by a processor, implement a method of rendering according to claim 1 . Support de données sur lequel est enregistré un programme d'ordinateur comprenant une séquence d'instructions pour la mise en œuvre du procédé de restitution conforme à la revendication 1 lorsqu'il est chargé dans et exécuté par un processeur.Data carrier on which is recorded a computer program comprising a sequence of instructions for the implementation of the restitution method according to claim 1 when it is loaded into and executed by a processor.
FR2106758A 2021-06-24 2021-06-24 Method of rendering, on a spectator's terminal, a place bringing together several distinct spaces in which a spectator moves virtually Active FR3124289B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR2106758A FR3124289B1 (en) 2021-06-24 2021-06-24 Method of rendering, on a spectator's terminal, a place bringing together several distinct spaces in which a spectator moves virtually

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2106758A FR3124289B1 (en) 2021-06-24 2021-06-24 Method of rendering, on a spectator's terminal, a place bringing together several distinct spaces in which a spectator moves virtually
FR2106758 2021-06-24

Publications (2)

Publication Number Publication Date
FR3124289A1 true FR3124289A1 (en) 2022-12-23
FR3124289B1 FR3124289B1 (en) 2024-03-15

Family

ID=76921015

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2106758A Active FR3124289B1 (en) 2021-06-24 2021-06-24 Method of rendering, on a spectator's terminal, a place bringing together several distinct spaces in which a spectator moves virtually

Country Status (1)

Country Link
FR (1) FR3124289B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156135A1 (en) * 2002-02-15 2003-08-21 Lucarelli Designs & Displays, Inc. Virtual reality system for tradeshows and associated methods
US20140267564A1 (en) * 2011-07-07 2014-09-18 Smart Internet Technology Crc Pty Ltd System and method for managing multimedia data
US10952006B1 (en) * 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156135A1 (en) * 2002-02-15 2003-08-21 Lucarelli Designs & Displays, Inc. Virtual reality system for tradeshows and associated methods
US20140267564A1 (en) * 2011-07-07 2014-09-18 Smart Internet Technology Crc Pty Ltd System and method for managing multimedia data
US10952006B1 (en) * 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof

Also Published As

Publication number Publication date
FR3124289B1 (en) 2024-03-15

Similar Documents

Publication Publication Date Title
CN105745938B (en) Multi-angle of view audio and video interactive playback
CA2962825C (en) User interaction analysis module
EP2834972B2 (en) Multi-source video navigation
CN107256138A (en) The synchronous demonstrating state between multiple application programs
Verstraete It’s about time. Disappearing images and stories in Snapchat
US11367261B2 (en) Presenting an augmented reality interface
US10248665B1 (en) Method and system for collecting, and globally communicating and evaluating digital images of sports fans, public displays of affection and miscellaneous groups from entertainment venues
Ringas et al. CLIO: blending the collective memory with the urban landscape
US20240046420A1 (en) Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
CN114245228A (en) Page link releasing method and device and electronic equipment
US20230403413A1 (en) Method and apparatus for displaying online interaction, electronic device and computer readable medium
Overbergh Technological innovation and the diversification of audiovisual storytelling circuits in Kenya
FR3124289A1 (en) Method for rendering, on a terminal of a spectator, a place grouping together several distinct spaces in which a spectator moves virtually
Tatić et al. Universal electronic guide for museum exhibitions
FR3055079A1 (en) SYSTEM FOR COMPOSITION OR MODIFICATION OF VIRTUAL REALITY SEQUENCES, COMPOSITION METHOD AND SYSTEM FOR READING THESE SEQUENCES
WO2020128206A1 (en) Method for interaction of a user with a virtual reality environment
Demiris et al. intGuide: A platform for context-aware services featuring augmented-reality, based on the outcome of European Research Projects
EP2360890B1 (en) Creation and utilisation of a shared space around at least one content associated with a source user for target users.
Briziarelli Snapchat’s dialectics of socialization: Revisiting the theory of the spectacle for a critical political economy of social media
Bibiloni et al. An Augmented Reality and 360-degree video system to access audiovisual content through mobile devices for touristic applications
FR3002404A1 (en) SHARED VISUALIZATION SYSTEM OF PREDETERMINED PLACES
David Processes of Legitimation: 10 Years of Mobile Images (2005-2015)
Ranaivoson et al. D5. 1 Market analysis report
Gracjasz Combining Two Disciplines. The Perspective of an Anthropologist-photographer and Reflections on the Photo camera as a Tool for Mediation
Chen An investigation into web-based panoramic video virtual reality with reference to the virtual zoo.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20221223

PLFP Fee payment

Year of fee payment: 3