FR2988961A1

FR2988961A1 - Method for restoration of views of multiview digital video on screen of TV, involves selecting displayed view, generating obturation signal based on selection of displayed view, and restoring selected view by considering obturation signal

Info

Publication number: FR2988961A1
Application number: FR1252867A
Authority: FR
Inventors: Herve Marchand; Cedric Chedaleux; Guillaume Roul
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2012-03-29
Filing date: 2012-03-29
Publication date: 2013-10-04

Abstract

The method involves successively displaying views e.g. left view (V1), right view (V2), front view (V3) and rear view (V4), of a multiview video (VMV) on a screen, where the display of the views on the screen is controlled. The displayed view is selected by obtaining information. An obturation signal is generated based on the selection of the displayed view. The selected view is restored by considering the signal. The signal is transmitted. A calculation state is performed by considering frequency characteristics of the screen so as to reduce number of views to be displayed successively. Independent claims are also included for the following: (1) a method for managing display of views of a video represented by views restored on a screen (2) a method for selecting views of a video represented by two views to be restored on a screen (3) a system for restoration of views of a video represented by views to be restored on a screen (4) a terminal for managing display of views of a video represented by two views intended to be posted on a screen (5) a visualization equipment (6) a computer program implemented on a terminal comprising program code instructions for implementing a method for managing display of views of a video represented by views restored on a screen.

Description

Procédé et système de restitution de vues d'une vidéo multivues. L'invention se rapporte à la sélection de vues dans une vidéo numériques multivues afin de les afficher sur un écran d'un utilisateur. L'invention se prête particulièrement bien au contexte d'un écran dont l'affichage est partagé par plusieurs utilisateurs. Un tel écran est par exemple celui d'un ordinateur ou d'un téléviseur. On entend par vidéo multivues une vidéo numérique capturée par plusieurs caméras synchronisées à partir de points de vue différents, selon plusieurs directions, ou angles de vues. Les différentes vues de la vidéo sont destinées à assurer sa restitution sur un écran selon l'un des points de vue qui a été capturé, par exemple le côté droit de la scène vidéo. Les applications liées à ce domaine sont souvent référencées sous l'appellation « vidéo à point de vue multiples » ou en anglais « Free Viewpoint video » (FTV). Une vue peut être affichée en relief ou non, en fonction de la technologie de l'écran utilisé pour l'affichage. Une vue en relief est généralement constituée de deux images par instant temporel. Les deux images, dites stéréoscopiques, sont décalées l'une par rapport à l'autre, l'une étant destinée à l'oeil gauche et l'autre à l'oeil droit de l'utilisateur. Ce décalage lui permet d'imaginer un point de convergence situé devant ou derrière le plan de l'écran, associant ainsi une impression de profondeur ou relief aux objets de la vidéo observée. Dans un tel cas, l'écran utilisé est tridimensionnel, le plus souvent de type stéréoscopique. Pas vue, on entend alors l'ensemble des deux images stéréoscopiques. Lorsque plusieurs vues sont transmises à l'écran, dans le contexte précité d'un système multi-vues (par exemple une vue de droite et une vue de gauche d'une vidéo représentant un événement sportif), il est d'usage d'utiliser un écran rnultiscopique, qui autorise une visualisation, généralement en relief, de la scène selon les angles de vues différents. La plupart des écrans multiscopiques sont aussi auto-stéréoscopique (on les appelle parfois autornultiscopique). Un tel écran diffuse les vues stéréoscopiques selon des orientations différentes. L'utilisateur bénéficie, selon sa position par rapport à l'écran, de deux des images constitutives de la vue pour construite une vision stéréoscopique des objets affichés selon l'angle souhaité. Dans ce type de scénario, on peut donc envisager que plusieurs utilisateurs, partageant l'écran, bénéficient de vues différentes sur la scène vidéo : si le premier se positionne sur la droite du téléviseur, il reçoit une vue de droite et si le second se positionne sur la gauche, il reçoit une vue de gauche. Mais ces écrans présentent de nombreux inconvénients : l'utilisateur doit se positionner correctement pour bénéficier de la vue qui l'intéresse. Cette situation peut être particulièrement contraignante (si l'utilisateur est assis dans son salon, il n'a pas forcément envie de se déplacer). De plus les contraintes de positionnement sont généralement très fortes (distance imposée à l'écran, angle de vue très étroit...) pour recevoir une vue avec une bonne qualité stéréoscopique. En quelque sorte, les utilisateurs doivent être conscients de la technologie sous-jacente pour se déplacer et se positionner en conséquence. Ainsi, ces systèmes, qui autorisent plusieurs utilisateurs à bénéficier simultanément de vues différentes à partir du même écran, sont-ils complexes à implémenter et coûteux. En revanche, avec un écran qui ne peut afficher qu'une seule vue à la fois, qui est moins complexe et moins coûteux qu'un écran multiscopique, il n'est pas possible d'être plusieurs utilisateurs à partager le même écran pour bénéficier de vues différentes de la scène vidéo. L'un des utilisateurs pourra éventuellement choisir une vue parmi toutes les vues disponibles mais il l'imposera aux autres. L'invention offre une solution ne présentant pas les inconvénients de l'état de la technique. Method and system for rendering views of a multi-view video The invention relates to the selection of views in a multi-view digital video for display on a user's screen. The invention is particularly well suited to the context of a screen whose display is shared by several users. Such a screen is for example that of a computer or a TV. Multiview video is a digital video captured by multiple cameras synchronized from different viewpoints, in different directions, or angles of view. The different views of the video are intended to ensure its rendering on a screen according to one of the points of view that has been captured, for example the right side of the video scene. Applications related to this domain are often referred to as "multiple point-of-view video" or "Free Viewpoint video" (FTV). A view can be displayed in relief or not, depending on the technology of the screen used for display. A relief view usually consists of two images per time instant. The two images, called stereoscopic, are offset relative to each other, one being intended for the left eye and the other for the right eye of the user. This shift allows him to imagine a point of convergence in front of or behind the plane of the screen, thus associating an impression of depth or relief to the objects of the video observed. In such a case, the screen used is three-dimensional, most often stereoscopic type. Not seen, we then hear all the two stereoscopic images. When several views are transmitted on the screen, in the aforementioned context of a multi-view system (for example a right view and a left view of a video representing a sports event), it is customary to use a multiscreen screen, which allows a visualization, generally in relief, of the scene according to the angles of different views. Most multiscopic screens are also auto-stereoscopic (sometimes called autornultiscopic). Such a screen broadcasts the stereoscopic views according to different orientations. The user enjoys, according to its position relative to the screen, two of the constituent images of the view to build a stereoscopic vision of the objects displayed according to the desired angle. In this type of scenario, we can consider that several users, sharing the screen, have different views on the video scene: if the first is positioned on the right of the TV, it receives a right view and if the second is position on the left, he receives a left view. But these screens have many disadvantages: the user must position themselves properly to benefit from the view that interests him. This situation can be particularly restrictive (if the user is sitting in his living room, he does not necessarily want to move). In addition, the positioning constraints are generally very strong (distance imposed on the screen, very narrow angle of view ...) to receive a view with good stereoscopic quality. In a way, users must be aware of the underlying technology to move and position themselves accordingly. Thus, these systems, which allow multiple users to simultaneously enjoy different views from the same screen, are complex to implement and expensive. However, with a screen that can display only one view at a time, which is less complex and less expensive than a multiscopic screen, it is not possible to be multiple users to share the same screen to benefit different views of the video scene. One of the users will be able to choose a view from among all available views, but will impose it on others. The invention offers a solution that does not have the drawbacks of the state of the art.

L'invention A cet effet, selon un aspect fonctionnel, l'invention a pour objet un procédé de restitution de vues d'une vidéo représentée par au moins deux vues destinées à être restituées sur un écran, caractérisé en ce qu'il comporte les étapes suivantes : - affichage successif des vues sur l'écran ; - sélection d'une vue affichée ; - génération d'un signal d'obturation fonction de la sélection ; - restitution de la vue sélectionnée en prenant en compte le signal d'obturation. Ainsi le procédé global de l'invention permet-il de restituer sur un seul écran, qui ne peut afficher qu'une seule vue à la fois, plusieurs vues de manière successive, afin que chaque utilisateur concerné puisse choisir une vue parmi plusieurs, par exemple celle de droite pour le premier et celle de gauche pour le second. Un écran simple, bidimensionnel ou stéréoscopique, peut être choisi, qui sera moins complexe et moins coûteux qu'un écran multiscopique. Il devient possible de cette manière d'être plusieurs utilisateurs à partager le même écran pour bénéficier de vues différentes de la scène vidéo sans que l'un des utilisateurs impose aux autres la vue qu'il a choisie. Selon un aspect matériel, corrélativement au procédé exposé ci-dessus, l'invention a pour objet un système pour la restitution de vues d'une vidéo représentée par au moins deux vues sur un écran, caractérisé en ce qu'il comporte : - des moyens d'affichage successif de vues sur l'écran ; - des moyens de sélection d'une vue affichée ; - des moyens de génération d'un signal d'obturation en fonction de la vue sélectionnée ; - des moyens d'obturation de la vue sélectionnée en prenant en compte le signal d'obturation généré. Selon un autre aspect fonctionnel, l'invention a pour objet un procédé de gestion de l'affichage de vues d'une vidéo représentée par au moins deux vues destinées à être restituées sur un écran, caractérisé en ce qu'il comporte les étapes suivantes : - commande d'affichage successif des vues sur l'écran ; - obtention d'une information pour sélectionner une vue ; - génération d'un signal d'obturation fonction de la sélection ; - transmission dudit signal d'obturation. Ainsi le procédé offre-t-il la possibilité, en commandant l'affichage successif des vues, que chaque utilisateur puisse en sélectionner une à sa convenance. Le signal généré, fonction de cette sélection, permettra à un système approprié de conserver uniquement cette vue en supprimant les autres, qui ne sont pas souhaitées par l'utilisateur. Selon un mode de mise en oeuvre particulier de l'invention, le procédé de gestion de l'affichage de vues est caractérisé en ce qu'il comporte en outre une étape de calcul en vue de la réduction du nombre de vues à afficher successivement. L'affichage successif des vues, s'il offre les avantages décrits ci-dessus, impose en revanche une diminution de la fréquence de visualisation de chaque vue, cette fréquence diminuant d'autant plus que le nombre total de vues à afficher successivement est important. Cette mise en oeuvre offre la possibilité de réduire le nombre total de vues, augmentant par là même la fréquence de chacune des vues restantes, ce qui procure à l'utilisateur une perception temporelle plus agréable de la vue qu'il a choisie (mouvement plus fluide des objets de la scène, diminution des saccades...). The invention For this purpose, according to a functional aspect, the subject of the invention is a method for rendering views of a video represented by at least two views intended to be rendered on a screen, characterized in that it comprises the following steps: - successive display of the views on the screen; - selection of a displayed view; - generating a shutter signal depending on the selection; - restitution of the selected view taking into account the shutter signal. Thus, the overall method of the invention makes it possible to render on a single screen, which can display only one view at a time, several views successively, so that each user concerned can choose one of several views by example the one on the right for the first and the one on the left for the second. A simple screen, two-dimensional or stereoscopic, can be chosen, which will be less complex and less expensive than a multiscopic screen. It becomes possible in this way to be several users to share the same screen to benefit from different views of the video scene without one of the users imposing on others the view he has chosen. According to a material aspect, correlatively to the method explained above, the subject of the invention is a system for rendering views of a video represented by at least two views on a screen, characterized in that it comprises: means for successively displaying views on the screen; means for selecting a displayed view; means for generating a shutter signal as a function of the selected view; - Shutter means of the selected view taking into account the shutter signal generated. According to another functional aspect, the subject of the invention is a method for managing the display of views of a video represented by at least two views intended to be rendered on a screen, characterized in that it comprises the following steps : - command to display successive views on the screen; - obtaining information to select a view; - generating a shutter signal depending on the selection; - Transmission of said shutter signal. Thus, the method offers the possibility, by ordering the successive display of the views, that each user can select one at his convenience. The generated signal, a function of this selection, will allow an appropriate system to retain only this view by deleting the others, which are not desired by the user. According to a particular embodiment of the invention, the method of managing the display of views is characterized in that it further comprises a calculation step for the purpose of reducing the number of views to be displayed successively. The successive display of the views, if it offers the advantages described above, on the other hand imposes a decrease in the viewing frequency of each view, this frequency decreasing more especially as the total number of views to be displayed successively is important . This implementation offers the possibility of reducing the total number of views, thereby increasing the frequency of each of the remaining views, which gives the user a more pleasant temporal perception of the view he has chosen (motion plus fluid objects of the scene, decrease of saccades ...).

Selon une variante de ce premier mode de mise en oeuvre, le procédé de gestion de l'affichage de vues est caractérisé en ce que l'étape de calcul prend en compte les caractéristiques fréquentielles de l'écran. Pour éviter de descendre en dessous d'une certaine fréquence minimale acceptable pour le confort visuel de l'utilisateur (par exemple cinquante images par seconde), cette variante permet de limiter le nombre total de vues à afficher en fonction de la fréquence maximale d'affichage de l'écran. Par exemple, si le téléviseur accepte une fréquence de deux-cent images par seconde, il est judicieux de limiter le nombre total de vues à quatre, afin que la fréquence résultante pour chaque vue ne descende pas en dessous de ce seuil minimal. According to a variant of this first mode of implementation, the management method of the display of views is characterized in that the calculation step takes into account the frequency characteristics of the screen. To avoid going below a certain minimum acceptable frequency for the visual comfort of the user (for example fifty frames per second), this variant makes it possible to limit the total number of views to be displayed as a function of the maximum frequency of screen display. For example, if the TV accepts a frame rate of two hundred frames per second, it is a good idea to limit the total number of frames to four so that the resulting frequency for each frame does not fall below this minimum threshold.

Selon une autre variante de ce premier mode de mise en oeuvre, qui pourra être mis en oeuvre cumulativement ou alternativement avec la précédente, le procédé de gestion de l'affichage de vues est caractérisé en ce que l'étape de calcul prend en compte les vues qui ont été sélectionnées. Pour éviter de descendre en dessous d'une certaine fréquence minimale acceptable pour le confort de l'utilisateur, cette variante permet également de limiter le nombre total de vues à afficher en conservant seulement celles qui sont effectivement sélectionnées, donc visualisées, par un utilisateur au moins. Ainsi, si trois utilisateurs ont choisi seulement deux vues parmi les quatre possibles, il est inutile d'afficher les deux vues qui n'ont pas été sélectionnées ; le procédé se chargera alors de les supprimer de l'affichage tant qu'elles ne seront pas requises. Selon un second mode de mise en oeuvre particulier de l'invention, qui pourra être mis en oeuvre alternativement ou cumulativement avec le précédent, un procédé de gestion de l'affichage de vues est caractérisé en ce que l'information obtenue est relative à la position du destinataire du signal d'obturation par rapport à l'écran. Selon ce mode de mise en oeuvre, la meilleure vue est choisie automatiquement en fonction de la position de l'utilisateur. Par exemple si l'utilisateur se positionne sur la gauche de l'écran, le procédé se charge de lui transmettre automatiquement la vue correspondant au mieux à sa position ; s'il existe plusieurs vue de gauche, c'est la position angulaire de l'utilisateur qui pourra permettre au procédé de choisir la meilleure vue ; le procédé lui évite ainsi une sélection manuelle qui peut être contraignante et source d'erreur. Selon un troisième mode de mise en oeuvre particulier de l'invention, qui pourra être mis en oeuvre alternativement ou cumulativement avec les précédents, un procédé de gestion de l'affichage de vues est caractérisé en ce que l'information obtenue est un numéro de vue sélectionné. Selon ce mode de mise en oeuvre, l'utilisateur sait quelle vue il souhaite choisir, par exemple la vue de gauche d'une scène sportive. Une numérotation simple et appropriée des vues disponibles, via un affichage sur son téléviseur par exemple, lui permettra de déterminer facilement quelle est la vue qu'il préfère et de la transmettre au procédé. According to another variant of this first embodiment, which can be implemented cumulatively or alternatively with the previous one, the management method of the display of views is characterized in that the calculation step takes into account the views that have been selected. In order to avoid going below a certain minimum acceptable frequency for the user's comfort, this variant also makes it possible to limit the total number of views to be displayed while keeping only those actually selected, and thus viewed, by a user at the user. less. Thus, if three users have chosen only two of the four possible views, you do not need to display the two views that were not selected; the process will then remove them from the display until they are required. According to a second particular mode of implementation of the invention, which can be implemented alternatively or cumulatively with the previous one, a method for managing the display of views is characterized in that the information obtained relates to the position of the recipient of the shutter signal in relation to the screen. According to this mode of implementation, the best view is automatically chosen according to the position of the user. For example if the user is positioned on the left of the screen, the process is responsible for automatically transmitting the view corresponding best to its position; if there are several left views, it is the angular position of the user that will allow the process to choose the best view; the process thus avoids a manual selection that can be restrictive and error-prone. According to a third particular mode of implementation of the invention, which can be implemented alternatively or cumulatively with the preceding, a management method of the display of views is characterized in that the information obtained is a number of selected view. According to this mode of implementation, the user knows which view he wishes to choose, for example the left view of a sports scene. A simple and appropriate numbering of available views, via a display on his television, for example, will allow him to easily determine what is the preferred view and transmit it to the process.

Selon un aspect matériel, l'invention a pour objet un terminal pour la gestion de l'affichage de vues d'une vidéo représentée par au moins deux vues destinées à être affichées sur un écran, caractérisé en ce qu'il comporte les étapes suivantes : - des moyens de commande d'affichage successif des vues sur l'écran ; - des moyens d'obtention d'une information pour sélectionner une vue ; - des moyens de génération d'un signal d'obturation en fonction de la vue sélectionnée ; - des moyens de transmission dudit signal d'obturation. Selon un autre aspect fonctionnel, l'invention a pour objet un procédé de sélection de vues d'une vidéo représentée par au moins deux vues destinées à être restituées sur un écran, caractérisé en ce qu'il comporte les étapes suivantes: - réception d'un signal d'obturation ; - obturation de vues de la vidéo pour un état du signal. Ainsi le procédé permet-il d'obturer pour l'utilisateur, par un signal approprié en provenance de l'entité qui a reçu et enregistré son choix (le terminal), toutes les vues sauf la sienne. L'équipement récepteur de l'utilisateur se synchronise très simplement sur ce signal sans que l'utilisateur doive produire une quelconque action. Selon un autre aspect matériel, l'invention a pour objet un équipement de visualisation comprenant des lunettes à obturateur, caractérisé en ce qu'il comporte : - des moyens de réception d'un signal d'obturation - des moyens d'obturation de vues de la vidéo pour un état du signal d'obturation. Selon un autre aspect matériel, l'invention concerne également un programme d'ordinateur apte à être mis en oeuvre sur un terminal tel que décrit ci-dessus, le programme comprenant des instructions de code qui, lorsque le programme est exécuté par un processeur, réalise les étapes du procédé défini ci-dessus. Selon encore un autre aspect matériel, l'invention concerne également un support d'enregistrement lisible par un terminal sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé défini ci-dessus. L'invention sera mieux comprise à la lecture de la description qui suit, donnée à titre d'exemple et faite en référence aux dessins annexés. According to a material aspect, the subject of the invention is a terminal for managing the display of views of a video represented by at least two views intended to be displayed on a screen, characterized in that it comprises the following steps control means for successively displaying the views on the screen; means for obtaining information for selecting a view; means for generating a shutter signal as a function of the selected view; means for transmitting said shutter signal. According to another functional aspect, the subject of the invention is a method for selecting views of a video represented by at least two views intended to be rendered on a screen, characterized in that it comprises the following steps: - reception of a shutter signal; - shutter views of the video for a signal state. Thus the method allows to shut off for the user, by an appropriate signal from the entity that has received and recorded his choice (the terminal), all views except his own. The receiver equipment of the user synchronizes very simply on this signal without the user having to produce any action. According to another material aspect, the subject of the invention is a display equipment comprising shutter glasses, characterized in that it comprises: means for receiving a shutter signal; shutter means for views; video for a state of the shutter signal. According to another material aspect, the invention also relates to a computer program capable of being implemented on a terminal as described above, the program comprising code instructions which, when the program is executed by a processor, performs the steps of the method defined above. According to yet another material aspect, the invention also relates to a recording medium readable by a terminal on which is recorded a computer program comprising instructions for executing the steps of the method defined above. The invention will be better understood on reading the description which follows, given by way of example and with reference to the accompanying drawings.

Les figures : La figure 1 représente le contexte général d'un premier mode de réalisation de l'invention. Les figures 2a et 2b représentent des chronogrammes illustrant l'évolution temporelle de l'affichage des vidéos sur l'écran. La figure 3 représente les échanges entre les différentes entités du système selon le premier mode de réalisation. La figure 4 représente le contexte général d'un second mode de réalisation de l'invention. The figures: FIG. 1 represents the general context of a first embodiment of the invention. Figures 2a and 2b show timing diagrams illustrating the temporal evolution of the display of videos on the screen. Figure 3 shows the exchanges between the different entities of the system according to the first embodiment. FIG. 4 represents the general context of a second embodiment of the invention.

La figure 5 représente les échanges entre les différentes entités du système selon le second mode de réalisation. La figure 6 est un schéma bloc d'un terminal apte à réaliser les étapes d'un procédé de sélection de vues selon un mode de réalisation de l'invention. FIG. 5 shows the exchanges between the different entities of the system according to the second embodiment. FIG. 6 is a block diagram of a terminal adapted to perform the steps of a view selection method according to one embodiment of the invention.

Description détaillée d'un exemple de réalisation illustrant l'invention La figure 1 représente le contexte général d'un premier mode de réalisation de l'invention. A titre d'illustration, la présente invention est décrite en référence à un décodeur numérique T connecté à un téléviseur TV supportant un écran bidimensionnel standard, mais elle peut bien entendu s'appliquer à d'autres dispositifs tels qu'un téléphone mobile, un ordinateur, etc. et à d'autres types d'écrans, notamment un écran tridimensionnel stéréoscopique. Les utilisateurs sont au nombre de trois sur l'exemple (A, B et C) et portent des lunettes actives (LA, LB et LC). Ces lunettes sont dotées d'un système d'obturation qui peut être commandé par un signal électrique, par exemple infrarouge, en provenance du terminal ou du téléviseur. Le terminal T reçoit une vidéo multivues VMV constituées de dans notre exemple de quatre vues distinctes de la vidéo. On rappelle qu'une vidéo multivues est une séquence vidéo numérique capturée par plusieurs caméras synchronisées à partir de points de vue différents, selon plusieurs directions. Les différentes vues de la vidéo sont destinées à assurer sa restitution sur un écran selon l'un des points de vue qui a été capturé. Chaque vue peut comporter une ou deux images par instant temporel selon le type de relief désiré et le type d'écran supporté. Dans notre exemple, la vidéo à afficher représente une scène sportive (un match de tennis) et elle a été saisie par quatre caméras pour générer quatre vues : une vue de gauche V1, une vue de droite V2, une vue de l'avant V3 et une vue de l'arrière V4 (du côté opposé au joueur représenté). Chaque vue est elle-même constituée d'une seule image (mais pourrait être, alternativement, constituée de deux images stéréoscopiques, l'une pour l'oeil droit et l'autre pour l'oeil gauche) pour chaque instant t de la vidéo. Sur la figure 1, on a représenté seulement deux instants temporels t1 et t2 auxquels correspondent deux sous-flux vidéo, constitués chacun des quatre vues V1 à V4. Le flux correspondant est par exemple encodé selon la norme MVC (Multiview Video Coding) du groupe MPEG (Motion Picture Expert Group) de l'ISO (International Standards Organisation) qui permet de coder et de stocker plusieurs vues d'une même vidéo. On suppose que la vidéo multivues a été transmise au terminal via un réseau de télécommunications (R). L'acquisition, le codage, la transmission et la réception de la vidéo multivues sont en dehors du périmètre de l'invention. DETAILED DESCRIPTION OF AN EMBODIMENT EXCHANGING THE INVENTION FIG. 1 represents the general context of a first embodiment of the invention. By way of illustration, the present invention is described with reference to a digital decoder T connected to a TV set supporting a standard two-dimensional screen, but it can of course be applied to other devices such as a mobile phone, computer, etc. and other types of screens, including a stereoscopic three-dimensional screen. The users are three in the example (A, B and C) and wear active glasses (LA, LB and LC). These glasses are provided with a shutter system that can be controlled by an electrical signal, for example infrared, from the terminal or the TV. The terminal T receives a multi-view video VMV constituted in our example of four separate views of the video. It is recalled that a multi-view video is a digital video sequence captured by several cameras synchronized from different points of view, in several directions. The different views of the video are intended to ensure its restitution on a screen according to one of the points of view that has been captured. Each view may include one or two images per time instant depending on the type of relief desired and the type of screen supported. In our example, the video to be displayed represents a sports scene (a tennis match) and was captured by four cameras to generate four views: a left view V1, a right view V2, a view from the front V3 and a view of the rear V4 (the opposite side to the represented player). Each view is itself composed of a single image (but could alternatively consist of two stereoscopic images, one for the right eye and the other for the left eye) for each moment t of the video . In FIG. 1, only two time instants t1 and t2 are shown to which two video sub-streams correspond, each consisting of the four views V1 to V4. The corresponding stream is for example encoded according to the MVC (Multiview Video Coding) standard of the MPEG (Motion Picture Expert Group) of the ISO (International Standards Organization) which allows to code and store several views of the same video. It is assumed that the multi-view video has been transmitted to the terminal via a telecommunications network (R). The acquisition, coding, transmission and reception of the multi-view video are outside the scope of the invention.

Dans le scénario représenté, les trois utilisateurs A, B et C partagent l'écran. Le problème est de réaliser un partage équitable, de façon à ce que chacun puisse sélectionner sa vue préférée parmi les quatre, sachant que l'écran simple dont ils disposent ne peut en afficher qu'une seule à la fois. On suppose que A souhaite visualiser la vue gauche (V1), B la vue droite (V2), C la vue arrière (V4) (choix représentés par des flèches sur la figure). Bien entendu, dans une solution de l'art antérieur, il serait possible de sélectionner une vue parmi les quatre, par exemple via un menu affiché sur le téléviseur. Mais ce choix favoriserait l'un des utilisateurs (par exemple le premier qui aurait sélectionné une vue) au détriment des autres. Alternativement, les trois utilisateurs pourraient utiliser un écran multiscopique, comme introduit plus haut, mais cette solution est extrêmement 10 coûteuse. Dans un mode de réalisation préféré de l'invention, le module MT de gestion de l'affichage du terminal T commande initialement l'affichage en affichant successivement et cycliquement les vues 1, 2, 3 et 4 de la vidéo, comme représenté sur la figure 2a qui schématise l'évolution temporelle (sur 15 l'axe des abscisses) de l'affichage (sur l'axe des ordonnées). En d'autres termes, chaque vue est décalée dans le temps pour occuper seulement la portion du cycle qui lui est allouée : sur la figure 2A, V1 occupe le premier quart du cycle, V2 est décalé pour occuper le second... C'est ce qu'on entend par affichage successif des vues. Il est à noter que la fréquence d'affichage initiale selon ce 20 procédé est divisée par le nombre de vues affichées. Par exemple, si le téléviseur est doté d'une fréquence maximale d'affichage de deux cents images par seconde (200 Hz), mais que quatre vues sont affichées successivement, chacune sera affichée avec une fréquence intrinsèque de images par seconde (50Hz). Chaque utilisateur est équipé de lunettes actives capables de se 25 synchroniser sur le signal émis par le téléviseur. Chaque utilisateur va donc sélectionner la vue dont il souhaite bénéficier, en appuyant par exemple sur une touche de ses lunettes ou de sa télécommande, ou tout autre dispositif apte à transmettre au terminal une indication de sélection de vue. En figure 2b, on a symbolisé par exemple les utilisateurs A et B, qui ont sélectionné respectivement 30 les vues numéro 1 (V1) et numéro 4 (V4). Les lunettes LA de l'utilisateur A sont synchronisées sur le signal de la vue 1 : elles sont à l'état passant (signal haut, P) au moment de l'affichage de la vue 1, en conséquence A peut voir la vue 1. En revanche les lunettes LC de C, qui sont synchronisées sur la vue 4, ne lui permettent pas de visualiser la vue 1 puisqu'elles ne sont pas passantes au moment de l'affichage de la vue 1 (signal bas, NP). Ainsi, les lunettes de l'utilisateur vont-elles obturer les vues qu'il ne souhaite pas visualiser. Par exemple, comme B a choisi la vue V2, le système de ses lunettes actives va successivement obturer les vues 1, 3 et 4 pour laisser passer seulement V2. Ainsi, chacun peut visualiser la vue qui lui plaît sans subir le choix de son voisin. En variante, et comme il sera reprécisé à l'appui de la figure 3, comme aucun des utilisateurs n'a sélectionné la vue numéro 3, le procédé selon l'invention va choisir de ne pas afficher la vue V3 jusqu'à la prochaine étape de synchronisation. Ainsi le système affiche successivement et cycliquement les vues V1, V2 et V4... De ce fait, la fréquence d'affichage de chacune des vues augmente, rendant ainsi la visualisation plus agréable pour l'utilisateur. In the scenario shown, the three users A, B and C share the screen. The problem is to achieve a fair sharing, so that everyone can select their favorite view among the four, knowing that the simple screen they have can display only one at a time. Suppose that A wishes to display the left view (V1), B the right view (V2), C the back view (V4) (choice represented by arrows in the figure). Of course, in a solution of the prior art, it would be possible to select one of the four, for example via a menu displayed on the television. But this choice would favor one of the users (for example the first who would have selected a view) to the detriment of others. Alternatively, the three users could use a multiscopic screen, as introduced above, but this solution is extremely expensive. In a preferred embodiment of the invention, the MT management module of the display of the terminal T initially controls the display by displaying successively and cyclically the views 1, 2, 3 and 4 of the video, as shown in FIG. Figure 2a which schematizes the temporal evolution (on the x-axis) of the display (on the ordinate axis). In other words, each view is shifted in time to occupy only the portion of the cycle allocated to it: in FIG. 2A, V1 occupies the first quarter of the cycle, V2 is shifted to occupy the second ... C ' is what is meant by successive display of the views. It should be noted that the initial display frequency according to this method is divided by the number of views displayed. For example, if the TV has a maximum display frequency of two hundred frames per second (200 Hz), but four views are displayed successively, each will be displayed with an intrinsic frame rate (50Hz). Each user is equipped with active glasses capable of synchronizing with the signal transmitted by the television. Each user will therefore select the view which he wishes to benefit, by pressing for example a key of his glasses or his remote control, or any other device able to transmit to the terminal a view selection indication. In FIG. 2b, for example, the users A and B, which respectively have selected the views number 1 (V1) and number 4 (V4), have been symbolized. The glasses LA of the user A are synchronized on the signal of the view 1: they are in the on state (high signal, P) at the time of the display of the view 1, accordingly A can see the view 1 On the other hand, the LC glasses of C, which are synchronized on the view 4, do not allow it to display the view 1 since they are not passing at the time of the display of the view 1 (low signal, NP). Thus, the user's glasses will close the views he does not want to view. For example, as B chose the view V2, the system of his active glasses will successively close the views 1, 3 and 4 to pass only V2. Thus, everyone can visualize the view that pleases him without suffering the choice of his neighbor. In a variant, and as will be described again in support of FIG. 3, since none of the users has selected view number 3, the method according to the invention will choose not to display the view V3 until the next synchronization step. Thus, the system successively and cyclically displays the views V1, V2 and V4. As a result, the display frequency of each of the views increases, making the viewing more pleasant for the user.

La figure 3 représente sous forme de chronogramme les différents échanges entre le terminal, l'écran (ou téléviseur TV) et l'un des utilisateurs (A). Le module MT du terminal T, en charge de la commande de l'affichage sur l'écran du téléviseur (TV) commence par acquérir (par exemple via un réseau de télécommunications) un certain nombre de vues (dans notre exemple, quatre) d'une vidéo multivues et commande au cours d'une étape El leur affichage sur l'écran. Comme expliqué à l'appui des figures 1 et 2a, 2b, l'affichage est fait successivement, ou séquentiellement, c'est-à-dire, dans notre exemple, dans l'ordre cyclique 1,2,3,4. En variante, le terminal pourra prendre en compte la fréquence d'affichage de l'écran pour ne pas descendre en dessous d'un certain seuil acceptable pour la fréquence intrinsèque de visualisation d'une vue. Par exemple, si le téléviseur affiche seulement cent images par seconde (100 Hz) il sera préférable de ne pas afficher plus de deux vues successivement, afin de ne pas descendre en dessous d'une fréquence perçue de 50 Hz pour chaque vue, ce qui physiologiquement est connu pour représenter un minimum d'images par seconde pour le confort visuel de l'utilisateur. Si la fréquence est amenée à descendre en dessous de ce seuil de tolérance minimal, le module MT du terminal peut alors décider de ne pas afficher toutes les vues et devra en privilégier certaines. Un choix qui peut sembler naturel dans ce cas est celui qui privilégie la vue centrale, puis les vues droite et gauche... mais tout autre type de critère pourra être mis ne oeuvre dans le terminal, par exemple sous la forme d'une table en mémoire qui ordonne les vues selon leur importance. FIG. 3 represents in the form of a chronogram the various exchanges between the terminal, the screen (or television TV) and one of the users (A). The MT module of the terminal T, in charge of controlling the display on the TV screen (TV) begins by acquiring (for example via a telecommunications network) a certain number of views (in our example, four). a multiview video and control during a step El their display on the screen. As explained in support of Figures 1 and 2a, 2b, the display is made successively, or sequentially, that is to say, in our example, in the cyclic order 1,2,3,4. Alternatively, the terminal can take into account the display frequency of the screen not to fall below a certain threshold acceptable for the intrinsic frequency of viewing a view. For example, if the TV shows only 100 frames per second (100 Hz) it will be best not to display more than two frames in succession, so as not to fall below a perceived frequency of 50 Hz for each view, which Physiologically is known to represent a minimum of frames per second for the visual comfort of the user. If the frequency is brought down below this minimum tolerance threshold, the MT module of the terminal may then decide not to display all the views and will have to favor some of them. A choice that may seem natural in this case is one that favors the central view, then the right and left views ... but any other type of criterion can be implemented in the terminal, for example in the form of a table in memory which orders the views according to their importance.

Au cours d'une première étape S1, l'utilisateur A muni de ses lunettes LA se connecte au terminal T (ou au téléviseur) et lui transmet au cours d'une étape S2, qui peut être concomitante ou successive, le choix de la vue. Ceci suppose naturellement qu'il a été informé (par le biais d'un menu par exemple) du nombre de vues dont il peut disposer (dans notre exemple, quatre). Le terminal T, en charge de l'affichage, récupère l'information de numéro de vue au cours d'une étape E2 (par exemple, V1 pour l'utilisateur A), puis calcule (E3) et génère (E4) un signal approprié, comme il a été expliqué à l'appui de la figure 2b : le signal (SIG), destiné à l'obturation des lunettes de l'utilisateur, présente une alternance d'états binaires (par exemple positifs et nuls), qui seront à traduire au niveau des lunettes par une opération de synchronisation (S3) au cours de laquelle le circuit actif des lunettes les positionne en état respectivement passant (figure 2B, P) ou non passant (figure 2B, NP). Un circuit très simple, du type de ceux utilisés actuellement pour les lunettes actives stéréoscopiques peut être mis en oeuvre. During a first step S1, the user A equipped with his glasses LA connects to the terminal T (or the television) and transmits it during a step S2, which can be concomitant or successive, the choice of the view. This naturally assumes that he has been informed (through a menu for example) of the number of views he can have (in our example, four). The terminal T, in charge of the display, retrieves the view number information during a step E2 (for example, V1 for the user A), then calculates (E3) and generates (E4) a signal appropriate, as has been explained in support of Figure 2b: the signal (SIG) for closing the glasses of the user, has an alternation of binary states (for example positive and zero), which will be translated at the level of the glasses by a synchronization operation (S3) during which the active circuit of the glasses positions them in respectively passing state (Figure 2B, P) or not passing (Figure 2B, NP). A very simple circuit of the type currently used for stereoscopic active spectacles can be implemented.

Au cours d'une étape E5 facultative, le terminal met à jour l'affichage en prenant en compte uniquement les vues utiles (celles qui ont été sélectionnées), pour fournir aux utilisateurs un maximum de confort visuel en ne surchargeant pas l'affichage par des vues inutiles. Dans notre exemple, comme aucun des utilisateurs n'a sélectionné la vue 3, le procédé MC selon l'invention va choisir de ne pas afficher la vue 3 jusqu'à la prochaine étape de synchronisation. Ainsi le système affiche successivement et cycliquement les vues 1,2,4... De ce fait, la fréquence d'affichage de chacune des vues augmente, rendant ainsi la visualisation plus agréable pour l'utilisateur. Naturellement, si cette variante de mise à jour est mise en oeuvre, il faudra prévoir un mécanisme pour afficher de nouveau la ou les vues qui ont été abandonnées : un tel mécanisme peut être mis en place de manière régulière (toues les cinq minutes par exemple) ou à chaque fois qu'un utilisateur se déconnecte ou se connecte, comme représenté en figure 3 : l'utilisateur A se déconnecte (c'est-à-dire qu'il éteint ses lunettes) au cours d'une étape S4 et subséquemment le terminal T rentre dans une phase d'initialisation (El) de l'affichage, qui peut être suivie ou remplacée par une étape de mise à jour (E5). During an optional step E5, the terminal updates the display taking into account only the useful views (those that have been selected), to provide users with maximum visual comfort by not overloading the display by unnecessary views. In our example, since none of the users has selected view 3, the method MC according to the invention will choose not to display view 3 until the next synchronization step. Thus, the system successively and cyclically displays the views 1,2,4... As a result, the display frequency of each of the views increases, thus rendering the viewing more pleasant for the user. Naturally, if this update variant is implemented, it will be necessary to provide a mechanism to display again the view or views that have been abandoned: such a mechanism can be set up regularly (every five minutes, for example). ) or whenever a user disconnects or connects, as shown in Figure 3: the user A disconnects (that is to say, turns off his glasses) during a step S4 and subsequently the terminal T enters an initialization phase (El) of the display, which can be followed or replaced by an updating step (E5).

Le système décrit ici présente le double avantage de fournir à chaque utilisateur la vue qu'il souhaite et, grâce à la variante de mise à jour de l'affichage, de l'ajuster au mieux pour une restitution optimale des vues effectivement souhaitées par les utilisateurs. The system described here has the double advantage of providing each user with the desired view and, thanks to the update variant of the display, to adjust it as best as possible for an optimal rendering of the views actually desired by the users. users.

Les figures 4 et 5 représentent un second mode de réalisation de l'invention. Dans ce mode, comme schématisé sur le contexte général de la figure 4, le terminal T est équipé d'un module (CAM) de détection de la position des utilisateurs. Les utilisateurs A, B et C ne sont plus installés devant le téléviseur, comme supposé précédemment, mais désormais libres de bouger autour de l'écran. C'est leur position respective par rapport à cet écran qui indique désormais la vue à sélectionner, et non plus un choix réalisé directement comme dans le premier mode de réalisation. Ainsi, sur la figure 4, on voit que C s'est positionné à droite de l'écran, A sur la gauche, alors que B n'a pas bougé. Comme illustré en figure 5, identique à la figure 3 sauf pour ce qui concerne la nouvelle étape E'2 remplaçant l'étape E2, le terminal T capture la position de l'utilisateur (A) au cours d'une nouvelle étape E101 et en déduit une vue adaptée pour cet utilisateur. L'étape E101 peut commencer par une détection générale de mouvement : c'est seulement si l'utilisateur A a bougé (de manière significative pour le système) que cette étape sera déclenchée. Alternativement, elle peut être déclenchée à intervalles de temps réguliers, ou sur commande (pression sur les lunettes, sur une touche de la télécommande...). L'étape E101 se poursuit par la détermination de la position de l'utilisateur par rapport à l'écran ; la capture de la position peut être réalisée classiquement par deux caméras qui vont permettre de déterminer la position de l'utilisateur dans un repère 3D par rapport à l'écran. Figures 4 and 5 show a second embodiment of the invention. In this mode, as shown schematically in the general context of FIG. 4, the terminal T is equipped with a module (CAM) for detecting the position of the users. Users A, B and C are no longer installed in front of the TV, as previously assumed, but now free to move around the screen. It is their respective position relative to this screen which now indicates the view to be selected, and no longer a choice made directly as in the first embodiment. Thus, in Figure 4, we see that C has positioned to the right of the screen, A on the left, while B has not moved. As illustrated in FIG. 5, identical to FIG. 3 except for the new step E'2 replacing step E2, the terminal T captures the position of the user (A) during a new step E101 and deduces a view adapted for this user. Step E101 can begin with a general motion detection: it is only if user A has moved (significantly for the system) that this step will be triggered. Alternatively, it can be triggered at regular intervals of time, or on command (pressure on the glasses, on a key of the remote control ...). Step E101 continues by determining the position of the user with respect to the screen; the capture of the position can be carried out conventionally by two cameras which will make it possible to determine the position of the user in a 3D reference relative to the screen.

Cette localisation, à la portée de l'homme du métier, ne sera pas décrite plus avant. Il existe en effet de nombreuses techniques connues pour obtenir la position d'un utilisateur sans participation active de sa part, par exemple des techniques de détection puis de suivi de sa tête, ou de ses yeux, à l'aide d'une ou plusieurs caméras permettant de déterminer sa position dans l'espace suivant les trois axes. Cette position peut être transmise au terminal par la ou les caméras en charge de l'obtention du positionnement. Ce type de technique est par exemple décrite dans l'article « Real-Time Eye Detection and Tracking under Various Light Conditions » de Feng Jiao and Guiming He (Data Science Journal, Vol. 6 (2007) pp.S636-S640). Ce document est incorporé par référence dans la présente demande. Une fois cette position (POS) obtenue, le terminal T doit calculer (E102) la meilleure vue possible parmi toutes les vues disponibles. Dans notre exemple, le calcul est relativement simple puisque C s'est déplacé sur la gauche, c'est par conséquent la vue gauche unique, V2, qui va lui être proposée. On peut imaginer cependant qu'il existe plusieurs vues gauches avec des angles de vue différents, et dans ce cas le module de décision du terminal devra prendre le meilleur angle possible pour A, par exemple le plus proche. Une fois la vue sélectionnée, les étapes E3 et E4 précédemment décrites de calcul (E3) et transmission vers les lunettes (E4) du signal d'obturation peuvent être réalisées. Toutes les autres étapes sont similaires à ceux du premier mode de réalisation et ne seront donc pas décrites plus avant. This location, within the reach of the skilled person, will not be described further. There are indeed many techniques known to obtain the position of a user without active participation on his part, for example techniques for detecting and monitoring his head, or his eyes, using one or more cameras to determine its position in the space along the three axes. This position can be transmitted to the terminal by the camera or cameras in charge of obtaining positioning. This type of technique is for example described in the article "Real-Time Eye Detection and Tracking under Various Light Conditions" by Feng Jiao and Guiming He (Data Science Journal, Vol 6 (2007) pp. S636-S640). This document is incorporated by reference in this application. Once this position (POS) obtained, the terminal T must calculate (E102) the best possible view among all available views. In our example, the computation is relatively simple since C has moved on the left, it is consequently the unique left view, V2, which will be proposed to him. However, one can imagine that there are several left views with different viewing angles, and in this case the decision module of the terminal should take the best possible angle for A, for example the closest. Once the view has been selected, the previously described steps E3 and E4 for calculating (E3) and transmitting to the glasses (E4) of the shutter signal can be performed. All other steps are similar to those of the first embodiment and will therefore not be described further.

La figure 6 représente de façon très schématique une architecture matérielle du terminal T qui implémente le module MT de gestion de l'affichage. Le terminal T comporte un processeur CPU destiné à exécuter les différentes étapes du procédé. Ce processeur est relié à une mémoire M dans laquelle sont mémorisés au moins les programmes logiciels associés au procédé (dans une partie permanente - ROM) de la mémoire et des données d'entrée correspondant à la vidéo multivues, des moyens d'entrée-sortie I/O aptes à communiquer avec l'extérieur, notamment pour échanger les données vidéo avec un écran connecté au terminal, avec un réseau de communications (R), et pour recevoir des données de sélection de vues ou de positionnement de la part des utilisateurs. Par exemple ces moyens d'entrée-sortie comportent une interface HDMI (pour High Definition Multimedia Interface) permettant le transfert de données numériques multimédia (audio et vidéo) non compressées en haute définition vers le téléviseur. Par exemple, l'information de sélection provient des lunettes actives des utilisateurs. Tous ces éléments sont reliés entre eux par un système de bus 6. Il va de soi que le mode de réalisation qui a été décrit ci-dessus a été donné à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l'homme de l'art sans pour autant sortir du cadre de l'invention. 10 FIG. 6 very schematically shows a hardware architecture of the terminal T which implements the MT module for managing the display. The terminal T comprises a CPU processor intended to execute the various steps of the method. This processor is connected to a memory M in which are stored at least the software programs associated with the method (in a permanent part - ROM) of the memory and input data corresponding to the multi-view video, input-output means I / O able to communicate with the outside, in particular for exchanging video data with a screen connected to the terminal, with a communications network (R), and for receiving view selection data or positioning data from users . For example, these input-output means comprise an HDMI interface (for High Definition Multimedia Interface) allowing the transfer of uncompressed digital multimedia data (audio and video) in high definition to the television. For example, the selection information comes from the active glasses of the users. All these elements are interconnected by a bus system 6. It goes without saying that the embodiment which has been described above has been given for information only and not limiting, and that many modifications can be easily made by those skilled in the art without departing from the scope of the invention. 10

Claims

REVENDICATIONS1. Method for rendering views of a video (VMV) represented by at least two views (V1, V2, V3, V4) intended to be rendered on a screen (TV), characterized in that it comprises the following steps: successive display of the views on the screen (El, E5); - selection of a displayed view (E2, E'2); - generation (E3) of a shutter signal (SIG) depending on the selection; - restitution of the selected view (E4, S3) taking into account the shutter signal (SIG).

2. A method for managing the display of views of a video (VMV) represented by at least two views (V1, V2, V3, V4) intended to be rendered on a screen (TV), characterized in that comprises the following steps: - successive display control (El, E5) views on the screen (W); - obtaining (E2, E'2) information (POS, SELVIEW) to select a view; - generation (E3) of a shutter signal (SIG) depending on the selection; - Transmission (E4) of said shutter signal (SIG).

3. Management method of the display of views according to claim 2, characterized in that it further comprises a calculation step (E5) for the reduction of the number of views to be displayed successively.

4. A method of managing the display of views according to claim 3, characterized in that the calculation step (E5) takes into account the frequency characteristics of the screen.

5. A method for managing the display of views according to claim 3, characterized in that the calculation step (E5) takes into account the views that have been selected (V1, V2, V3).

6. A method of managing the display of views according to claim 2, characterized in that the information obtained relates to the position (POS) of the recipient of the shutter signal relative to the screen.

7. A method of managing the display of views according to claim 2, characterized in that the information obtained is a number of view (1,2,3,4) selected.

8. Method for selecting views of a video (VMV) represented by at least two views (V1, V2, V3, V4) intended to be rendered on a screen (TV) according to the reproduction method defined in claim 1, characterized in that it comprises the following steps: - reception of a shutter signal (SIG); - shutter (S3) views of the video for a signal state (P).

9. System (SYS) for the reproduction of views of a video (VMV) represented by at least two views (V1, V2, V3, V4) on a screen (TV), characterized in that it comprises: means for successively displaying views on the screen (TV); means for selecting a displayed view (E2, E'2); means for generating a shutter signal (E3, SIG) (A) as a function of the selected view; means for closing the selected view (SIG, LUN, E4, S3) taking into account the generated shutter signal (GIS).

10. Terminal (T) for managing the video view display (VMV) represented by at least two views (V1, V2, V3, V4) for display on a screen (TV), characterized in that it comprises the following steps: - successive display control means (E1, E5) views on the screen (TV); means for obtaining information (POS, SEL-VIEW) for selecting a view (E2); means for generating (E4) a shutter signal (SIG) as a function of the selected view; transmission means (E4) of said shutter signal (SIG).

11. Display equipment (LA, LB, LC) comprising shutter glasses, said equipment being able to cooperate with a terminal as defined in claim 10, characterized in that it comprises - receiving means of a shutter signal (SIG) - shutter means (S3) of video frames for a state of the shutter signal (P).

12. A computer program capable of being implemented on a terminal as defined in claim 10, the program comprising code instructions which, when the program is executed by a processor, performs the steps of the method defined according to the claim. 2.15