FR3090256A1 - Method for reproducing a main content on a terminal by restoring secondary content associated with a displayed object, terminal, server, and corresponding computer program. - Google Patents

Method for reproducing a main content on a terminal by restoring secondary content associated with a displayed object, terminal, server, and corresponding computer program. Download PDF

Info

Publication number
FR3090256A1
FR3090256A1 FR1872768A FR1872768A FR3090256A1 FR 3090256 A1 FR3090256 A1 FR 3090256A1 FR 1872768 A FR1872768 A FR 1872768A FR 1872768 A FR1872768 A FR 1872768A FR 3090256 A1 FR3090256 A1 FR 3090256A1
Authority
FR
France
Prior art keywords
content
reproduction
main
terminal
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1872768A
Other languages
French (fr)
Other versions
FR3090256B1 (en
Inventor
Cédric Floury
Aurore Catteau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to FR1872768A priority Critical patent/FR3090256B1/en
Publication of FR3090256A1 publication Critical patent/FR3090256A1/en
Application granted granted Critical
Publication of FR3090256B1 publication Critical patent/FR3090256B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Abstract

Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants. La présente invention concerne un procédé de reproduction, sur un terminal, d’un contenu multimédia enrichi comportant les étapes suivantes : réception (3.1) d’un flux multimédia et affichage (3.2) sur un écran du terminal d’un contenu visuel dit « principal" extrait de ce flux multimédia, détermination (3.4) à l’aide d’une caméra d’une zone de l’écran dite « zone d’intérêt » sur laquelle se porte le regard du spectateur, identification (3.5) dans la zone d’intérêt, d’au moins un objet visuel du contenu visuel affiché, obtention (3.6) d’un contenu audio et/ou visuel dit « secondaire » associé à l’objet visuel identifié, restitution (3.7) du contenu audio ou vidéo secondaire sur l’écran du terminal, en même temps que la reproduction d’une partie au moins du contenu principal. L’invention concerne également le terminal, le serveur, et programme d’ordinateur correspondant, aptes à mettre en œuvre le procédé. Figure 3Method for reproducing a main content on a terminal by restoring secondary content associated with a displayed object, terminal, server, and corresponding computer program. The present invention relates to a method of reproducing, on a terminal, enriched multimedia content comprising the following steps: reception (3.1) of a multimedia stream and display (3.2) on a screen of the terminal of visual content called " main "extract from this multimedia flow, determination (3.4) using a camera of an area of the screen called" area of interest "on which the viewer's gaze is focused, identification (3.5) in the area of interest, of at least one visual object of the visual content displayed, obtaining (3.6) of audio and / or visual content called "secondary" associated with the identified visual object, restitution (3.7) of the audio content or secondary video on the screen of the terminal, at the same time as the reproduction of at least part of the main content The invention also relates to the terminal, the server, and corresponding computer program, capable of implementing the method Figure 3

Description

DescriptionDescription

Titre de l'invention : Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants.Title of the invention: Method of reproducing on a terminal a main content by restoring secondary content associated with a displayed object, terminal, server, and corresponding computer program.

1. Domaine de l’invention1. Field of the invention

[0001] Le domaine de l’invention est celui de la reproduction de contenus visuels, et/ou audiovisuels sur un terminal de communication doté d’un écran. Plus précisément, l’invention concerne le fait que le contenu principal comporte des objets s’affichant à l’écran, que ces objets sont associés à des contenus secondaires, et que le regard du spectateur se posant un certain temps sur cet objet déclenche la restitution du contenu secondaire.The field of the invention is that of the reproduction of visual and / or audiovisual content on a communication terminal equipped with a screen. More specifically, the invention relates to the fact that the main content comprises objects appearing on the screen, that these objects are associated with secondary content, and that the gaze of the spectator, landing for a certain time on this object triggers the restitution of secondary content.

2. Art antérieur2. Prior art

[0002] Ces moyens de reproduction sont très fréquemment utilisés au domicile des particuliers, dans des collectivités mais également dans le mode professionnel où les moyens de vidéoconférence sont de plus en plus utilisés. Les moyens de communication omniprésents à l’heure actuelle permettent de voir un contenu visuel à tout moment et dans des endroits très divers. Les terminaux peuvent être portables comme les téléphones intelligent (ou « smartphone » en langue anglo-saxonne), les tablettes, les ordinateurs portables, ou localisés dans un endroit particulier (comme un décodeur (« Set top box » en langue anglo-saxonne) ou ordinateur fixe. Très généralement l’utilisateur sélectionne un canal de diffusion et lance la reproduction du contenu diffusé en temps réel sur l’écran de son terminal.These means of reproduction are very frequently used in the homes of individuals, in communities but also in the professional mode where videoconferencing means are increasingly used. The ubiquitous means of communication today allow visual content to be seen at any time and in a wide variety of places. The terminals can be portable like smart phones (or “smartphone” in Anglo-Saxon language), tablets, portable computers, or located in a particular place (like a decoder (“Set top box” in Anglo-Saxon language) or desktop computer Very generally the user selects a broadcasting channel and starts the reproduction of the content broadcast in real time on the screen of his terminal.

[0003] Les plateformes de diffusion regorgent de contenus multimédia, permettant ainsi aux spectateurs de choisir un document qui présente un intérêt pour lui. La navigation dans des listes très grandes de contenus disponibles peut être fastidieuse, les constructeurs ont développé des moyens de sélection des contenus pour présenter une liste courte de ceux qui correspondent le mieux aux goûts des spectateurs. Les contenus sont associés à des métadonnées qui les caractérisent et qui sont comparées aux données de profil du spectateur. Lorsque les données sont corrélées, le contenu associé a de forte chance de plaire aux spectateurs. Les plateformes de diffusion peuvent recevoir un profil des spectateurs et fournir en retour une liste restreinte d’identifiants de contenus propres à satisfaire les goûts des spectateurs.Broadcast platforms are full of multimedia content, allowing viewers to choose a document that is of interest to him. Navigating through very large lists of available content can be tedious, the manufacturers have developed means of selecting content to present a short list of those that best suit the tastes of viewers. The contents are associated with metadata which characterize them and which are compared with the data of profile of the spectator. When the data is correlated, the associated content is likely to appeal to viewers. Broadcast platforms can receive a spectator profile and in return provide a shortlist of content identifiers that meet the tastes of the spectators.

[0004] Même lorsque le contenu correspond parfaitement à ses goûts, le spectateur peut avoir envie de compléments qui ne se trouvent pas dans le contenu qu’il a sélectionné. Prenons par exemple un match de football, le spectateur peut avoir envie de savoir en temps réel l’identité du joueur qui a le ballon, des détails sur l’action de jeu qui est en cours, le son capté à un certain endroit du stade, ou toute autre information liée au contenu actuellement diffusé. Ce spectateur en particulier peut souhaiter enrichir le contenu actuellement reproduit sur son écran par un autre contenu. Il peut alors lancer une requête sur le réseau de communication pour obtenir des réponses à ses questions, par exemple l’âge d’un joueur, ou l’identité d’un arbitre. Au cours de cette interrogation, il se détourne de son écran pour interagir avec un autre moyen de communication et peut perdre le fil de l’événement.Even when the content perfectly matches their tastes, the viewer may want additions that are not found in the content they have selected. Take for example a football match, the spectator may want to know in real time the identity of the player who has the ball, details on the action of play which is in progress, the sound picked up at a certain place of the stadium. , or any other information related to the content currently broadcast. This spectator in particular may wish to enrich the content currently reproduced on his screen with other content. He can then launch a request on the communication network to obtain answers to his questions, for example the age of a player, or the identity of a referee. During this interrogation, he turns away from his screen to interact with another means of communication and may lose track of the event.

[0005] Il existe donc un réel besoin d’un procédé de reproduction d’un contenu affiché sur un écran qui permet à un spectateur d’obtenir des compléments se rapportant à un intérêt pour lui.There is therefore a real need for a process for reproducing content displayed on a screen which allows a viewer to obtain additions relating to an interest for him.

[0006] Il existe donc un besoin pour une nouvelle façon d’interagir avec son récepteur pour déclencher la restitution d’un contenu audio et/ou vidéo qui est associé à un objet générant un intérêt pour un spectateur.There is therefore a need for a new way of interacting with its receiver to trigger the reproduction of audio and / or video content which is associated with an object generating interest for a viewer.

3. Exposé de l’invention3. Statement of the invention

[0007] Un objet de la présente invention est de proposer une solution permettant d’enrichir un contenu visuel ou audiovisuel en ajoutant à l’affichage dudit contenu des éléments textuels, audio et/ou vidéo complémentaires associés à un objet affiché dans ledit contenu.An object of the present invention is to provide a solution for enriching visual or audiovisual content by adding to the display of said content additional textual, audio and / or video elements associated with an object displayed in said content.

[0008] Un autre objet de la présente invention est de proposer une solution permettant à des spectateurs de facilement commander l’enrichissement d’un contenu visuel ou audiovisuel en restituant au moins un élément textuel, audio et/ou vidéo complémentaire associé à un objet affiché dans ledit contenu.Another object of the present invention is to provide a solution allowing spectators to easily order the enrichment of visual or audiovisual content by rendering at least one additional text, audio and / or video element associated with an object. displayed in said content.

[0009] Selon un premier aspect, il est proposé un procédé de reproduction, sur un terminal, d’un contenu multimédia enrichi comportant les étapes suivantes :According to a first aspect, there is proposed a method of reproduction, on a terminal, of enriched multimedia content comprising the following steps:

[0010] - réception d’un flux multimédia et affichage sur un écran du terminal d’un contenu visuel dit « principal extrait de ce flux multimédia,- reception of a multimedia stream and display on a screen of the terminal of visual content called "main extract of this multimedia stream,

[0011] - détermination à l’aide d’une caméra d’une zone de l’écran dite « zone d’intérêt » sur laquelle se porte le regard du spectateur,- determination using a camera of an area of the screen called "area of interest" on which the gaze of the viewer is focused,

[0012] - identification dans la zone d’intérêt, d’au moins un objet visuel du contenu visuel affiché,- identification in the area of interest, of at least one visual object of the visual content displayed,

[0013] - obtention d’un contenu audio et/ou visuel dit « secondaire » associé à l’objet visuel identifié,- obtaining audio and / or visual content called "secondary" associated with the identified visual object,

[0014] - restitution du contenu audio et/ou vidéo secondaire sur l’écran du terminal, en même temps que la reproduction d’une partie au moins du contenu principal.- playback of secondary audio and / or video content on the terminal screen, at the same time as the reproduction of at least part of the main content.

[0015] Un tel procédé selon ce mode de réalisation permet d’enrichir un contenu principal en restituant des contenus secondaires associés à un objet qui apparaît dans ledit contenu et qui est sélectionné par un simple regard du spectateur. De cette manière, le spectateur n’a pas besoin d’interagir avec les mains ou avec la voix sur une interface utilisateur, un simple regard appliqué plus ou moins longtemps sur un objet présenté visuellement dans le contenu principal suffit à lancer la restitution de ce contenu secondaire.Such a method according to this embodiment makes it possible to enrich a main content by restoring secondary content associated with an object which appears in said content and which is selected by a simple glance from the viewer. In this way, the spectator does not need to interact with the hands or with the voice on a user interface, a simple glance applied more or less long on an object presented visually in the main content is enough to start the restitution of this secondary content.

[0016] Selon un mode particulier de réalisation, l’étape de détection d’un objet intervient lorsque les coordonnées de la zone d’intérêt correspondent aux coordonnées d’un objet pendant une durée déterminée de reproduction d’une partie au moins du contenu principal. De cette manière, un regard sur l’objet d’une durée trop courte ne déclenche pas et de façon intempestive, l’enrichissement du contenu affiché.According to a particular embodiment, the step of detecting an object occurs when the coordinates of the area of interest correspond to the coordinates of an object for a determined duration of reproduction of at least part of the content main. In this way, a look at the object of too short a duration does not trigger and inadvertently, the enrichment of the displayed content.

[0017] Selon un mode particulier de réalisation, le contenu secondaire est un texte affiché à proximité de l’objet sur l’écran, ledit texte étant extrait du contenu secondaire. De cette manière, le spectateur peut lire des données supplémentaires concernant l’objet pointé par son regard.According to a particular embodiment, the secondary content is a text displayed near the object on the screen, said text being extracted from the secondary content. In this way, the spectator can read additional data concerning the object pointed by his gaze.

[0018] Selon un mode particulier de réalisation, le contenu secondaire est un contenu vidéo qui est affiché dans un médaillon au sein de l’image du contenu principal. De cette manière, le spectateur peut voir des détails supplémentaires se rapportant à l’objet pointé par son regard.According to a particular embodiment, the secondary content is video content which is displayed in a medallion within the image of the main content. In this way, the viewer can see additional details relating to the object pointed by his gaze.

[0019] Selon un mode particulier de réalisation, la reproduction du contenu secondaire s’interrompt à la suite d’une durée déterminée. De cette manière, l’enrichissement disparaît automatiquement après une durée déterminée.According to a particular embodiment, the reproduction of the secondary content is interrupted after a determined period. In this way, the enrichment automatically disappears after a specified period.

[0020] Selon un mode particulier de réalisation, la reproduction du contenu secondaire s’interrompt lorsque l’objet détecté n’apparaît plus dans le flux principal. De cette manière, l’enrichissement du contenu principal se prolonge jusqu’à ce que l’objet cesse d’apparaître dans les images du flux principal.According to a particular embodiment, the reproduction of the secondary content is interrupted when the detected object no longer appears in the main stream. In this way, the enrichment of the main content continues until the object ceases to appear in the images of the main stream.

[0021] Selon un mode particulier de réalisation, la reproduction du contenu secondaire s’interrompt lorsque le plan séquence de la vidéo du flux principal s’arrête pour transmettre un nouveau plan séquence. De cette manière, l’enrichissement ne dure que le temps d’un plan séquence.According to a particular embodiment, the reproduction of the secondary content is interrupted when the sequence shot of the video of the main stream stops to transmit a new sequence shot. In this way, the enrichment only lasts for the time of a sequence shot.

[0022] Selon un mode particulier de réalisation, le procédé de reproduction comporte des étapes préalables à la diffusion du flux principal consistant à identifier un nombre déterminé d’objets, à identifier des contenus secondaires ayant un lien avec lesdits objets identifiés et à associer ces contenus secondaires avec ces objets. De cette manière, l’identification des objets et l’association peuvent s’effectuer de manière anticipée et être réutilisable pour d’autres contenus.According to a particular embodiment, the reproduction method comprises steps prior to the dissemination of the main stream consisting in identifying a determined number of objects, in identifying secondary content having a link with said identified objects and in associating these secondary content with these objects. In this way, the identification of objects and the association can be carried out in advance and be reusable for other content.

[0023] Selon un mode particulier de réalisation, les étapes de sélection d’un contenu multimédia secondaire s’effectue au niveau du système de reproduction. De cette manière, l’enrichissement du contenu principal est personnalisé à chaque terminal exécutant la reproduction de ce contenu.According to a particular embodiment, the steps for selecting secondary multimedia content are carried out at the level of the reproduction system. In this way, the enrichment of the main content is personalized at each terminal performing the reproduction of this content.

[0024] Selon un mode particulier de réalisation, le contenu secondaire est un flux vidéo dont les images ont une résolution supérieure aux images du flux principal, le contenu de la zone d’intérêt étant affiché avec une résolution supérieure à celle des objets situés autour de cette zone d’intérêt. De cette manière, la zone de l’écran sous le regard du spectateur est affichée avec une meilleure définition.According to a particular embodiment, the secondary content is a video stream whose images have a resolution higher than the images of the main stream, the content of the area of interest being displayed with a resolution higher than that of the objects located around of this area of interest. In this way, the area of the screen under the spectator's gaze is displayed with better definition.

[0025] Selon un mode particulier de réalisation, le contenu secondaire est un flux audio associé à l’objet affiché dans la zone d’intérêt. De cette manière, le spectateur reçoit des signaux auditifs fournissant un complément par rapport aux signaux du contenu principal.According to a particular embodiment, the secondary content is an audio stream associated with the object displayed in the area of interest. In this way, the viewer receives auditory signals providing a complement to the main content signals.

[0026] Selon un autre aspect, il est proposé un terminal de reproduction d’un contenu multimédia enrichi comportant un moyen de réception d’un contenu visuel ou audiovisuel, un moyen de reproduction permettant au moins l’affichage d’un contenu visuel ou audiovisuel dit « principal », un moyen de détection de la direction du regard d’un spectateur vers les images affichées du contenu principal et de calcul des coordonnées d’une zone dit « zone d’intérêt » sur laquelle se porte le regard du spectateur. Le moyen de réception reçoit également au moins un contenu audio et/ou visuel dit « secondaire » associé à un objet apparaissant dans les images du contenu principal à un moment déterminé, le terminal comportant en outre un moyen de détection de la présence d’un objet affiché dans la zone d’intérêt au cours de ce moment déterminé déclenchant la sélection du contenu secondaire associé à cet objet et la reproduction sur le moyen de reproduction du contenu multimédia enrichi tant que le regard du spectateur reste pointé sur la zone d’intérêt qui contient cet objet, le contenu enrichi étant composé d’une partie au moins du contenu principal et du contenu secondaire sélectionné.In another aspect, there is proposed a terminal for reproducing enriched multimedia content comprising means for receiving visual or audiovisual content, a means of reproduction allowing at least the display of visual content or so-called "mainstream" audiovisual, a means of detecting the direction of the gaze of a spectator towards the displayed images of the main content and of calculating the coordinates of an area called "area of interest" on which the gaze of the spectator is focused . The reception means also receives at least one audio and / or visual content called "secondary" associated with an object appearing in the images of the main content at a determined time, the terminal further comprising means for detecting the presence of a object displayed in the area of interest during this determined moment triggering the selection of the secondary content associated with this object and the reproduction on the means of reproduction of the enriched multimedia content as long as the viewer's gaze remains focused on the area of interest which contains this object, the enriched content being composed of at least part of the main content and the selected secondary content.

[0027] Un tel terminal est notamment adapté pour la mise en œuvre du procédé de reproduction d’un contenu tel que décrit précédemment. Ce terminal pourra bien sûr comporter les différentes caractéristiques relatives au procédé de reproduction d’un contenu tel que proposé ci-dessus, qui peuvent être combinées ou prises isolément. Ainsi, les caractéristiques et avantages de ce terminal sont les mêmes que ceux du procédé de reproduction.Such a terminal is particularly suitable for implementing the method of reproducing content as described above. This terminal may of course include the various characteristics relating to the process for reproducing content as proposed above, which can be combined or taken in isolation. Thus, the characteristics and advantages of this terminal are the same as those of the reproduction process.

[0028] Selon un autre aspect, il est proposé un serveur de production d’un contenu multimédia enrichi comportant un moyen de communication vers un terminal de reproduction distant et un moyen de stockage de documents composés d’un contenu visuel ou audiovisuel dit « principal », et d’au moins un contenu audio et/ou visuel dit « secondaire » associé à un objet apparaissant dans des images du contenu principal à un moment déterminé. Le moyen de stockage comporte un moyen associant au moins un contenu secondaire avec des positions dans l’image d’un objet apparaissant dans le contenu principal à un moment déterminé, la réception en provenance du terminal de reproduction de coordonnées d’une zone d’image et d’une durée déterminée déclenchant un moyen de détection de la présence d’un objet dans cette zone du contenu principal au cours de la dote durée déterminée, le moyen de communication émettant vers le terminal de reproduction distant au moins un contenu secondaire associé à l’objet qui est détecté dans la zone d’image apparaissant dans le flux principal au cours de cette durée déterminée.According to another aspect, there is proposed a server for producing enriched multimedia content comprising a means of communication to a remote reproduction terminal and a means of storing documents composed of visual or audiovisual content called "main ", And at least one audio and / or visual content called" secondary "associated with an object appearing in images of the main content at a given time. The storage means comprises means associating at least one secondary content with positions in the image of an object appearing in the main content at a determined time, the reception coming from the reproduction terminal of coordinates of a zone of image and of a fixed duration triggering a means of detecting the presence of an object in this area of the main content during the fixed-term period, the communication means transmitting to the remote reproduction terminal at least one associated secondary content to the object which is detected in the image area appearing in the main stream during this determined period.

[0029] Un tel serveur est notamment adapté pour la mise en œuvre du procédé de reproduction d’un contenu tel que décrit précédemment. Ce serveur pourra comporter les différentes caractéristiques relatives au procédé de reproduction d’un contenu tel que proposé ci-dessus, qui peuvent être combinées ou prises isolément. Ainsi, les caractéristiques et avantages de ce terminal sont les mêmes que ceux du procédé de reproduction.Such a server is particularly suitable for implementing the method of reproducing content as described above. This server may include the various characteristics relating to the process for reproducing content as proposed above, which can be combined or taken in isolation. Thus, the characteristics and advantages of this terminal are the same as those of the reproduction process.

[0030] Selon un autre aspect, il est proposé un produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé de reproduction d’un contenu multimédia enrichi tel que décrit ci-dessous lorsque ledit programme est exécuté sur une unité centrale.In another aspect, there is provided a computer program product comprising program code instructions for the execution of the steps of the method for reproducing enriched multimedia content as described below when said program is executed on a central unit.

[0031] Selon un autre aspect, il est proposé un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme comprenant des instructions pour la mise en œuvre d’un procédé.In another aspect, there is provided a non-transient recording medium readable by a computer on which is recorded a program comprising instructions for the implementation of a method.

4. DESCRIPTION DES FIGURES4. DESCRIPTION OF THE FIGURES

[0032] D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : - [Fig 1] : représente un diagramme bloc d’un dispositif pour reproduire un contenu enrichi, selon un exemple de réalisation;Other characteristics and advantages of the invention will appear more clearly on reading the following description of a particular embodiment, given by way of simple illustrative and nonlimiting example, and of the appended drawings, among which: - [Fig 1]: represents a block diagram of a device for reproducing enriched content, according to an exemplary embodiment;

- [Fig 2] : est un schéma montrant différents éléments d’un serveur apte à mettre en œuvre l’invention selon un exemple de réalisation ;- [Fig 2]: is a diagram showing different elements of a server capable of implementing the invention according to an exemplary embodiment;

- [Fig 3] : présente les principales étapes d’un procédé de reproduction sur un terminal d’un contenu multimédia enrichi, selon un exemple de réalisation;- [Fig 3]: presents the main steps of a process for reproducing enriched multimedia content on a terminal, according to an exemplary embodiment;

- [Fig 4] : représentent quatre exemples d’apparences d’écran référencées 4.a, 4.b, 4.c et 4.d montrant un contenu affiché avec et sans enrichissement.- [Fig 4]: represent four examples of screen appearances referenced 4.a, 4.b, 4.c and 4.d showing content displayed with and without enrichment.

5. Description d’un mode de réalisation5. Description of an embodiment

[0033] La solution proposée permet d’enrichir un contenu principal en restituant des contenus secondaires associés à un objet affiché dans ledit contenu et de lancer la restitution de ces contenus secondaires par un simple regard appliqué plus ou moins longtemps sur l’objet affiché lors de la reproduction du contenu principal.The proposed solution makes it possible to enrich a main content by restoring secondary content associated with an object displayed in said content and to launch the restitution of these secondary content by a simple look applied more or less long on the object displayed during reproduction of the main content.

[0034] 5.1 Dispositifs pour la mise en œuvre du procédé5.1 Devices for implementing the method

[0035] La figure 1 présente un récepteur audiovisuel 1 connecté à un dispositif d’affichage 2 tel qu’un écran de visualisation. Le récepteur 1 est par exemple un décodeur de télévision numérique, un terminal audiovisuel doté de moyens de communication à travers un réseau numérique, par exemple un téléphone portable intelligent (ou « smartphone » en Anglais), une tablette numérique, un ordinateur portable. , ... ou tout autre appareil numérique doté de moyen de réception et de reproduction de contenus visuels ou audiovisuels. Le récepteur 1 comprend une unité centrale 3 reliée notamment à une mémoire 4 contenant des programmes exécutables, une interface de réception de signaux infrarouges 9 pour recevoir les signaux d’une télécommande 10, une interface vidéo 12 pour la création de signaux visuels envoyés à l’écran de télévision 2. Le récepteur 1 peut être intégré dans l’écran de visualisation, par exemple un grand écran LCD comportant un module de réception de télévision numérique. Une variante consiste à séparer physiquement le récepteur 1 et l’écran 2, le récepteur 1 étant alors un décodeur relié à un écran ou un téléviseur 2. Selon un exemple préféré de réalisation, le récepteur est équipé d’une interface 5 pour la communication avec un serveur distant via un réseau numérique 6. Selon le type de récepteur utilisé, la communication s’effectue à courte ou longue portée, par exemple avec un réseau local sans fil (Wifi ou Bluetooth). Le récepteur 1 peut également recevoir des données audio et/ ou vidéo de contenus transmis « en streaming ». La télécommande 10 émet des signaux vers une interface 9 pour contrôler le fonctionnement du récepteur 1. Le récepteur peut également comporter des moyens de réception 7 pour recevoir à 1 ‘aide d’une antenne des contenus visuels ou audiovisuels émis par un serveur de diffusion via un réseau de diffusion. Le serveur de diffusion émet sur le réseau des fichiers de données encodées et compressées pour la reproduction de contenus audio et/ou visuels, ces contenus étant également appelés « multimédia ». Les fichiers de données sont transmis d’une façon ou d’une autre aux récepteurs 1 pour y être décodés et décompressés.Figure 1 shows an audiovisual receiver 1 connected to a display device 2 such as a display screen. The receiver 1 is for example a digital television decoder, an audiovisual terminal provided with means of communication through a digital network, for example an intelligent portable telephone (or "smartphone" in English), a digital tablet, a portable computer. , ... or any other digital device with means of reception and reproduction of visual or audiovisual content. The receiver 1 comprises a central unit 3 connected in particular to a memory 4 containing executable programs, an interface for receiving infrared signals 9 for receiving signals from a remote control 10, a video interface 12 for creating visual signals sent to the television screen 2. The receiver 1 can be integrated into the display screen, for example a large LCD screen comprising a digital television reception module. A variant consists in physically separating the receiver 1 and the screen 2, the receiver 1 then being a decoder connected to a screen or a television 2. According to a preferred embodiment, the receiver is equipped with an interface 5 for communication with a remote server via a digital network 6. Depending on the type of receiver used, communication takes place at short or long range, for example with a wireless local area network (Wifi or Bluetooth). The receiver 1 can also receive audio and / or video data of content transmitted "in streaming". The remote control 10 transmits signals to an interface 9 to control the operation of the receiver 1. The receiver can also include reception means 7 for receiving, using an antenna, visual or audiovisual content transmitted by a broadcasting server via a broadcasting network. The broadcasting server sends encoded and compressed data files over the network for the reproduction of audio and / or visual content, this content also being called “multimedia”. The data files are transmitted in one way or another to receivers 1 to be decoded and decompressed there.

[0036] Le récepteur peut également comporter une unité de mémorisation 11 pour le stockage des contenus visuels ou audiovisuels téléchargées ou diffusées. Le support de mémorisation utilisé est par exemple : une mémoire vive, un disque dur ou un disque optique, il peut être amovible ou non. L’interface vidéo 12 qui permet d’émettre des signaux visuels à l’écran 2, est dotée d’un circuit de génération de texte et de graphisme permettant d'afficher à l'écran du texte, des graphiques, des pictogrammes en superposition ou non d’un contenu visuel. L’interface vidéo 12 est contrôlée par l’Unité Centrale 3 en association avec un programme exécutable enregistré dans la mémoire 4. Le récepteur 1 peut également comporter une interface audio 13 pour transmettre des signaux audio à des haut-parleurs 14 intégrés ou non, au récepteur 1.The receiver can also include a storage unit 11 for storing visual or audiovisual content downloaded or broadcast. The storage medium used is for example: a random access memory, a hard disk or an optical disk, it may or may not be removable. The video interface 12 which makes it possible to emit visual signals on the screen 2, is provided with a text generation and graphics circuit making it possible to display on the screen text, graphics, pictograms superimposed or not of visual content. The video interface 12 is controlled by the Central Unit 3 in association with an executable program recorded in the memory 4. The receiver 1 can also include an audio interface 13 for transmitting audio signals to loudspeakers 14 integrated or not, to receiver 1.

[0037] Le récepteur comprend également un circuit d’interface 16 avec un capteur d’imageThe receiver also includes an interface circuit 16 with an image sensor

15, typiquement une caméra orientée vers les spectateurs en face du dispositif d’affichage 2. Le capteur est disposé de façon à détecter le spectateur ou les spectateurs qui est(sont) placé(s) devant l’écran sur lequel le contenu visuel ou audiovisuel s’affiche. Selon une variante de réalisation, cette caméra peut être intégrée dans le récepteur 1, généralement au-dessus de l’écran, comme c’est le cas pour certains ordinateurs portables, ou être fixée au bout d’un câble et posé sur un support.15, typically a camera oriented towards the spectators in front of the display device 2. The sensor is arranged so as to detect the spectator or spectators who is (are) placed (s) in front of the screen on which the visual content or audiovisual is displayed. According to an alternative embodiment, this camera can be integrated into the receiver 1, generally above the screen, as is the case for certain portable computers, or be fixed at the end of a cable and placed on a support. .

[0038] L’unité centrale 3 exécute plusieurs modules de programme exécutable enregistrés dans la mémoire 4, ces modules gèrent au moins la communication et la caméra et l’affichage du contenu enrichi.The central unit 3 executes several executable program modules recorded in the memory 4, these modules manage at least the communication and the camera and the display of the enriched content.

[0039] Un premier module analyse les images acquises par le capteur d’image. Ce premier module recherche la présence d’au moins un visage dans l’image. La détection de visages dans l’image est une technique maintenant connue. Une fois qu’un visage est détecté, un second module détermine la direction du regard de cette personne. Des techniques connues en soi permettent de telle détermination. Parmi ces techniques, on peut citer celles basées sur l’éclairage en infrarouge des yeux de la personne et l’analyse de la réflexion de cette lumière sur le globe oculaire, les techniques basées sur la mesure de la température superficielle de la peau, les techniques basées sur des marques portées sur le visage de la personne et enfin les techniques basées sur l’analyse de l’image des visages pour en estimer la pose et la direction du regard. Selon certaines techniques qui utilisent la détection infrarouge, l’environnement doit être éclairé dans cette gamme d’onde de façon que le capteur, par exemple une caméra infrarouge, puisse détecter la présence de visage avec suffisamment de contraste pour ensuite effectuer un traitement sur l’image.A first module analyzes the images acquired by the image sensor. This first module searches for the presence of at least one face in the image. The detection of faces in the image is a technique now known. Once a face is detected, a second module determines the direction of gaze of that person. Techniques known per se allow such determination. Among these techniques, we can cite those based on the infrared lighting of the person's eyes and the analysis of the reflection of this light on the eyeball, the techniques based on the measurement of the surface temperature of the skin, the techniques based on marks worn on the person's face and finally techniques based on the analysis of the image of the faces to estimate the pose and the direction of the gaze. According to certain techniques which use infrared detection, the environment must be lit in this wave range so that the sensor, for example an infrared camera, can detect the presence of a face with sufficient contrast to then carry out a treatment on the 'picture.

[0040] Un troisième module permet de déterminer en fonction de la direction du regard, le point de l’image à l’écran 2 où se pose le regard de la personne. Connaissant la position 3D du visage, la direction du regard et la position de l’écran (et sa forme) un simple calcul de l’intersection donne l’endroit de l’image projetée qui est regardée. Le point de l’image où se pose le regard est identifié par un pixel référencé par son abscisse et son ordonnée. La zone autour de ce point est donc sous le regard direct de la personne. Connaissant la position dans l’espace du visage, la direction du regard et la position ainsi que les dimensions de l’écran, ce module détermine à quel endroit de l’écran le regard de la personne se pose.A third module makes it possible to determine, depending on the direction of gaze, the point of the image on screen 2 where the gaze of the person is posed. Knowing the 3D position of the face, the direction of the gaze and the position of the screen (and its shape) a simple calculation of the intersection gives the location of the projected image which is viewed. The point of the image where the gaze is posed is identified by a pixel referenced by its abscissa and its ordinate. The area around this point is therefore under the direct gaze of the person. Knowing the position in the face space, the direction of the gaze and the position as well as the dimensions of the screen, this module determines where on the screen the gaze of the person is posed.

[0041] Selon un exemple de réalisation, les coordonnées de l’endroit de l’écran où le regard de la personne est posé, sont transmises à un serveur distant qui fournit des éléments destinés à enrichir le contenu audio et/ou visuel. Selon une variante, l’enrichissement peut s’effectuer localement, au niveau du récepteur qui sera alors doté d’une puissance de calcul suffisante.According to an exemplary embodiment, the coordinates of the place on the screen where the gaze of the person is placed, are transmitted to a remote server which provides elements intended to enrich the audio and / or visual content. According to a variant, the enrichment can be carried out locally, at the level of the receiver which will then be endowed with sufficient computing power.

[0042] La Fig.2 est un schéma montrant différents éléments d’un serveur distant apte à mettre en œuvre l’invention selon un exemple de réalisation. Les données d’enrichissement de contenu audio et/ou vidéo sont calculées et produites par un serveur distant 20. Ledit serveur 20 comprend une unité centrale 21, une mémoire 22 contenant au moins un programme exécutable, une mémoire contenant une base de données 23 enregistrée dans une zone de stockage réalisée préférentiellement par un disque dur et une interface de communication 24 pour établir des communications bidirectionnelles via le réseau bidirectionnel 6 avec au moins un récepteur 1 tel que décrit précédemment. Le serveur 20 peut également recevoir des informations en provenance du réseau de diffusion grâce à une interface 25. Les informations enregistrées dans la base de données 23 concernent les contenus audio et/ou visuel.Fig.2 is a diagram showing different elements of a remote server capable of implementing the invention according to an exemplary embodiment. The audio and / or video enrichment data are calculated and produced by a remote server 20. Said server 20 comprises a central unit 21, a memory 22 containing at least one executable program, a memory containing a recorded database 23 in a storage area preferably produced by a hard disk and a communication interface 24 for establishing bidirectional communications via the bidirectional network 6 with at least one receiver 1 as described above. The server 20 can also receive information from the broadcasting network through an interface 25. The information recorded in the database 23 concerns the audio and / or visual content.

[0043] Après avoir détaillé sous la forme d’un exemple les différents dispositifs mettant en œuvre l’invention, nous allons maintenant expliciter comment ceux-ci coopèrent.After having detailed in the form of an example the various devices implementing the invention, we will now explain how they cooperate.

[0044] 5.2 Les étapes du procédé selon un mode simple de réalisation5.2 The steps of the method according to a simple embodiment

[0045] L’ordinogramme de la Fig. 3 présente les principales étapes du procédé de reproduction sur un récepteur 1 d’un contenu multimédia enrichi, selon un exemple de réalisation. Ces étapes sont de préférence mises en œuvre par un programme informatique mémorisé dans les dispositifs de stockage 4 et 22 et exécuté par les processeurs 3 et 21 au niveau du récepteur 2 et/ou du serveur 20.The flowchart of FIG. 3 presents the main steps of the method for reproducing enriched multimedia content on a receiver 1, according to an exemplary embodiment. These steps are preferably implemented by a computer program stored in the storage devices 4 and 22 and executed by the processors 3 and 21 at the level of the receiver 2 and / or of the server 20.

[0046] Dans un premier temps, un utilisateur allume son récepteur audiovisuel 1, navigue dans un guide électronique de programmes et sélectionne un contenu visuel ou audiovisuel diffusé à des fins de reproduction à l’écran (étape 3.1), ce contenu est qualifié de « principal ». A l’étape 3.2, l’utilisateur lance la reproduction du contenu principal sur l’écran. Concomitamment à l’affichage, l’unité centrale 3 exécute le module qui analyse l’image acquise par la caméra pour déterminer l’endroit de l’image affichée sur lequel se porte le regard de l’utilisateur (étape 3.3). Les modules d’affichage et d’analyse des signaux de la caméra peuvent s’exécuter en parallèle sur la même unité centrale 3, ce qui n’exclut pas que ces deux fonctions soient réalisées par des circuits spécialisés. Dans tous les cas, le module d’analyse des signaux de la caméra transmet au module d’affichage les coordonnées du point de l’image, dit « point de regard » qui se trouve exactement dans la direction du regard de rutilisateur (étape 3.4). Ces coordonnées sont exprimées dans un repère lié à l’image. La transmission des coordonnées de ce point peuvent s’effectuer sur requête du module d’affichage, par exemple lors de la réalisation de chaque nouvelle image, ou à des intervalles de temps réguliers, tous les 200 millisecondes par exemple.First, a user turns on his audiovisual receiver 1, navigates through an electronic program guide and selects visual or audiovisual content broadcast for the purpose of reproduction on the screen (step 3.1), this content is qualified as " main ". In step 3.2, the user starts playing the main content on the screen. Concomitantly with the display, the central unit 3 executes the module which analyzes the image acquired by the camera to determine the location of the displayed image on which the user's gaze is focused (step 3.3). The signal display and analysis modules of the camera can be executed in parallel on the same central unit 3, which does not exclude that these two functions are carried out by specialized circuits. In all cases, the camera's signal analysis module transmits to the display module the coordinates of the point of the image, known as the “gaze point” which is exactly in the direction of the user's gaze (step 3.4 ). These coordinates are expressed in a coordinate system linked to the image. The transmission of the coordinates of this point can be carried out at the request of the display module, for example during the production of each new image, or at regular time intervals, every 200 milliseconds for example.

[0047] A l’étape 3.5, le module d’analyse d’image détermine si le regard de l’utilisateur est fixé sur le même objet. Cette étape consiste à analyser le contenu visuel du contenu principal et à définir un certain nombre d’objets présents à des endroits déterminés de ce contenu visuel. A la suite de cette analyse, un certain nombre d’objets détectés sont associés à des coordonnées où ils apparaissent sur l’écran 2. Si les coordonnées du point de regard de l’utilisateur correspondent pendant un certain temps, une seconde par exemple, aux coordonnées d’un objet présent sur l’écran alors cet objet est marqué comme étant d’un intérêt pour l’utilisateur. Le procédé de reproduction va alors enrichir le contenu en cours de reproduction en restituant un contenu audio et/ou vidéo secondaire, ce contenu étant associé à l’objet se situant dans le point de regard déterminé à l’étape 3.4.In step 3.5, the image analysis module determines whether the user's gaze is fixed on the same object. This step consists of analyzing the visual content of the main content and defining a certain number of objects present at specific locations in this visual content. Following this analysis, a certain number of detected objects are associated with coordinates where they appear on the screen 2. If the coordinates of the point of view of the user correspond for a certain time, a second for example, to the coordinates of an object present on the screen then this object is marked as being of interest to the user. The reproduction process will then enrich the content being reproduced by rendering secondary audio and / or video content, this content being associated with the object located in the point of view determined in step 3.4.

[0048] A l’étape 3.6, un élément audio ou visuel ou audiovisuel est recherché selon le critère qu’il est en rapport avec l’objet sélectionné dans le contenu principal. La recherche peut s’effectuer dans des métadonnées associées au contenu principal, ou par une requête sur Internet en utilisant des identifiants associés à l’objet pointé par le regard du spectateur, ou dans une base de données qui est associée au contenu principal et qui comporte des associations de données telles que :In step 3.6, an audio, visual or audiovisual element is sought according to the criterion that it is related to the object selected in the main content. The search can be carried out in metadata associated with the main content, or by a request on the Internet using identifiers associated with the object pointed by the viewer's gaze, or in a database which is associated with the main content and which includes data associations such as:

[0049] - identifiant d’un objet présent dans le contenu principal,[0049] - identifier of an object present in the main content,

[0050] - coordonnées dans l’image où l’objet est présent et moments d’apparition de cet objet,- coordinates in the image where the object is present and moments of appearance of this object,

[0051] - contenu(s) secondaire(s) (textuel, audio, visuel, audiovisuel, ...) associé aux objets.- secondary content (s) (text, audio, visual, audiovisual, ...) associated with the objects.

[0052] Une fois qu’un contenu secondaire associé à l’objet pointé par le regard du spectateur est détecté, ce contenu est immédiatement restitué soit sur l’écran 2, soit par les hautparleurs 14, soit par les deux moyens de restitution.Once secondary content associated with the object pointed by the spectator's gaze is detected, this content is immediately restored either on screen 2, or by the speakers 14, or by the two reproduction means.

[0053] Le programme reboucle ensuite à l’étape 3.3 pour continuer à analyser le regard du spectateur et éventuellement arrêter l’enrichissement si ce spectateur cesse de regarder un objet. La boucle constituée par les étapes 3.3 à 3.7 s’effectue à intervalle régulier d’une durée T de 200 millisecondes par exemple.The program then loops back to step 3.3 to continue analyzing the viewer's gaze and possibly stop the enrichment if the viewer stops looking at an object. The loop constituted by steps 3.3 to 3.7 takes place at regular intervals with a duration T of 200 milliseconds for example.

[0054] Si l’analyse des images captées par la caméra révèle :If the analysis of the images captured by the camera reveals:

- que plus personne n’est détecté devant l’écran, ou- no one is detected in front of the screen, or

- que le(s) spectateur(s) ne regarde(nt) plus l’écran, ou- that the spectator (s) no longer look at the screen, or

- que le(s) spectateur(s) regarde(nt) l’écran sans fixer un objet en particulier, ou- that the spectator (s) look (s) at the screen without fixing a particular object, or

- qu’une commande d’arrêt de l’enrichissement est entrée sur la télécommande, [0055] alors le récepteur passe en mode normal, et stoppe la restitution du contenu secondaire associé à l’objet pointé par le regard.- that an enrichment stop command is entered on the remote control, then the receiver switches to normal mode, and stops the restitution of the secondary content associated with the object pointed at by the gaze.

[0056] Selon un perfectionnement, le contenu secondaire est associé à une information définissant une fenêtre temporelle pour sa restitution sur le récepteur 1. Les limites de cette fenêtre temporelle peuvent être définies par la présence de l’objet associé dans les images du contenu principal. Prenons par exemple un journal télévisé dans lequel des reportages sont présentés, certains objets apparaissant au cours de ce reportage sont caractéristiques de celui-ci et un spectateur peut vouloir recevoir un complément de ce reportage. Il regarde alors un de ces objets et un contenu secondaire prévu pour compléter ce reportage est restitué. Ce contenu est restitué même si cet objet n’est pas mis à l’écran. La restitution du contenu secondaire s’arrête lorsque le reportage cesse d’être reproduit et le récepteur passe en mode normal, sans enrichissement du contenu principal.According to an improvement, the secondary content is associated with information defining a time window for its restitution on the receiver 1. The limits of this time window can be defined by the presence of the associated object in the images of the main content. . Let us take for example a television news in which reports are presented, certain objects appearing during this report are characteristic of this one and a spectator can want to receive a supplement of this report. He then looks at one of these objects and secondary content planned to complete this report is restored. This content is rendered even if this object is not put on the screen. The playback of secondary content stops when the report ceases to be reproduced and the receiver switches to normal mode, without enriching the main content.

[0057] La Fig. 4.a, 4.b, 4.c et 4.d représentent quatre exemples d’apparences d’écran montrant un contenu affiché avec et sans enrichissement, ces apparences d’écran sont produites sur l’écran d’une tablette. Ces exemples concernent un match de football diffusé sur un canal de télévision numérique et reproduit sur un grand nombre de récepteurs. Ce match est filmé par plusieurs caméras dont certaines sont configurées pour suivre certains joueurs. La Fig. 4.b montre à l’écran deux joueurs dont l’un (celui de gauche) est regardé pendant une durée déterminée par un spectateur. Le mode enrichissement s’applique alors pour ce récepteur, ce dernier émet des signaux visuels qui ne font apparaître que le joueur de gauche en plan plus gros, c’est-à-dire en zoomant sur lui. Avantageusement, le nom de ce joueur apparaît par un texte affiché à proximité de ce joueur, en y ajoutant éventuellement d’autres données : son club, son âge, ... A un autre moment de la reproduction de ce contenu principal, la Fig. 4.c montre à l’écran ces deux joueurs, dont l’un, celui de droite est regardé pendant une durée déterminée par un autre spectateur sur un autre récepteur. Le mode enrichissement s’applique alors pour cet autre récepteur, et l’image de la Fig. 4.d apparaît à l’écran en ne montrant que le joueur de droite en zoomant sur lui. On peut ainsi constater que, bien qu’ayant sélectionné le même contenu principal, les deux récepteurs présentent des apparences d’écran très différentes, ces apparences étant fonction de l’intérêt de chaque spectateur regardant leurs écrans.[0057] FIG. 4.a, 4.b, 4.c and 4.d represent four examples of screen appearances showing content displayed with and without enrichment, these screen appearances are produced on the screen of a tablet. These examples relate to a football match broadcast on a digital television channel and reproduced on a large number of receivers. This match is filmed by several cameras, some of which are configured to follow certain players. Fig. 4.b shows two players on the screen, one of whom (the one on the left) is watched for a period of time determined by a spectator. The enrichment mode is then applied for this receiver, the latter transmits visual signals which only show the player on the left in a larger plan, that is to say by zooming in on him. Advantageously, the name of this player appears by a text displayed near this player, possibly adding other data: his club, his age, ... At another time of the reproduction of this main content, Fig . 4.c shows on screen these two players, one of whom on the right is watched for a period determined by another spectator on another receiver. The enrichment mode is then applied for this other receiver, and the image of FIG. 4.d appears on the screen, showing only the player on the right by zooming in on him. We can thus see that, although having selected the same main content, the two receivers have very different screen appearances, these appearances being a function of the interest of each spectator watching their screens.

[0058] 5.3 Exemples spécifiques d’implémentation du procédé5.3 Specific examples of implementation of the process

[0059] Selon un mode particulier de réalisation, le contenu secondaire est une partie de l’image avec une résolution supérieure. De cette manière, l’objet qui est pointé par le regard du spectateur est vu avec une meilleure résolution. Il est connu que les données numériques d’images sont encodées et compressées avant leur transport. Lors de la reproduction, ces données sont décodées et décompressées avant de les envoyer à un processeur graphique chargé d’afficher l’image sur un écran ou tout autre moyen de projection. Ces données comportent plusieurs niveaux de résolution d’images pour aboutir à une image avant une résolution maximale.According to a particular embodiment, the secondary content is a part of the image with a higher resolution. In this way, the object which is pointed by the spectator’s gaze is seen with better resolution. It is known that digital image data is encoded and compressed before being transported. During reproduction, this data is decoded and decompressed before sending it to a graphics processor responsible for displaying the image on a screen or any other means of projection. This data has multiple levels of image resolution to achieve an image before maximum resolution.

[0060] Selon ce mode particulier de réalisation, les données d’image sont décodées et décompressées à un niveau intermédiaire, nécessitant ainsi une puissance de calcul moyenne pour un récepteur standard. Dans le mode enrichissement, une zone d’écran est définie autour du point de regard et les signaux d’images affichant cette zone sont décodées et décompressées avec une résolution maximale. Une image composite est ainsi produite comportant une zone de définition améliorée au sein d’une image de dé finition plus faible. De cette manière, le spectateur regarde avec une meilleure définition une portion d’image et le reste de l’écran qui n’est pas regardé, est affiché avec une définition inférieure. Ce mode de réalisation présente l’avantage d’économiser globalement de la puissance de calcul dédiée à la décompression et le décodage des données vidéo.According to this particular embodiment, the image data is decoded and decompressed to an intermediate level, thus requiring an average computing power for a standard receiver. In the enrichment mode, a screen area is defined around the point of view and the image signals displaying this area are decoded and decompressed with a maximum resolution. A composite image is thus produced comprising an improved definition area within a weaker definition image. In this way, the viewer looks at a portion of the image with better definition and the rest of the screen, which is not viewed, is displayed at a lower resolution. This embodiment has the advantage of saving overall computing power dedicated to decompressing and decoding video data.

[0061] Selon un mode particulier de réalisation, le producteur ou le diffuseur du contenu principal analyse lui-même le contenu visuel pour déterminer les objets susceptibles d’intéresser les spectateurs. Le producteur ou le diffuseur du contenu produit alors les éléments déjà présentés précédemment, à savoir :According to a particular embodiment, the producer or the broadcaster of the main content analyzes the visual content himself to determine the objects likely to interest the spectators. The producer or distributor of the content then produces the elements already presented previously, namely:

[0062] - identifiant d’un objet présent dans le contenu principal,[0062] - identifier of an object present in the main content,

[0063] - coordonnées dans l’image où l’objet est présent et moments d’apparition de cet objet,[0063] coordinates in the image where the object is present and moments of appearance of this object,

[0064] - contenu(s) secondaire(s) (textuel, audio, visuel, audiovisuel, ...) associé(s) aux objets.- secondary content (s) (text, audio, visual, audiovisual, etc.) associated with the objects.

[0065] Le producteur ou le diffuseur du contenu principal diffuse ces éléments avec le contenu principal afin que chaque récepteur 1 les traite et peut basculer dans un mode enrichissement, propre à satisfaire le ou les spectateurs.The producer or broadcaster of the main content broadcasts these elements with the main content so that each receiver 1 processes them and can switch to an enrichment mode, suitable for satisfying the spectator (s).

[0066] Lorsque le récepteur connaît à l’avance les objets présents dans le contenu principal et la position de ces objets, il peut rajouter une caractéristique graphique à leurs représentations apparaissant sur l’écran 2. Par exemple, en connaissant les coordonnées de l’objet présent à l’écran, le récepteur renforce son contour en y ajoutant une couleur. De cette manière, le spectateur perçoit qu’il existe un contenu secondaire associé à cet objet et peut lancer sa restitution par un simple regard.When the receiver knows in advance the objects present in the main content and the position of these objects, it can add a graphic characteristic to their representations appearing on the screen 2. For example, by knowing the coordinates of the object present on the screen, the receiver reinforces its outline by adding a color to it. In this way, the viewer perceives that there is secondary content associated with this object and can launch its rendering with a simple look.

[0067] Selon un mode particulier de réalisation, le contenu principal présente un concert de musique classique, un flux audio dit principal diffuse ce qui est entendu dans la salle. Des canaux audio sont captés par des microphones spécifiques placés auprès de certains musiciens et constituent autant de contenus secondaires associés à ces musiciens. Lorsqu’un spectateur fixe pendant un certain temps l’image affichée sur l’écran d’un certain musicien, le récepteur détecte le point de regard et en déduit de quel musicien il s’agit, se positionne en mode enrichissement et mixe le contenu audio principal avec le contenu audio secondaire associé à ce musicien sous le regard du spectateur. Les niveaux des signaux audio produits par le mixage sont par exemple à 50% le contenu principal et 50% le contenu secondaire, de cette manière chaque spectateur de ce concert perçoit plus facilement les signaux musicaux produits par tel ou tel musicien.According to a particular embodiment, the main content presents a classical music concert, a so-called main audio stream broadcasts what is heard in the room. Audio channels are picked up by specific microphones placed near certain musicians and constitute as much secondary content associated with these musicians. When a spectator fixes for a certain time the image displayed on the screen of a certain musician, the receiver detects the point of view and deduces which musician it is, positions himself in enrichment mode and mixes the content primary audio with secondary audio content associated with that musician in front of the viewer. The levels of the audio signals produced by the mix are for example 50% the main content and 50% the secondary content, in this way each spectator of this concert more easily perceives the musical signals produced by such or such musician.

[0068] Selon un mode particulier de réalisation, les contenus secondaires comportent une composante vidéo associée à un objet apparaissant à l’écran. Le contenu principal est affiché à l’écran et, lorsqu’un spectateur pointe son regard pendant un certain temps sur un objet affiché, alors la composante vidéo du contenu secondaire associé à cet objet est affichée dans un médaillon au sein de l’image du contenu principal.According to a particular embodiment, the secondary content includes a video component associated with an object appearing on the screen. The main content is displayed on the screen and, when a spectator points his gaze for a certain time on a displayed object, then the video component of the secondary content associated with this object is displayed in a medallion within the image of the main content.

[0069] Le procédé de reproduction sur un terminal d’un contenu multimédia enrichi peut être mis en œuvre sous forme logicielle, comme décrit ci-dessus, auquel cas il prend la forme d’un programme exécutable par un processeur, ou sous forme matérielle (ou « hardware »), comme un circuit intégré spécifique application (ASIC), un système sur puce (SOC), ou sous forme d’une combinaison d’éléments matériels et logiciels, comme par exemple un programme logiciel destiné à être chargé et exécuté sur un composant de type FPGA. A la mise sous tension du terminal et/ou du serveur fournissant les contenus secondaires, les instructions de code du programme d’ordinateur sont par exemple chargées dans une mémoire RAM avant d’être exécutées par le processeur de l’unité centrale. Le processeur de l’unité centrale est configuré pour mettre en œuvre le procédé de reproduction d’un contenu principal enrichi.The method of reproduction on a terminal of enriched multimedia content can be implemented in software form, as described above, in which case it takes the form of a program executable by a processor, or in hardware form (or "hardware"), such as an application-specific integrated circuit (ASIC), a system on a chip (SOC), or in the form of a combination of hardware and software elements, such as for example a software program intended to be loaded and executed on an FPGA type component. When the terminal and / or the server providing the secondary content are switched on, the code instructions of the computer program are for example loaded into a RAM memory before being executed by the processor of the central unit. The processor of the central processing unit is configured to implement the method of reproducing enriched main content.

[0070] Bien que décrits à travers un certain nombre d’exemples de réalisation détaillés, les procédés proposés et les dispositifs correspondants comprennent différentes variantes, modifications et perfectionnements qui apparaîtront de façon évidente à l’homme de l’art, étant entendu que ces différentes variantes, modifications et perfectionnements font partie de la portée de l’invention, telle que définie par les revendications qui suivent. De plus, différents aspects et caractéristiques décrits ci-dessus peuvent être mis en œuvre ensemble, ou séparément, ou bien substitués les uns aux autres, et l’ensemble des différentes combinaisons et sous combinaisons des aspects et caractéristiques font partie de la portée de l’invention. En outre, il se peut que certains dispositifs décrits ci-dessus n’incorporent pas la totalité des modules et fonctions décrits pour les modes de réalisation.Although described through a number of detailed exemplary embodiments, the methods proposed and the corresponding devices include different variants, modifications and improvements which will be obvious to those skilled in the art, it being understood that these various variants, modifications and improvements form part of the scope of the invention, as defined by the claims which follow. In addition, different aspects and characteristics described above can be implemented together, or separately, or else substituted for one another, and all of the different combinations and sub-combinations of the aspects and characteristics are part of the scope of the 'invention. In addition, some devices described above may not incorporate all of the modules and functions described for the embodiments.

Claims (1)

Revendications Claims [Revendication 1] [Claim 1] Procédé de reproduction, sur un terminal, d’un contenu multimédia enrichi comportant les étapes suivantes : - réception (3.1) d’un flux multimédia et affichage (3.2) sur un écran du terminal d’un contenu visuel ou audiovisuel dit « principal extrait de ce flux multimédia, - détermination (3.4) à l’aide d’une caméra d’une zone de l’écran dite « zone d’intérêt » sur laquelle se porte le regard du spectateur, - identification (3.5) dans la zone d’intérêt, d’au moins un objet visuel du contenu visuel affiché, - obtention (3.6) d’un contenu audio et/ou visuel dit « secondaire » associé à l’objet visuel identifié, - restitution (3.7) du contenu audio ou vidéo secondaire sur l’écran du terminal, en même temps que la reproduction d’une partie au moins du contenu principal. Method for reproducing, on a terminal, enriched multimedia content comprising the following steps: - reception (3.1) of a multimedia stream and display (3.2) on a screen of the terminal of visual or audiovisual content called "main extract of this multimedia stream, - determination (3.4) using a camera of a so-called screen area "Area of interest" on which the spectator looks, - identification (3.5) in the area of interest, of at least one visual object of the visual content displayed, - obtaining (3.6) audio and / or visual content called "secondary" associated with the identified visual object, - restitution (3.7) of secondary audio or video content on the terminal screen, at the same time as the reproduction of at least part of the main content. [Revendication 2] [Claim 2] Procédé de reproduction selon la revendication 1, caractérisé en ce que l’étape de détection (3.4) d’un objet intervient lorsque les coordonnées de la zone d’intérêt correspondent aux coordonnées d’un objet pendant une durée déterminée de reproduction d’une partie au moins du contenu principal. Reproduction method according to claim 1, characterized in that the detection step (3.4) of an object occurs when the coordinates of the area of interest correspond to the coordinates of an object during a determined duration of reproduction of a at least part of the main content. [Revendication 3] [Claim 3] Procédé de reproduction selon la revendication 1 ou 2, caractérisé en ce que le contenu secondaire est un texte affiché à proximité de l’objet sur l’écran, ledit texte étant extrait du contenu secondaire. Reproduction method according to claim 1 or 2, characterized in that the secondary content is a text displayed close to the object on the screen, said text being extracted from the secondary content. [Revendication 4] [Claim 4] Procédé de reproduction selon la revendication 1 ou 2, caractérisé en ce que le contenu secondaire est un contenu vidéo qui est affiché dans un médaillon au sein de l’image du contenu principal. A reproduction method according to claim 1 or 2, characterized in that the secondary content is video content which is displayed in a medallion within the image of the main content. [Revendication 5] [Claim 5] Procédé de reproduction selon l’une quelconque des revendications 1 à 4, caractérisé en ce que la reproduction du contenu secondaire s’interrompt à la suite d’une durée déterminée. Reproduction method according to any one of claims 1 to 4, characterized in that the reproduction of the secondary content is interrupted after a determined period. [Revendication 6] [Claim 6] Procédé de reproduction selon l’une quelconque des revendications 1 à 4, caractérisé en ce que la reproduction du contenu secondaire s’interrompt lorsque l’objet détecté n’apparaît plus dans le flux principal. Reproduction method according to any one of Claims 1 to 4, characterized in that the reproduction of the secondary content is interrupted when the detected object no longer appears in the main stream. [Revendication 7] [Claim 7] Procédé de reproduction selon l’une quelconque des revendications 1 à 4, caractérisé en ce que la reproduction du contenu secondaire s’interrompt lorsque le plan séquence de la vidéo du flux principal s’arrête pour transmettre un nouveau plan séquence. Reproduction method according to any one of Claims 1 to 4, characterized in that the reproduction of the secondary content is interrupted when the video clip of the main stream stops to transmit a new video clip.
[Revendication 8] [Claim 8] Procédé de reproduction selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte des étapes préalables à la diffusion du flux principal consistant à identifier un nombre déterminé d’objets, à identifier des contenus secondaires ayant un lien avec lesdits objets identifiés et à associer ces contenus secondaires avec ces objets. Reproduction method according to any one of the preceding claims, characterized in that it comprises steps prior to the dissemination of the main stream consisting in identifying a determined number of objects, in identifying secondary content having a link with said identified objects and associate these secondary contents with these objects. [Revendication 9] [Claim 9] Procédé de reproduction selon l’une quelconque des revendications 1 à 7, caractérisé en ce que les étapes de sélection d’un contenu multimédia secondaire s’effectue au niveau du système de reproduction. Reproduction method according to any one of Claims 1 to 7, characterized in that the steps for selecting secondary multimedia content are carried out at the level of the reproduction system. [Revendication 10] [Claim 10] Procédé de reproduction selon l’une quelconque des revendications précédentes, caractérisé en ce que le contenu secondaire est un flux vidéo dont les images ont une résolution supérieure aux images du flux principal, le contenu de la zone d’intérêt étant affiché avec une résolution supérieure à celle des objets situés autour de cette zone d’intérêt. Reproduction method according to any one of the preceding claims, characterized in that the secondary content is a video stream whose images have a resolution higher than the images of the main stream, the content of the area of interest being displayed with a higher resolution to that of objects located around this area of interest. [Revendication 11] [Claim 11] Procédé de reproduction selon l’une quelconque des revendications précédentes, caractérisé en ce que le contenu secondaire est un flux audio associé à l’objet affiché dans la zone d’intérêt. Reproduction method according to any one of the preceding claims, characterized in that the secondary content is an audio stream associated with the object displayed in the area of interest. [Revendication 12] [Claim 12] Terminal de reproduction (1) d’un contenu multimédia enrichi comportant un moyen de réception d’un contenu visuel ou audiovisuel, un moyen de reproduction permettant au moins l’affichage d’un contenu visuel ou audiovisuel dit « principal », un moyen de détection de la direction du regard d’un spectateur vers les images affichées du contenu principal et de calcul des coordonnées d’une zone dit « zone d’intérêt » sur laquelle se porte le regard du spectateur ; caractérisé en ce que le moyen de réception reçoit également au moins un contenu audio et/ou visuel dit « secondaire » associé à un objet apparaissant dans les images du contenu principal à un moment déterminé, le terminal comportant en outre un moyen de détection de la présence d’un objet affiché dans la zone d’intérêt au cours de ce moment déterminé déclenchant la sélection du contenu secondaire associé à cet objet et la reproduction sur le moyen de reproduction du contenu multimédia enrichi tant que le regard du spectateur reste pointé sur la zone d’intérêt qui contient cet objet, le contenu enrichi étant composé d’une partie au moins du contenu principal et du contenu secondaire sélectionné. Reproduction terminal (1) of enriched multimedia content comprising means for receiving visual or audiovisual content, reproduction means allowing at least the display of so-called “main” visual or audiovisual content, a means of detecting the direction of a spectator's gaze towards the displayed images of the main content and calculating the coordinates of an area called “area of interest” on which the spectator's gaze is focused; characterized in that the reception means also receives at least one so-called “secondary” audio and / or visual content associated with an object appearing in the images of the main content at a determined time, the terminal further comprising means for detecting the presence of an object displayed in the area of interest during this determined moment triggering the selection of the secondary content associated with this object and the reproduction on the reproduction means of the enriched multimedia content as long as the viewer's gaze remains focused on the area of interest that contains this object, the enriched content being composed of at least part of the main content and the selected secondary content. [Revendication 13] [Claim 13] Serveur de production (20) d’un contenu multimédia enrichi comportant un moyen de communication vers un terminal de reproduction distant et un moyen de stockage de documents composés d’un contenu visuel ou Server for production (20) of enriched multimedia content comprising a means of communication to a remote reproduction terminal and a means of storing documents composed of visual content or
audiovisuel dit « principal », et d’au moins un contenu audio et/ou visuel dit « secondaire » associé à un objet apparaissant dans des images du contenu principal à un moment déterminé, caractérisé en ce que le moyen de stockage comporte un moyen associant au moins un contenu secondaire avec des positions dans l’image d’un objet apparaissant dans le contenu principal à un moment déterminé, la réception en provenance du terminal de reproduction de coordonnées d’une zone d’image et d’une durée déterminée déclenchant un moyen de détection de la présence d’un objet dans cette zone du contenu principal au cours de la dote durée déterminée, le moyen de communication émettant vers le terminal de reproduction distant au moins un contenu secondaire associé à l’objet qui est détecté dans la zone d’image apparaissant dans le flux principal au cours de cette durée déterminée.audiovisual said "main", and at least one audio and / or visual content said "secondary" associated with an object appearing in images of the main content at a given time, characterized in that the storage means comprises a means associating at least one secondary content with positions in the image of an object appearing in the main content at a determined time, the reception from the reproduction terminal of coordinates of an image zone and of a determined duration triggering means for detecting the presence of an object in this area of the main content during the fixed-term period, the communication means transmitting to the remote reproduction terminal at least one secondary content associated with the object which is detected in the image area appearing in the main stream during this determined duration. [Revendication 14] Produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé de reproduction d’un contenu multimédia enrichi selon l’une quelconque des revendications 1 à 11 lorsque ledit programme est exécuté sur une unité centrale.[Claim 14] A computer program product comprising program code instructions for executing the steps of the method for reproducing rich multimedia content according to any one of claims 1 to 11 when said program is executed on a unit central. [Revendication 15] Support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme comprenant des instructions pour la mise en œuvre d’un procédé selon l’une quelconque des revendications 1 à 11.[Claim 15] Non-transient recording medium readable by a computer on which a program comprising instructions for the implementation of a method according to any one of claims 1 to 11 is recorded.
FR1872768A 2018-12-12 2018-12-12 A method of reproducing on a terminal a main content by restoring a secondary content associated with a displayed object, terminal, server, and corresponding computer program Active FR3090256B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1872768A FR3090256B1 (en) 2018-12-12 2018-12-12 A method of reproducing on a terminal a main content by restoring a secondary content associated with a displayed object, terminal, server, and corresponding computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1872768A FR3090256B1 (en) 2018-12-12 2018-12-12 A method of reproducing on a terminal a main content by restoring a secondary content associated with a displayed object, terminal, server, and corresponding computer program

Publications (2)

Publication Number Publication Date
FR3090256A1 true FR3090256A1 (en) 2020-06-19
FR3090256B1 FR3090256B1 (en) 2021-07-02

Family

ID=66641038

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1872768A Active FR3090256B1 (en) 2018-12-12 2018-12-12 A method of reproducing on a terminal a main content by restoring a secondary content associated with a displayed object, terminal, server, and corresponding computer program

Country Status (1)

Country Link
FR (1) FR3090256B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3117714A1 (en) * 2020-12-15 2022-06-17 Orange Server, method for processing a video by the server, terminal, and method implemented by the terminal to enrich the video with an object

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking
US20140168056A1 (en) * 2012-12-19 2014-06-19 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140176813A1 (en) * 2012-12-21 2014-06-26 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US20150055808A1 (en) * 2013-08-23 2015-02-26 Tobii Technology Ab Systems and methods for providing audio to a user based on gaze input

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking
US20140168056A1 (en) * 2012-12-19 2014-06-19 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140176813A1 (en) * 2012-12-21 2014-06-26 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US20150055808A1 (en) * 2013-08-23 2015-02-26 Tobii Technology Ab Systems and methods for providing audio to a user based on gaze input

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3117714A1 (en) * 2020-12-15 2022-06-17 Orange Server, method for processing a video by the server, terminal, and method implemented by the terminal to enrich the video with an object
WO2022129753A1 (en) * 2020-12-15 2022-06-23 Orange Server, method for processing a video by means of the server, terminal and method used by the terminal to augment the video by means of an object

Also Published As

Publication number Publication date
FR3090256B1 (en) 2021-07-02

Similar Documents

Publication Publication Date Title
US10757359B1 (en) System and methods providing sports event related media to internet-enabled devices synchronized with a live broadcast of the sports event
EP2403239B1 (en) Method for displaying adapted audiovisual contents and corresponding server
US20190230387A1 (en) System and method for video curation
US8584160B1 (en) System for applying metadata for object recognition and event representation
EP2443566B1 (en) Method of selecting version of a document from a plurality of versions of said document received after a search
US10306303B2 (en) Tailored audio content delivery
CN103327407B (en) Audio-visual content is set to watch level method for distinguishing
US10453263B2 (en) Methods and systems for displaying augmented reality content associated with a media content instance
CN112954390B (en) Video processing method, device, storage medium and equipment
US10939143B2 (en) System and method for dynamically creating and inserting immersive promotional content in a multimedia
EP3434022A1 (en) Method and device for controlling the setting of at least one audio and/or video parameter, corresponding terminal and computer program
FR2875662A1 (en) METHOD FOR VISUALIZING AUDIOVISUAL DOCUMENTS AT A RECEIVER, AND RECEIVER CAPABLE OF VIEWING THEM
EP1741294B1 (en) Method and device for the automatic processing of spontaneous data
KR101585830B1 (en) Storytelling system and method according to emotion of audience
FR3090256A1 (en) Method for reproducing a main content on a terminal by restoring secondary content associated with a displayed object, terminal, server, and corresponding computer program.
US20220353588A1 (en) Program searching for people with visual impairments or blindness
US11418557B1 (en) Systems and methods for automatically switching between media streams
EP3292692B1 (en) Method for setting the level of definition of the images of a multimedia programme
WO2023180274A1 (en) Advanced management of a visual code being displayed in multimedia content
FR2889016A1 (en) METHOD FOR CREATING A SUMMARY OF A DOCUMENT BASED ON CRITERIA INTRODUCED BY THE USER, AND AUDIOVISUAL DEVICE ASSOCIATED WITH THE METHOD
FR3042369A1 (en) CONTEXTUAL ENRICHMENT BY AUDIO RECOGNITION
EP3641326A1 (en) Improved television decoder
FR3116685A1 (en) Personalization of multimedia streams based on dynamic data from connected objects
FR2793987A1 (en) Interactive television broadcast system uses two video signals on single channel with alternative views combined with advertisements
FR3134211A1 (en) Method for managing the synchronization of a soundtrack with a video

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20200619

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6