EP3120571A1 - Procédé et dispositif d'identification d'un contenu en cours de visualisation sur un ecran - Google Patents

Procédé et dispositif d'identification d'un contenu en cours de visualisation sur un ecran

Info

Publication number
EP3120571A1
EP3120571A1 EP15712578.2A EP15712578A EP3120571A1 EP 3120571 A1 EP3120571 A1 EP 3120571A1 EP 15712578 A EP15712578 A EP 15712578A EP 3120571 A1 EP3120571 A1 EP 3120571A1
Authority
EP
European Patent Office
Prior art keywords
terminal
fingerprint
content
brightness
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15712578.2A
Other languages
German (de)
English (en)
Inventor
Emmanuel Pira
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Viaccess SAS
Original Assignee
Viaccess SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Viaccess SAS filed Critical Viaccess SAS
Publication of EP3120571A1 publication Critical patent/EP3120571A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Definitions

  • the invention relates to a method and a device for identifying, by a first terminal, a content being viewed on a screen of a second terminal located in the same space as the first terminal.
  • the invention also relates to a communication terminal adapted to identify content being visualized on a screen of a second terminal located in the same space as the communication terminal.
  • the invention further relates to a computer program stored on a recording medium and having instructions for performing the steps of the method.
  • Increasing improvements in telecommunications techniques and devices allow audio-visual actors to associate additional content with the content provided to users, such as, for example, real-time interactivity, via professional and / or leisure applications.
  • the digital contents displayed on a terminal must first be identified in real time during their display.
  • An object of the invention is to allow automatic identification of a content in real time during its display, low in computing resources and easy to implement, using existing terminals.
  • This object is achieved by means of a method of identification, by a first terminal, of a content being viewed on a screen of a second terminal located in the same space as the first terminal; this process comprising the following steps:
  • the reference fingerprint is previously transmitted to said first terminal, and the comparison of the digital fingerprint generated with the reference fingerprint is performed by the first terminal.
  • the first terminal transmits the generated digital fingerprint to a server that compares said generated fingerprint with the reference fingerprint.
  • the comparison of the digital fingerprint generated with the reference fingerprint consists in calculating a distance between said fingerprints; the content then being identified if the calculated distance is less than a predefined threshold.
  • the comparison of the digital fingerprint generated with the reference fingerprint consists in calculating a correlation between said fingerprints; the content then being identified if the calculated correlation is greater than a predefined threshold.
  • the method according to the invention further comprises a synchronization step of an application, called Second Screen application, operating on the first terminal with the visualization of the digital content identified on the screen of the second terminal.
  • the operator may associate to this content additional additional services, such as the purchase of a relative report to a city where the film or sports competition takes place, or the invitation to respond to an inquiry concerning this city.
  • additional additional services such as the purchase of a relative report to a city where the film or sports competition takes place, or the invitation to respond to an inquiry concerning this city.
  • the operator may also modify the additional services in real time depending on the evolution of the film or the competition being viewed.
  • the method according to the invention not only to identify the digital content provided, but also a moment of the course of the program. This moment may correspond to the beginning of the capture of the luminosity, at the end of the capture of the luminosity, at the moment of the sending of the answer identifying the contents, or at the moment when an additional service must be offered to the user.
  • each image of a digital content broadcast by an operator is associated with a time code having a date in hours, minutes, seconds and image number.
  • This time code makes it possible to find each image of the content after its identification.
  • the position of the imprint that is to say, the position from the beginning of the program, of the predefined duration during which the brightness uptake which gave rise to the impression generation was performed.
  • the method according to the invention makes use of this information to obtain the position of each footprint in the content and to synchronize the Second Screen application with an identified content.
  • the brightness is measured by means of a sensor integrated in the first terminal.
  • the brightness is calculated from images acquired by means of a camera integrated in the first terminal.
  • the digital fingerprint is calculated from the three color components of images acquired during a predefined capture time. This calculation is for example done by summing the brightness values of the components.
  • a fingerprint by component compare each with the corresponding component of the reference fingerprint. It is also possible to generate any combination of these fingerprints representing the evolution over time of the brightness calculated from the different color components of the images acquired during the predefined duration.
  • the method according to the invention is implemented by means of a device comprising:
  • a memory comprising a plurality of reference numerical fingerprints, each reference fingerprint making it possible to identify one of the contents provided, a terminal provided with means for sensing the brightness produced in a space by the second terminal, and means to generate a digital fingerprint from the captured brightness,
  • This device further comprises means for synchronizing an application operating on the first terminal with the real-time visualization of an identified digital content.
  • Said terminal can be a smart mobile phone, a tablet, or a computer having means for capturing the brightness produced by displaying a content displayed on a screen, means for generating a digital fingerprint as a function of the brightness captured, means for comparing the generated digital fingerprint to a reference fingerprint previously stored in a memory, and means for identifying the visualized content.
  • FIG. 1 showing a diagram of an installation in which the method according to the invention is implemented. 'invention.
  • FIG. 1 diagrammatically represents an installation comprising a headend 1 a first terminal 2 of a user, and a second terminal 4 arranged in the same space 5 as the first terminal 2 and playing an audio-visual program provided by the head of network 1.
  • the brightness produced by the display, by the second terminal 4, of a content propagates at all points of the space 5.
  • the first terminal 2 can thus capture this brightness, independently its position in the space 5, without having to aim at the screen of the second terminal 4.
  • the space 5 is for example the same room of a given room, such as a living room, an office or a room of a house or an apartment, or as a set of such rooms open on each other.
  • the headend 1 comprises a transmitter 6 capable of broadcasting a bunch of audiovisual programs and a footprint calculation server 8 comprising a processing module programmed to compute on the fly a reference footprint 9, for example by analysis and processing of data. 'images, for each broadcast program.
  • the calculated reference prints 9 are recorded in a memory 10.
  • the broadcast can be performed on a satellite or terrestrial network, for example. It can also be broadcast in streaming mode, or streaming, especially on the Internet.
  • these contents can then be provided as files for download.
  • the contents can be provided in the form of files previously recorded on any removable physical medium such as a disk or a disk. key.
  • the complete fingerprints that is to say over their entire duration, are then previously calculated and stored in the memory 10.
  • the memory 10 is a simple computer memory, or a more structured and tooled database, for the formation of queries in particular.
  • the first terminal 2 is able to communicate with the headend 1 and comprises a brightness sensor which preferably has a sensitivity that automatically adapts according to the ambient brightness and a calculation module adapted to transform a captured brightness into a light. digital imprint.
  • This first terminal 2 further comprises a multimedia application, called Second Screen application, in the following of this description, which cooperates with a search module installed at the head of the network 1 to provide the first terminal 2 with additional data concerning a content in progress. of diffusion. These data relate for example to a game in relation to the visualized content, or a survey in relation to the visualized content.
  • the fingerprints generated by the fingerprint calculation server 8 may, at least in part, be pre-loaded. for analysis in the first terminal 2 when activating the Second Screen application on the terminal 2.
  • the additional data may also be, at least in part, pre-loaded in the first terminal 2.
  • the acquisition of the brightness in the space 5 can be achieved by means of the brightness sensor generally integrated with the first terminal 2 or by means of a camera associated with this first terminal 2. In the latter case, a treatment of the acquired image can extract the brightness.
  • the length of the signal to be captured can be set according to the number of contents available at the head of the network 1.
  • the total length of the signal to be sensed may not be predetermined, but reached in successive increments of predetermined length.
  • the capturing of the brightness and the generation of the digital fingerprint are successively carried out for segments, adjacent or not, of the content, and the digital fingerprint generated for each of these segments is transmitted in real time to the server.
  • the iteration stops when the fingerprints generated for each of these segments make it possible to take a decision, that is to say to identify the content being viewed, or to diagnose the impossibility of identifying it, or when the length of the signal picked up exceeds a predetermined limit.
  • a digital fingerprint 12 generated by the first terminal 2 is represented by a curve illustrating the evolution of the captured brightness.
  • This footprint is characterized by a first parameter representing a time value on the abscissa axis.
  • the ordinate axis corresponds to a brightness value measured by a sensor integrated in the first terminal 2 or calculated in the case of acquisition via a camera.
  • the brightness value can be normalized on a scale of 0 to 100 for example.
  • the user When the user wishes to benefit from the services associated with an audiovisual program being viewed, he activates the Second Screen application and has the first terminal 2 in the space 5 so as to capture the variations in brightness produced in this space by the images displayed on the screen 11 of the second terminal 4 for a predefined brightness capture duration.
  • the captured brightness is transformed by the calculation module of the first terminal 2 into a digital footprint 12 which results from a sampling of the brightness produced by the second terminal 4 during the predefined capture time.
  • the elementary time interval that constitutes this predefined duration of capturing the brightness depends on the sampling frequency of the signal picked up. Thus, for example, for sampling frequency values of 0.5 Hz, 1 Hz, 5 Hz, and 10 Hz, the elementary time interval has duration of 2 seconds, 1 second, 1/5 second and 1 second respectively.
  • An exemplary representative curve 12 of an imprint is given by way of example in FIG. 1 for a determined duration and sampling frequency.
  • the predefined duration of capture of the brightness, or the length of the generated fingerprints may be equal to an integer number of elementary samples and may for example be of the order of five to a few tens of times the duration of this elementary time interval.
  • the first terminal 2 transmits the digital fingerprint 12 via the Second Screen application to the fingerprint calculation server 8, for example via a wireless connection, a data link by GSM, or an SMS.
  • the fingerprint calculation server 8 searches for the corresponding reference fingerprint 9 in the memory 10. And when the length of the signal picked up is sufficient to allow a decision, that is to say if the content is identified or if the memory 10 does not contain a fingerprint enabling the content to be identified, the footprint calculation server 8 informs the Second Screen application, which stops capturing. Otherwise, the footprint calculation server 8 informs the Second Screen application, which reiterates the capture.
  • the fingerprint calculation server 8 concatenates the fingerprints thus obtained for successive segments of the content at the fingerprint of the first segment, carries out the search for the resulting fingerprint, until the result of the comparison of the The resulting fingerprint with the reference fingerprints 9 is sufficiently significant, and makes it possible to decide whether the content is identified or not.
  • This embodiment corresponds to the case where the segments for which imprints are generated successively are not adjacent.
  • the concatenation of these fingerprints is therefore omitted, and, during the synchronization step, these fingerprints are each searched for as identifying the same content in the memory 10.
  • the process is iterated until the length of the signal picked up is sufficient. to allow a meaningful comparison and to decide whether the content is identified or not.
  • the search module operating in the footprint calculation server 8 makes successive comparisons of the digital fingerprint 12 generated by the first terminal with the reference fingerprint 9.
  • the comparison consists in calculating a distance between said fingerprints, that is to say between the generated digital fingerprint 12, and a segment of the same length of the reference fingerprint 9. in this case, the content will be identified if the distance calculated between said fingerprints is less than a predefined threshold.
  • the comparison of the generated fingerprint 12 with the reference fingerprint 9 consists in calculating a correlation value between said fingerprints, that is to say between the digital fingerprint 12 generated, and a segment of the fingerprint. same length of the reference fingerprint 9. In this case, the content is identified if the calculated value of the correlation between said fingerprints is greater than a predefined threshold.
  • PCA principal component analysis
  • each image of a broadcast program is associated with a digital value comprising a time code indicating a date in hours, minutes, seconds, and image number with respect to a start. program.
  • This program start is for example for a content such as a movie, the moment corresponding to its first image, or, for a content such as a television channel, a given reference time of the course of its broadcast.
  • the identification of the program broadcast is then performed by the footprint calculation server 8 on the basis of this information, for example concerning the last image of the fingerprint.
  • the digital value 20 is transmitted to the first terminal 2 by the footprint calculation server 8 via a wireless connection, a data link via a mobile telephone network, or by an SMS.
  • the current time in the content is determined by taking into account a processing time and fingerprint search, as well as communication, of a few seconds, or by calculating for example by means of a local clock based on the storing the start or end time of the brightness capture, transmission of the generated fingerprint to the fingerprint calculation server 8, or reception of the server response 8.
  • the Second Screen application provides the user with an interaction related to the event that is broadcast at the moment, such as additional information, a game, a survey, or an interaction with social networks. It may also offer other programs related to the identified program.
  • the digital fingerprint 12 is generated from each color component of these images.
  • the footprint calculation server 8 can compare two or three (among respectively R, G, B or Y, U, V).
  • the method according to the invention applies to identify content broadcast live and to allow synchronization and interaction in real time with this content, especially in the case of participation in a game, a quiz or a survey.
  • the method also applies to identifying on-demand content (VOD) or pre-recorded content.
  • VOD on-demand content
  • the memory 10 contains the footprint of each of the contents, over the total duration of the content.
  • the predetermined duration of the digital fingerprint 12 is longer in order to correctly discriminate the program being viewed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

L'invention concerne procédé d'identification, par un premier terminal, d'un contenu en cours de visualisation sur un écran d'un deuxième terminal situé dans un même espace que le premier terminal. Ce procédé comporte les étapes suivantes: - capter par le premier terminal la luminosité produite dans ledit espace par l'écran du deuxième terminal, - générer par le premier terminal au moins une empreinte numérique en fonction de la luminosité captée, - comparer l'empreinte générée à une empreinte de référence préalablement enregistrée dans une mémoire, - identifier le contenu en fonction du résultat de ladite comparaison.

Description

PROCÉDÉ ET DISPOSITIF D'IDENTIFICATION D'UN CONTENU EN COURS DE
VISUALISATION SUR UN ECRAN
DOMAINE TECHNIQUE
L'invention concerne un procédé et un dispositif d'identification, par un premier terminal, d'un contenu en cours de visualisation sur un écran d'un deuxième terminal situé dans un même espace que le premier terminal.
L'invention concerne également un terminal de communication adapté pour identifier un contenu en cours de visua lisation sur un écran d'un deuxième terminal situé dans un même espace que le terminal de communication.
L'invention concerne en outre un programme d'ordinateur mémorisé sur un support d'enregistrement et comportant des instructions pour réaliser les étapes du procédé.
ETAT DE LA TECHNIQUE ANTERIEURE
Les améliorations croissantes des techniques et des dispositifs de télécommunications permettent aux acteurs du monde audio-visuel d'associer aux contenus fournis aux utilisateurs des services supplémentaires tels que par exemple, une interactivité en temps réel, via des applications professionnelles et/ou de loisir.
A cet effet, les contenus numériques visualisés sur un terminal doivent d'abord être identifiés en temps réel au cours de leur visualisation.
Les techniques de l'art antérieur utilisées pour l'identification des contenus en temps réel au cours de leur visualisation s'appuient sur l'analyse de ces contenus eux-mêmes, que ce soit pour en calculer une empreinte numérique, ou y insérer puis détecter une marque.
Du fait de leur com plexité, la mise en œuvre de ces techniques s'appuie sur des implémentations, matérielles ou logicielles, dans les dispositifs de réception, notamment, de capteurs et de processeurs dédiés au calcul de l'empreinte, ou à la détection et à l'analyse de la marque insérée da ns le contenu. Ces implémentations sont exigeantes en termes de ressources de calcul et augmentent la complexité et le coût des terminaux de réception. Un but de l'invention est de permettre une identification automatique d'un contenu en temps réel au cours de sa visualisation, peu exigeante en ressources de calcul et simple à mettre en œuvre, au moyen des terminaux existants.
EXPOSE DE L'INVENTION
Ce but est atteint au moyen d'un procédé d'identification, par un premier terminal, d'un contenu en cours de visualisation sur un écran d'un deuxième terminal situé dans un même espace que le premier terminal; ce procédé comportant les étapes suivantes:
- capter par le premier terminal la luminosité produite dans ledit espace par l'écran du deuxième terminal,
- générer par le premier terminal au moins une empreinte numérique en fonction de la luminosité captée,
- comparer l'empreinte numérique générée à une em preinte de référence préalablement enregistrée dans une mémoire,
- identifier le contenu en fonction du résultat de ladite comparaison.
Dans une première variante de mise en œuvre du procédé, l'empreinte de référence est préalablement tra nsmise audit premier terminal, et la comparaison de l'empreinte numérique générée avec l'empreinte de référence est effectuée par le premier terminal.
Dans une deuxième variante, le premier terminal transmet l'empreinte numérique générée à un serveur qui compare ladite empreinte générée à l'empreinte de référence.
Dans les deux variantes, la comparaison de l'empreinte numérique générée à l'empreinte de référence consiste à calculer une distance entre lesdites empreintes; le contenu étant alors identifié si la distance ca lculée est inférieure à un seuil prédéfini.
Alternativement, la comparaison de l'empreinte numérique générée à l'empreinte de référence consiste à calculer une corrélation entre lesdites empreintes; le contenu étant alors identifié si la corrélation calculée est supérieure à un seuil prédéfini. Préférentiellement, le procédé selon l'invention comporte en outre une étape de synchronisation d'une application, appelée application Second Ecran, fonctionnant sur le premier terminal avec la visualisation du contenu numérique identifié sur l'écran du deuxième terminal.
Grâce au procédé selon l'invention, au cours de la visualisation d'un contenu, un film ou une compétition sportive par exemple, l'opérateur pourra associer à ce contenu des services supplémentaires différents, tels que l'achat d'un reportage relatif à une ville où se déroule le film ou la compétition sportive, ou encore l'invitation à répondre à une enquête concernant cette ville. L'opérateur pourra également modifier en temps réel les services supplémentaires en fonction de l'évolution du film ou de la compétition en cours de visualisation.
Notons que le procédé selon l'invention permet non seulement d'identifier les contenus numériques fournis, mais également un instant du déroulement du programme. Cet instant peut correspondre au début de la captation de la luminosité, à la fin de la captation de la luminosité, à l'instant de l'envoi de la réponse identifiant le contenu, ou à l'instant auquel un service supplémentaire doit être offert à l'utilisateur.
En effet, de façon connue en soi, à chaque image d'un contenu numérique diffusé par un opérateur est associé un code temporel comportant une date libellée en heures, minutes, secondes et numéro d'image. Ce code temporel permet de retrouver chaque image du contenu après son identification. Ainsi, il est possible d'obtenir la position de l'empreinte, c'est-à-dire, la position à partir du début du programme, de la durée prédéfinie au cours de laquelle la captation de luminosité qui a donné lieu à la génération de l'empreinte a été réalisée.
Le procédé selon l'invention met à profit cette information pour obtenir la position de chaque empreinte dans le contenu et pour synchroniser l'application Second Ecran avec un contenu identifié.
Dans un premier mode de réalisation, la luminosité est mesurée au moyen d'un capteur intégré au premier terminal.
Dans un autre mode de réalisation la luminosité est calculée à partir d'images acquises au moyen d'une caméra intégrée au premier terminal. Dans ce dernier mode de réalisation, l'empreinte numérique est calculée à partir des trois composantes de couleur des images acquises pendant une durée de captation prédéfinie. Ce calcul est par exemple réalisé par sommation des valeurs de luminosité des composantes.
Afin d'améliorer la précision de l'identification, il est également possible de générer une empreinte par composante, puis de les comparer chacune avec la composante correspondante de l'empreinte de référence. Il est également possible de générer toute combinaison de ces empreintes représentant l'évolution au cours du temps de la luminosité calculées à partir des différentes composantes de couleur des images acquises pendant la durée prédéfinie.
Le procédé selon l'invention est mis en œuvre au moyen d'un dispositif comportant:
- une mémoire comportant une pluralité d'empreintes numériques de référence, chaque empreinte de référence permettant d'identifier un contenu parmi les contenus fournis, - un terminal muni de moyens pour capter la luminosité produite dans un espace par le deuxième terminal, et des moyens pour générer une empreinte numérique à partir de la luminosité captée,
- des moyens pour comparer l'empreinte numérique générée à une empreinte de référence préalablement enregistrée dans la mémoire, et,
- des moyens pour identifier le contenu visualisé.
Ce dispositif comporte en outre des moyens pour synchroniser une application fonctionnant sur le premier terminal avec la visualisation en temps réel d'un contenu numérique identifié.
Ledit terminal peut être un téléphone mobile intelligent, une tablette, ou un ordinateur comportant des moyens pour capter la luminosité produite par affichage d'un contenu visualisé sur un écran, des moyens pour générer une empreinte numérique en fonction de la luminosité captée, des moyens pour comparer l'empreinte numérique générée à une empreinte de référence préalablement enregistrée dans une mémoire, et des moyens pour identifier le contenu visualisé. BREVE DESCRIPTION DES DESSINS
D'autres caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, prise à titre d'exemple non limitatif, en référence à la figure 1 représentant un schéma d'une installation dans laquelle est mis en œuvre le procédé selon l'invention.
EXPOSE DETAILLE DE MODES DE REALISATION PARTICULIERS
La figure 1 représente schématiquement une installation comportant une tête de réseau 1 un premier terminal 2 d'un utilisateur, et un deuxième terminal 4 agencée dans un même espace 5 que le premier terminal 2 et jouant un programme audio-visuel fourni par la tête de réseau 1.
Dans la description qui suit, on considère que la luminosité produite par la visualisation, par le deuxième terminal 4, d'un contenu, se propage à tous les points de l'espace 5. Le premier terminal 2 peut ainsi capter cette luminosité, indépendamment de sa position dans l'espace 5, sans avoir à viser l'écran du deuxième terminal 4. L'espace 5 est par exemple une même pièce d'un local donné, comme un salon, un bureau ou une chambre d'une maison ou d'un appartement, ou comme un ensemble de telles pièces ouvertes les unes sur les autres.
La tête de réseau 1 comporte un émetteur 6 susceptible de diffuser un bouquet de programmes audiovisuels et un serveur de calcul d'empreinte 8 comprenant un module de traitement programmé pour calculer à la volée une empreinte de référence 9, par exemple par analyse et traitement d'images, pour chaque programme diffusé. Les empreintes de référence 9 calculées sont enregistrées dans une mémoire 10.
La diffusion peut être réalisée sur un réseau satellite ou terrestre, par exemple. Il peut également s'agir de diffusion en mode continu, ou streaming, notamment sur Internet.
De façon alternative, notamment dans le cas de contenus en vidéo à la demande, ces contenus peuvent alors être fournis sous forme de fichiers en téléchargement. Enfin, les contenus peuvent être fournis sous forme de fichiers préalablement enregistrés sur tout support physique amovible tel qu'un disque ou une clé. Les empreintes complètes, c'est-à-dire sur la totalité de leur durée, en sont alors préalablement calculées et enregistrées dans la mémoire 10.
La mémoire 10 est une simple mémoire informatique, ou une base de données plus structurée et outillée, pour la formation de requêtes notamment.
Le premier terminal 2 est apte à communiquer avec à la tête de réseau 1 et comporte un capteur de luminosité qui possède préférentiellement une sensibilité qui s'adapte automatiquement en fonction de la luminosité ambiante et un module de calcul adapté pour transformer une luminosité captée en une empreinte numérique. Ce premier terminal 2 comporte en outre une application multimédia, appelée application Second Ecran, dans la suite de cette description, qui coopère avec un module de recherche installé en tête de réseau 1 pour fournir au premier terminal 2 des données complémentaires concernant un contenu en cours de diffusion. Ces données concernent par exemple un jeu en relation avec le contenu visualisé, ou encore un sondage en relation avec le contenu visualisé.
Afin d'améliorer la réactivité de l'application Second Ecran et d'éviter un engorgement du serveur de calcul d'empreinte 8, les empreintes générées par le serveur de calcul d'empreinte 8 peuvent, au moins en partie, être pré-chargées pour analyse dans le premier terminal 2 lors de l'activation de l'application Second Ecran sur le terminal 2.
Dans le même objectif, les données complémentaires peuvent également être, au moins en partie, pré-chargées dans le premier terminal 2.
Notons que si le premier terminal 2 est un téléphone intelligent, une tablette ou un ordinateur portable, l'acquisition de la luminosité dans l'espace 5 peut être réalisée au moyen du capteur de luminosité généralement intégré à ce premier terminal 2 ou au moyen d'une caméra associée à ce premier terminal 2. Dans ce dernier cas, un traitement de l'image acquise permet d'en extraire la luminosité.
Au cours de la phase de capture de la luminosité, la longueur du signal à capter peut être fixée en fonction du nombre de contenus disponibles en tête de réseau 1.
Alternativement, la longueur totale du signal à capter peut ne pas être prédéterminée, mais atteinte par incréments successifs de longueur prédéterminée. Dans ce cas, la captation de la luminosité et la génération de l'empreinte numérique sont réalisées successivement pour des segments, adjacents ou non, du contenu, et l'empreinte numérique générée pour chacun de ces segments est transmise en temps réel au serveur. L'itération s'arrête lorsque les empreintes générées pour chacun de ces segments permettent de prendre une décision, c'est-à-dire d'identifier le contenu en cours de visualisation, ou de diagnostiquer l'impossibilité de l'identifier, ou lorsque la longueur du signal capté dépasse une limite prédéterminée.
Comme cela est illustré par la figure 1, une empreinte numérique 12 générée par le premier terminal 2 est représentée par une courbe illustrant l'évolution de la luminosité captée. Cette empreinte se caractérise par un premier paramètre représentant une valeur temporelle sur l'axe des abscisses. L'axe des ordonnés correspond à une valeur de luminosité mesurée par un capteur intégré au premier terminal 2 ou calculée dans le cas d'une acquisition via une caméra.
Afin de rendre comparables les échantillons et minimiser l'influence de la distance et de la sensibilité du capteur, la valeur de luminosité peut être normée sur une échelle de 0 à 100 par exemple.
Lorsque l'utilisateur souhaite bénéficier des services associés à un programme audiovisuel en cours de visualisation, il active l'application Second Ecran et dispose le premier terminal 2 dans l'espace 5 de manière à capter les variations de luminosité produites dans cet espace par les images affichées sur l'écran 11 du deuxième terminal 4 pendant une durée de captation de luminosité prédéfinie. La luminosité captée est transformée par le module de calcul du premier terminal 2 en une empreinte numérique 12 qui résulte d'un échantillonnage de la luminosité produite par le deuxième terminal 4 pendant la durée de captation prédéfinie. L'intervalle de temps élémentaire qui constitue cette durée prédéfinie de captation de la luminosité dépend de la fréquence d'échantillonnage du signal capté. Ainsi, par exemple, pour des valeurs de fréquences d'échantillonnage de 0,5 Hz, 1Hz, 5 Hz, et 10 Hz, l'intervalle de temps élémentaire a pour durée respectivement 2 secondes, 1 seconde, 1/5 seconde et 1/10 seconde. Un exemple de courbe représentative 12 d'une empreinte est donné à titre d'exemple par la figure 1 pour une durée et une fréquence d'échantillonnage déterminées. La durée prédéfinie de captation de la luminosité, ou la longueur des empreintes générées, peut être égale à un nombre entier d'échantillons élémentaires et peut par exemple être de l'ordre de cinq à quelques dizaines de fois la durée de cet intervalle de temps élémentaire.
Dans un premier mode de réalisation, le premier terminal 2 transmet l'empreinte numérique 12 via l'application Second Ecran, au serveur de calcul d'empreinte 8 par exemple via une connexion wifi, une liaison data par GSM, ou un SMS.
Si la longueur de l'empreinte numérique est générée par incréments successifs, à la réception de cette empreinte pour un premier segment du contenu, le serveur de calcul d'empreinte 8 recherche l'empreinte de référence 9 correspondante dans la mémoire 10. Et lorsque la longueur du signal capté est suffisante pour permettre une décision, c'est-à-dire si le contenu est identifié ou si la mémoire 10 ne contient pas d'empreinte permettant d'identifier le contenu, le serveur de calcul d'empreinte 8 en informe l'application Second Ecran, qui arrête la captation. Sinon, le serveur de calcul d'empreinte 8 en informe l'application Second Ecran, qui réitère la captation. Puis, le serveur de calcul d'empreinte 8 concatène les empreintes ainsi obtenues pour des segments successifs du contenu à l'empreinte du premier segment, réalise la recherche pour l'empreinte résultante, jusqu'à ce que le résultat de la comparaison de l'empreinte résultante avec les empreintes de référence 9 soit suffisamment significative, et permette de décider que le contenu est ou non identifié.
Ce mode de réalisation correspond au cas où les segments pour lesquels des empreintes sont générées successivement ne sont pas adjacents. La concaténation de ces empreintes est donc omise, et, lors de l'étape de synchronisation, ces empreintes sont chacune recherchées comme identifiant un même contenu dans la mémoire 10. Le procédé est itéré jusqu'à ce que la longueur du signal capté soit suffisante pour permettre une comparaison significative et permette de décider si le contenu est ou non identifié.
Notons que pour identifier le contenu, le module de recherche fonctionnant dans le serveur de calcul d'empreinte 8 effectue des comparaisons successives de l'empreinte numérique 12 générée par le premier terminal avec l'empreinte de référence 9. Dans une première variante de mise en œuvre, la comparaison consiste à calculer une distance entre lesdites empreintes, c'est-à-dire entre l'empreinte numérique 12 générée, et un segment de même longueur de l'empreinte de référence 9. Dans ce cas, le contenu sera identifié si la distance calculée entre lesdites empreintes est inférieure à un seuil prédéfini.
Dans une autre variante, la comparaison de l'empreinte générée 12 à l'empreinte de référence 9 consiste à calculer une valeur de corrélation entre lesdites empreintes, c'est-à-dire entre l'empreinte numérique 12 générée, et un segment de même longueur de l'empreinte de référence 9. Dans ce cas, le contenu est identifié si la valeur calculée de la corrélation entre lesdites empreintes est supérieure à un seuil prédéfini.
Toute autre méthode de reconnaissance de motifs ou empreintes telle que l'analyse en composantes principales (ACP) sur un histogramme peut être utilisée sans sortir du cadre de l'invention.
Dans un mode préféré de réalisation de l'invention, à chaque image d'un programme diffusé est associée une valeur numérique 20 comprenant un code temporel indiquant une date libellée en heures, minutes, secondes, et numéro d'image par rapport à un début de programme. Ce début de programme est par exemple, pour un contenu tel qu'un film, l'instant correspondant à sa première image, ou, pour un contenu tel qu'une chaîne de télévision, un instant de référence donné du cours de sa diffusion. L'identification du programme diffusé est alors réalisée par le serveur de calcul d'empreinte 8 sur la base de ces informations, par exemple concernant la dernière image de l'empreinte.
Lorsque le programme est identifié, la valeur numérique 20 est transmise au premier terminal 2 par le serveur de calcul d'empreinte 8 via une connexion wifi, une liaison de données via un réseau de téléphonie mobile, ou par un SMS.
Ensuite, afin de synchroniser l'application Second Ecran avec le contenu, l'instant courant dans le contenu est déterminé en prenant en compte un délai de traitement et de recherche d'empreinte, ainsi que de communication, de quelques secondes, ou en le calculant par exemple au moyen d'une horloge locale sur la base de la mémorisation de l'instant de début ou de fin de la captation de luminosité, de transmission de l'empreinte générée au serveur de calcul d'empreinte 8, ou de réception de la réponse du serveur 8. Après synchronisation, l'application Second Ecran propose à l'utilisateur une interaction en lien avec l'événement qui est diffusé à l'instant présent, tel que des informations complémentaires, un jeu, un sondage, ou une interaction avec des réseaux sociaux. Elle peut également proposer d'autres programmes en lien avec le programme identifié.
Notons que lorsque la luminosité est calculée à partir des images acquises au moyen d'une caméra, l'empreinte numérique 12 est générée à partir de chaque composante couleur de ces images. Dans ce cas, au lieu de comparer une seule courbe (correspondant à la luminance) le serveur de calcul d'empreinte 8 peut en comparer deux ou trois (parmi respectivement R, G, B ou Y, U, V).
Le procédé selon l'invention s'applique pour identifier un contenu diffusé en direct et pour permettre une synchronisation et une interaction en temps réel avec ce contenu, notamment dans le cas d'une participation à un jeu, un quizz ou un sondage.
Le procédé s'applique également pour identifier des contenus à la demande (VOD) ou un contenu préenregistré. Dans ce cas, la mémoire 10 contient l'empreinte de chacun des contenus, sur la durée totale du contenu. En outre, la durée prédéterminée de l'empreinte numérique 12 est plus longue afin de discriminer correctement le programme en cours de visualisation.

Claims

REVENDICATIONS
1. Procédé d'identification, par un premier terminal (2), d'un contenu en cours de visualisation sur un écran (11) d'un deuxième terminal (4) situé dans un même espace (5) que le premier terminal (2), procédé caractérisé par les étapes suivantes:
- capter par le premier terminal (2) la luminosité produite dans ledit espace (5) par le deuxième terminal (4),
- générer par le premier terminal (2) au moins une empreinte numérique (12) en fonction de la luminosité captée,
- comparer l'empreinte générée (12) à une empreinte de référence préalablement enregistrée dans une mémoire (10),
- identifier le contenu en fonction du résultat de ladite comparaison.
2. Procédé selon la revendication 1 dans lequel l'empreinte numérique générée (12) représente l'évolution au cours du temps de la luminosité captée pendant une durée prédéfinie.
3. Procédé selon la revendication 2 dans lequel l'empreinte numérique générée (12) résulte d'un échantillonnage de la luminosité produite par le deuxième terminal (4) pendant la durée prédéfinie.
4. Procédé selon la revendication 1 dans lequel l'empreinte de référence (9) est préalablement transmise audit premier terminal (2), et la comparaison de l'empreinte numérique générée 12) avec l'empreinte de référence (9) est effectuée par le premier terminal (2).
5. Procédé selon la revendication 1 dans lequel le premier terminal (2) transmet l'empreinte générée (12) à un serveur de calcul d'empreinte (8) qui compare ladite empreinte générée (12) à l'empreinte de référence (9).
6. Procédé selon l'une quelconque des revendications 2 à 5 dans lequel la comparaison de l'empreinte générée (12) à l'empreinte de référence (9) consiste à calculer une distance entre lesdites empreintes pendant la durée prédéfinie, et da ns lequel le contenu est identifié si la distance calculée entre lesdites empreintes est inférieure à un seuil prédéfini.
7. Procédé selon l'une quelconque des revendications 2 à 5 dans lequel la comparaison de l'empreinte générée (12) à l'empreinte de référence (9) consiste à calculer une valeur de corrélation entre lesdites empreintes pendant la durée prédéfinie, et dans lequel le contenu est identifié si la valeur calculée de la corrélation entre lesdites empreintes est supérieure à un seuil prédéfini.
8. Procédé selon la revendication 2 comportant en outre une étape de synchronisation d'une application fonctionnant sur le premier terminal (2) avec la visualisation du contenu numérique identifié sur l'écran (11) du deuxième terminal (4)
9. Procédé selon la revendication 8 da ns lequel l'étape d'identification permet d'obtenir la position de la durée de captation de luminosité prédéfinie dans le contenu.
10. Procédé selon la revendication 9 dans lequel ladite application fournit:
- des données complémentaires concernant le contenu visualisé, et/ou,
- des données relatives à un jeu en relation avec le contenu visualisé, et/ou,
- des données relatives à un sondage en relation avec le contenu diffusé, et/ou,
- une interaction avec un réseau social.
11. Procédé selon la revendication 1 dans lequel la luminosité est mesurée au moyen d'un capteur intégré au premier terminal (2)
12. Procédé selon la revendication 1 dans lequel la luminosité est calculée à partir d'images acquises au moyen d'une caméra intégrée au premier terminal (2)
13. Procédé selon la revendication 12 dans lequel l'empreinte numérique générée (12) représente l'évolution au cours du temps de la luminosité calculée à partir d'une composante de couleur des images acquises pendant une durée prédéfinie.
14. Dispositif d'identification d'un contenu visualisé sur un écran (11) parmi une pluralité de contenus fournis par un opérateur, caractérisé en ce qu'il comporte:
- une mémoire (10) comportant une pluralité d'empreintes numériques de référence (9), chaque empreinte de référence (9) permettant d'identifier un contenu parmi les contenus fournis,
- un premier terminal (2) muni de moyens pour capter la luminosité produite dans un espace (5) par le deuxième terminal (4), et des moyens pour générer une empreinte numérique à partir de la luminosité captée,
- des moyens pour comparer l'empreinte numérique générée (12) à une empreinte de référence (9) préalablement enregistrée dans la mémoire (10), et,
- des moyens pour identifier le contenu visualisé.
15. Dispositif selon la revendication 14 comportant en outre des moyens pour synchroniser une application fonctionnant sur le premier terminal (2) avec la visualisation en temps réel d'un contenu numérique identifié.
16. Dispositif selon la revendication 14 dans lequel ledit terminal est un téléphone portable intelligent, une tablette, ou un ordinateur.
17. Terminal (2) de communication caractérisé en ce qu'il comporte des moyens pour capter la luminosité produite par affichage d'un contenu visualisé sur un écran (11), des moyens pour générer une empreinte numérique (12) en fonction de la luminosité captée, des moyens pour comparer l'empreinte générée (12) à une empreinte de référence (9) préalablement enregistrée dans une mémoire (10), et des moyens pour identifier le contenu visualisé.
18. Programme d'ordinateur mémorisé sur un support d'enregistrement comportant des instructions pour réaliser les étapes du procédé selon la revendication 1, lorsqu'il est exécuté par un ordinateur.
EP15712578.2A 2014-03-20 2015-03-19 Procédé et dispositif d'identification d'un contenu en cours de visualisation sur un ecran Withdrawn EP3120571A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1452336A FR3018983B1 (fr) 2014-03-20 2014-03-20 Procede et dispositif d'identification d'un contenu en cours de visualisation sur un ecran
PCT/EP2015/055787 WO2015140252A1 (fr) 2014-03-20 2015-03-19 Procédé et dispositif d'identification d'un contenu en cours de visualisation sur un ecran

Publications (1)

Publication Number Publication Date
EP3120571A1 true EP3120571A1 (fr) 2017-01-25

Family

ID=51293042

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15712578.2A Withdrawn EP3120571A1 (fr) 2014-03-20 2015-03-19 Procédé et dispositif d'identification d'un contenu en cours de visualisation sur un ecran

Country Status (5)

Country Link
US (1) US20170085946A1 (fr)
EP (1) EP3120571A1 (fr)
CN (1) CN106105243A (fr)
FR (1) FR3018983B1 (fr)
WO (1) WO2015140252A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506275B1 (en) 2018-07-16 2019-12-10 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089307A1 (en) * 2012-09-25 2014-03-27 Audible Magic Corporation Using digital fingerprints to associate data with a work

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10009327C2 (de) * 2000-02-28 2002-01-24 Harman Becker Automotive Sys Verfahren zum Identifizieren gleicher Fernseh- oder Videobilder
US8842186B2 (en) * 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
CN101339590A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 基于视频内容识别的版权保护方法、设备和系统
US8516533B2 (en) * 2008-11-07 2013-08-20 Digimarc Corporation Second screen methods and arrangements
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US20110289099A1 (en) * 2010-05-20 2011-11-24 Rovi Technologies Corporation Method and apparatus for identifying video program material via dvs or sap data
US9615137B2 (en) * 2010-12-22 2017-04-04 Thomson Licensing Associating information with electronic program guide entries
US20130325601A1 (en) * 2012-06-05 2013-12-05 Yahoo! Inc. System for providing content
US20140279870A1 (en) * 2013-03-12 2014-09-18 Samsung Electronics Co. Ltd. Method and apparatus for synchronizing shared data in mobile terminal and server
US9143565B2 (en) * 2013-05-30 2015-09-22 Opentv, Inc. Synchronizing an application on a companion device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089307A1 (en) * 2012-09-25 2014-03-27 Audible Magic Corporation Using digital fingerprints to associate data with a work

Also Published As

Publication number Publication date
FR3018983B1 (fr) 2016-05-06
FR3018983A1 (fr) 2015-09-25
CN106105243A (zh) 2016-11-09
US20170085946A1 (en) 2017-03-23
WO2015140252A1 (fr) 2015-09-24

Similar Documents

Publication Publication Date Title
US10575126B2 (en) Apparatus and method for determining audio and/or visual time shift
US8793274B2 (en) System and method for auto content recognition
US9400984B2 (en) Methods and apparatus to access media
US8949872B2 (en) Audio fingerprint for content identification
US20160381436A1 (en) System and method for auto content recognition
FR3006525A1 (fr) Synchronisation de contenus multimedia sur deuxieme ecran
JP2014516486A5 (fr)
US20230072899A1 (en) Tagging an Image with Audio-Related Metadata
EP3430786B1 (fr) Acquisition d'extraits d'un flux multimédia sur un terminal
WO2015140252A1 (fr) Procédé et dispositif d'identification d'un contenu en cours de visualisation sur un ecran
EP3556102B1 (fr) Procede d'enregistrement d'un programme telediffuse a venir
EP3292692B1 (fr) Procédé de réglage du niveau de définition des images d'un programme multimédia
US8612313B2 (en) Metadata subscription systems and methods
WO2018167420A1 (fr) Procédé d'enrichissement d'un contenu numérique par données spontanées
EP3363208A1 (fr) Enrichissement contextuel par reconnaissance audio
FR2863805A1 (fr) Procede et appareil de prise de vue pour l'enrichissement d'images
FR2878116A1 (fr) Procede et systeme d'indexation d'un flux de donnees multimedia et procede et systeme de traitement correspondants
EP3949317A1 (fr) Procédé de modification d'un contenu multimedia
CN108875315A (zh) 变换指纹以检测未授权媒体内容项的方法、系统和介质
EP1510949A1 (fr) Procédé de détection d'occurrences de contenus dans des flux d'information
FR2943876A1 (fr) Procede pour visionner, sur un televiseur, une emission de television ulterieurement a sa diffusion
EP2182449A1 (fr) Procédé de détermination de critères d'intérêt d'un utilisateur d'un terminal à partir d'un contenu multimédia visionné par l'utilisateur
FR3000353A1 (fr) Systeme, appareils et methodes pour l'indexation et la detection de programmes audiovisuels
FR2993686A1 (fr) Procede de generation d'un document multimedia relatif a un evenement, dispositif de generation et programme d'ordinateurcorrespondants.

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20160923

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20191115

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603