EP1293094A1 - Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d'informations complementaires - Google Patents

Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d'informations complementaires

Info

Publication number
EP1293094A1
EP1293094A1 EP01951512A EP01951512A EP1293094A1 EP 1293094 A1 EP1293094 A1 EP 1293094A1 EP 01951512 A EP01951512 A EP 01951512A EP 01951512 A EP01951512 A EP 01951512A EP 1293094 A1 EP1293094 A1 EP 1293094A1
Authority
EP
European Patent Office
Prior art keywords
information
broadcast
sets
audiovisual programs
semantic elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP01951512A
Other languages
German (de)
English (en)
Inventor
Jacques Thomson Multimedia THIBON
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to EP01951512A priority Critical patent/EP1293094A1/fr
Publication of EP1293094A1 publication Critical patent/EP1293094A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Definitions

  • the present invention relates to a device and a method for synchronizing broadcast audiovisual programs and additional information, as well as to corresponding applications.
  • a central server receives from program centers a program guide, which contains information relating to the programs to be broadcast. A viewer can thus, directly from their television, access information that interests them.
  • a particularly useful and user-friendly system would offer viewers the possibility of seeing information relating to the program being broadcast live on their screen. This display (superimposed on the image or spatially shifted) would then be automatic, and would last for for example a few seconds, or would be activated by the user.
  • Certain channels do send signals to identify the program currently being broadcast, but most of them do not use such a technique, and the programs concerned are in the minority.
  • the present invention provides a device and a method for synchronizing broadcast audiovisual programs and additional information, in particular allowing synchronized real-time display of the programs and additional information.
  • the device and the method of the invention also make possible a sound diffusion of the additional information (for example for the visually impaired), which can interrupt the sound diffusion of the program for a short time or, possibly, be superimposed on it with a higher intensity. .
  • the device and method of the invention also have applications based on the use of complementary information for purposes other than broadcasting, in particular for automatic recordings on video recorders.
  • Other applications relate to the substitution of content for audiovisual programs.
  • the user can for example decide in advance an automatic replacement and in real time on the screen of a certain category of programs (for example variety shows) by another (for example fiction films), by means of a selection from several sources of distribution (several channels, Internet, local storage system ).
  • the invention relates to a device for synchronizing broadcast audiovisual programs and additional information according to claim 1.
  • broadcasting channel means any channel or set of communication channels for information coming from broadcasting means and intended for reception means, corresponding to a given broadcasting schedule.
  • broadcasting of audiovisual programs is carried out indifferently from all techniques, such as wireless broadcasting network, satellite, cable, Internet or local storage system.
  • the information set for each program contains meaningful information about that program, such as one or more of the following:
  • the information set also includes other information, useful for understanding the program (therefore for example for real-time display) but not very determining for the recognition of semantic elements, therefore preferably not used for correlation, for example : - director, author of the script, composer,
  • the semantic elements extracted are meanings significant for recognition, that is to say for the connection of these semantic elements with the information used.
  • they advantageously include: - a family of shapes (for example a moving ball to identify a football match, busts in medium shots to identify debates or presenters %),
  • a sound level for example a higher sound level to identify advertisements
  • a rhythm of movement for example a fast rhythm to identify advertisements and slow for identifying a debate in the studio
  • Image and / or sound detection and recognition of semantic elements is implemented by techniques which are known per se.
  • the correlation of semantic elements with available information advantageously uses artificial intelligence methods, built for example around neural networks (artificial intelligence motor association - self-learning).
  • the device of the invention however imposes on these recognition techniques the constraint of a choice from an ordered list, which basically amounts to positioning a pointer in this list. This constraint relating to the lists in the program guide makes recognition possible, because it imposes a framework limited to the area of analysis.
  • the recognition capacity is acquired by learning, and not programmed a priori.
  • This learning leaves flexibility to the system and allows a large number of parameters related to the image and sound of the programs broadcast (semantic elements) and the information used (set of information) to be taken into account.
  • the set of all parameters can provide reliable results. These are manifested by the most significant probability for the positioning of the pointer in each list, which corresponds to the strongest correlation between the semantic elements and the sets of information in the list.
  • the invention is thus based on the combination of three nested functions:
  • An important advantage of the invention is that it does not require any particular means to be implemented at the transmission level, the identification of the appropriate information being able to be entirely carried out upon reception, whether the latter is final (terminals, such as interactive TVs) or intermediate TVs (servers).
  • the device according to the invention is preferably located geographically in a central server, designed to make the information obtained available to reception means.
  • the central server then advantageously systematically synchronizes on a selection of channels, and transmits the information to the users automatically (for example each time the channel is changed for a few seconds) and / or on request.
  • the synchronization device of the invention is in accordance with claim 2, and advantageously in claim 3.
  • the positioning of the pointer in each of the ordered lists is necessarily done in one direction, towards a rank greater than or equal to the current position of the pointer. This amounts to imposing the choice of information relating to the current program or to a subsequent program - unless the list is updated.
  • This additional constraint facilitates recognition operations, at the cost of an additional restriction on the determination of the relevant information sets.
  • the initial positioning of the pointer in the list is advantageously obtained by means of the times indicated in the program guide and the current time.
  • the summary block advantageously takes into account the set of information last selected to update the indicator. This method can make it possible to optimally position the indicators over time, and therefore make the determination of the current indicator more secure and more efficient. However, it implies that the update is done continuously. In addition, in the event of an error in the automatic selection of an indicator, this error may have repercussions on subsequent choices through less efficiency or new errors.
  • the summary block uses the times indicated in the program guide for default positioning. The two forms of updating are advantageously combined, the indicator of each list preferably having its position modified each time that updating by schedule or by selection leads to a position subsequent to the current position in the list - this modification does not affect the set of information in use, but only the recognition operations.
  • the synchronization device is for example implemented periodically, in time slots close to the start and end times indicated in the program guides and / or at the request of users.
  • this order relation constraint is not imposed. This makes it possible to reverse programs, which can occur, for example, in the presence of sports programs broadcast live.
  • the invention also relates to applications of the device of the invention, as set out in claims 8 to 10. It also relates to a method for synchronizing broadcast audiovisual programs and additional information, as defined in claim 11.
  • FIG. 1 is a block diagram showing a synchronization device according to the invention, in its environment
  • FIG. 1 shows a program guide used by the device of Figure 1;
  • FIG. 3 illustrates the principle operation of pointing one of the indicators used in the device of FIG. 1, to the corresponding list in the program guide of FIG. 2.
  • a central unit 2 (FIG. 1) of an audiovisual program receiver 10 is provided for receiving the content of the programs 10 from a broadcasting unit 1 (for example a broadcaster) and for having access to a program guide 20 an information center 3 (for example a dedicated service provider).
  • the central unit 2 is then able to produce from the programs 10 and information from the information center 3, audiovisual programs 15 broadcast with synchronized complementary information, and to communicate these programs 15 to broadcasting means 4 to 1. 'screen.
  • the central unit 2 more precisely comprises:
  • a synthesis block 5 responsible for controlling all of the operations and in particular for synchronizing the programs 10 with selected information
  • a memory 6 intended to store information relating to the program guide 20 and the extraction of appropriate information from this guide 20,
  • a recognition unit 8 of semantic elements intended to relate the semantic elements 41-43 identified and information coming from the program guide 20.
  • the recognition unit 8 operates on the basis of lists 21, 22 and 23 (FIG. 2) arranged chronologically from sets of information (timetables, duration, title, summary, etc.) respectively referenced 21 -
  • Each of the lists 21 to 23 is associated with a broadcasting channel (television channel) and its information sets 21 ⁇ -21 n ⁇ , 22-
  • the recognition unit 8 is capable of selecting respectively the set of information 44, 45 or 46 from this list which is most probably correlated with the semantic elements 41, 42 or 43 extracted from this program by the detection set 7.
  • This recognition unit 8 is provided to perform a preliminary learning allowing him, by means of learning materials comprising semantic elements and associated information, to make the most judicious selections. This learning is advantageously continued during use.
  • the recognition unit 8 for example implements neural network techniques associated with an artificial intelligence engine.
  • an additional constraint brings into play indicators 31, 32 and 33 (FIGS. 1 and 3) pointing respectively to the current sets of information selected in lists 21, 22 and 23.
  • These indicators 31 to 33 stored in memory 6, give the sets of information corresponding to the audiovisual programs last broadcast respectively on each of the broadcasting channels (for example, the indicator 31 points to the set 21 2 which corresponds to the program last broadcast on the first chain - Figure 3).
  • the additional constraint imposed by the recognition unit 8 is for example that the set of information to be selected from one of the lists 21, 22 or 23 is located downstream of the set of information pointed to by the indicator 31, 32 or 33.
  • the chronological nature of the lists is thus used to make it safer and / or easier to identify the appropriate information.
  • the selection of a set of information is authorized downstream, but on condition that the latter is not more than two units distant from the current one.
  • the summary block 5 is responsible for updating the indicators 31 to
  • one selects from the chronologically ordered list 21 of sets of information associated with the first channel, the set of information 44 most probably correlated with the semantic elements 41 and respecting the constraint chosen on the displacement of the indicator 31 associated with the list 21, by means of the recognition unit 8;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

Le dispositif comprend un ensemble de détection (7) d'images et/ou de son, capable d'extraire au moins un élément sémantique (41-43) du contenu des programmes audiovisuels en cours de diffusion. Il comprend aussi une unité de reconnaissance (8) de ces éléments sémantiques, reliée à un guide de programmes (20) qui comprend une ou plusieurs listes ordonnées chronologiquement (21-23) d'ensembles d'informations respectivement associés à des programmes audiovisuels. L'unité de reconnaissance sélectionne pour au moins un des programmes en cours de diffusion, l'ensemble d'informations qui est le plus probablement corrélé à ces éléments sémantiques. Elle effectue un apprentissage préalable lui permettant de sélectionner les ensembles d'informations appropriés à partir des éléments sémantiques. Un bloc de synthèse (5) synchronise les programmes audiovisuels avec les ensemnles d'informations sélectionnés.

Description

Dispositif et procédé de synchronisation de programmes audiovisuels diffusés et d'informations complémentaires
La présente invention se rapporte à un dispositif et à un procédé de synchronisation de programmes audiovisuels diffusés et d'informations complémentaires, ainsi qu'à des applications correspondantes.
Dans des systèmes de télévision interactive, un serveur central reçoit en provenance de centres de renseignements un guide de programmes, qui contient des informations relatives aux programmes qui vont être diffusés. Un téléspectateur peut ainsi, à partir de son téléviseur, accéder directement aux informations qui l'intéressent.
Un système particulièrement utile et convivial offrirait au téléspectateur la possibilité de voir afficher en direct sur son écran des informations relatives au programme en cours de diffusion. Cet affichage (superposé à l'image ou décalé spatialement) serait alors automatique, et durerait pendant par exemple quelques secondes, ou serait activé par l'utilisateur.
Cependant, un tel système nécessiterait une synchronisation entre le programme en cours de diffusion et l'affichage des informations complémentaires. Or, le plus souvent, les horaires prévus initialement et inclus dans les guides de programmes sont purement indicatifs : il est courant que les programmes ne débutent et ne finissent qu'avec des retards de quelques minutes ou d'avantage par rapport à ces horaires. Il arrive même que certains programmes soient supprimés au dernier moment, par exemple lorsqu'une chaîne choisit de diffuser la fin d'un événement sportif jusque bien après l'horaire de fin envisagé, au détriment de l'émission suivante. Il n 'est donc pas possible de se fier aux indications horaires fournies par les guides de programmes pour espérer faire coïncider les programmes audiovisuels diffusés et l'affichage d'informations complémentaires correspondantes.
Certaines chaînes envoient certes à l'heure actuelle des signaux permettant d'identifier le programme en cours de diffusion, mais la plupart d'entre elles ne recourent pas à une telle technique, et les programmes concernés sont très minoritaires.
La présente invention propose un dispositif et un procédé de synchronisation de programmes audiovisuels diffusés et d'informations complémentaires, autorisant notamment un affichage en temps réel synchronisé des programmes et des informations complémentaires.
Le dispositif et le procédé de l'invention rendent également possible une diffusion sonore des informations complémentaires (par exemple pour les malvoyants), qui peut interrompre la diffusion sonore du programme pendant un court instant ou, éventuellement, se superposer à elle avec une intensité supérieure.
Le dispositif et le procédé de l'invention ont également des applications reposant sur l'utilisation des informations complémentaires à d'autres fins que de la diffusion, en particulier pour des enregistrements automatiques sur magnétoscopes. D'autres applications concernent la substitution de contenu de programmes audiovisuels. Ainsi, l'utilisateur peut par exemple décider à l'avance un remplacement automatique et en temps réel à l'écran d'une certaine catégorie de programmes (par exemple émissions de variétés) par une autre (par exemple films de fiction), au moyen d'une sélection parmi plusieurs sources de diffusion (plusieurs chaînes, Internet, système de stockage local...). A cet effet, l'invention concerne un dispositif de synchronisation de programmes audiovisuels diffusés et d'informations complémentaires conforme à la revendication 1.
Par « canal de diffusion», on entend toute voie ou ensemble de voies de communication d'informations en provenance de moyens de diffusion et à destination de moyens de réception, correspondant à une programmation donnée de diffusion. De plus, la diffusion des programmes audiovisuels s'effectue indifféremment à partir de toutes techniques, telles que réseau de diffusion hertzien, satellite, câble, Internet ou système de stockage local.
L'ensemble d'informations relatif à chaque programme contient des informations signifiantes concernant ce programme, telles que l'une ou plusieurs des informations suivantes :
- horaires de début et de fin prévisionnels,
- durée prévisionnelle,
- titre et éventuellement sous-titre,
- résumé, - code parental,
- format,
- qualité de son,
- thème et éventuellement sous-thème,
- version linguistique (V.O. ou V.F.)... ces informations étant preferentiellement utilisées par l'unité de reconnaissance lors des opérations de corrélation avec les éléments sémantiques extraits des images et/ou des sons. L'ensemble d'informations comprend aussi d'autres renseignements, utiles pour la connaissance du programme (donc par exemple pour l'affichage en temps réel) mais peu déterminants pour la reconnaissance des éléments sémantiques, donc de préférence non utilisés pour la corrélation, par exemple : - réalisateur, auteur du scénario, compositeur,
- liste des acteurs et rôles respectifs,
- année de réalisation,
- pays d'origine...
Les éléments sémantiques extraits sont quant à eux des éléments signifiants pour la reconnaissance, c'est-à-dire pour la mise en relation de ces éléments sémantiques avec les informations utilisées. Ainsi, ils comprennent avantageusement : - une famille de formes (par exemple un ballon en mouvement pour identifier un match de foot, des bustes en plans moyens pour identifier des débats ou des présentateurs...),
- un niveau sonore (par exemple un niveau sonore plus élevé pour identifier des publicités), - un rythme de mouvement (par exemple un rythme rapide pour identifier des publicités et lent pour identifier un débat en studio),
- une famille de signes visuels (par exemple un signe d'autorisation parentale pour identifier le type de film diffusé) ou sonores (par exemple un timbre de violon pour identifier certains génériques)...
La détection d'image et/ou de son et la reconnaissance des éléments sémantiques est mise en œuvre au moyen de techniques en elles- mêmes connues. En particulier, la corrélation des éléments sémantiques avec les informations disponibles utilise avantageusement des méthodes d'intelligence artificielle, construites par exemple autour de réseaux neuronaux (association moteur d'intelligence artificielle - autoapprentissage). Le dispositif de l'invention impose cependant à ces techniques de reconnaissance la contrainte d'un choix parmi une liste ordonnée, ce qui revient foncièrement à positionner un pointeur dans cette liste. Cette contrainte relative aux listes du guide de programmes rend possible la reconnaissance, car elle impose un cadre limité au domaine d'analyse.
De plus, la capacité de reconnaissance est acquise au moyen d'un apprentissage, et non programmée a priori. Cet apprentissage laisse toute souplesse au système et autorise la prise en compte d'un grand nombre de paramètres liés à l'image et au son des programmes diffusés (éléments sémantiques) et aux informations exploitées (ensemble d'informations). Ainsi, malgré toutes les incertitudes liées à tel ou tel paramètre particulier, l'ensemble de tous les paramètres peut fournir des résultats fiables. Ceux-ci se manifestent par la probabilité la plus signifiante pour le positionnement du pointeur dans chaque liste, qui correspond à la plus forte corrélation entre les éléments sémantiques et les ensembles d'informations dans la liste.
L'invention repose ainsi sur la combinaison de trois fonctions imbriquées :
- détection d'image et/ou de son conduisant à la production d'éléments sémantiques,
- reconnaissance des éléments sémantiques,
- et sélection d'informations dans une liste ordonnée chronologiquement grâce à la reconnaissance des éléments sémantiques et sous contrainte d'une relation d'ordre (chronologie des programmes).
Un avantage important de l'invention est qu'elle ne requiert aucun moyen particulier à mettre en œuvre au niveau de l'émission, l'identification des informations appropriées pouvant être entièrement réalisée à la réception, que celle-ci soit finale (terminaux, tels que des téléviseurs interactifs) ou intermédiaire (serveurs). Le dispositif selon l'invention est preferentiellement localisé géographiquement dans un serveur central, prévu pour mettre à disposition des moyens de réception les renseignements obtenus. Le serveur central effectue alors avantageusement de manière systématique la synchronisation sur une sélection de chaînes, et transmet les informations aux utilisateurs de manière automatique (par exemple à chaque changement de chaîne pendant quelques secondes) et/ou sur demande.
De préférence, le dispositif de synchronisation de l'invention est conforme à la revendication 2, et avantageusement à la revendication 3. Ainsi, le positionnement du pointeur dans chacune des listes ordonnées se fait nécessairement en sens unique, vers un rang supérieur ou égal à la position courante du pointeur. Cela revient à imposer de choisir les informations relatives au programme en cours ou à un programme ultérieur - sauf en cas de remise à jour de la liste. Cette contrainte supplémentaire facilite les opérations de reconnaissance, au prix d'une restriction supplémentaire sur la détermination des ensembles d'informations pertinents.
Le positionnement initial du pointeur dans la liste est avantageusement obtenu au moyen d'horaires indiqués dans le guide de programmes et de l'heure courante.
De plus, le bloc de synthèse tient avantageusement compte de l'ensemble d'informations dernièrement sélectionné pour actualiser l'indicateur. Cette modalité peut permettre de positionner de manière optimale les indicateurs au cours du temps, et donc de rendre plus sûre et plus efficace la détermination de l'indicateur courant. Cependant, elle implique que la mise à jour soit faite de manière continue. De plus, en cas d'erreur sur la sélection automatique d'un indicateur, cette erreur risque de se répercuter sur les choix ultérieurs par une efficacité moindre ou de nouvelles erreurs. Dans un autre mode d'actualisation, le bloc de synthèse utilise les horaires indiqués dans le guide de programme pour un positionnement par défaut. Les deux formes de mise à jour sont avantageusement combinées, l'indicateur de chaque liste ayant de préférence sa position modifiée à chaque fois que l'actualisation par horaire ou par sélection conduit à une position ultérieure à la position courante dans la liste - cette modification n'affecte pas l'ensemble d'informations en cours d'utilisation, mais seulement les opérations de reconnaissance.
Le dispositif de synchronisation est par exemple mis en œuvre périodiquement, dans des plages horaires voisines des heures de début et de fin indiquées dans les guides de programmes et/ou à la demande d'utilisateurs.
Dans une autre forme de sélection de l'ensemble d'informations, cette contrainte de relation d'ordre n'est pas imposée. On rend ainsi possible une inversion de programmes, qui peut se produire par exemple en présence de programmes sportifs diffusés en direct.
Dans encore d'autres formes de sélection des ensembles d'informations, on utilise également les indicateurs des ensembles d'information courants, mais avec d'autres types de contraintes. Par exemple, on autorise des retours en arrière dans les listes, mais limités à une ou deux unités et/ou on autorise des sauts avant (au moins deux unités), mais en les restreignant à deux ou trois unités.
Des modes de réalisation avantageux du dispositif de l'invention sont définis dans les revendications dépendantes 4 à 7.
L'invention concerne également des applications du dispositif de l'invention, telles qu'énoncées dans les revendications 8 à 10. Elle est aussi relative à un procédé de synchronisation de programmes audiovisuels diffusés et d'informations complémentaires, tel que défini dans la revendication 11.
L'invention sera mieux comprise et illustrée par les modes de réalisation et de mise en œuvre exposés ci-dessous, nullement limitatifs, en référence aux figures annexés sur lesquels :
- la figure 1 est un schéma synoptique montrant un dispositif de synchronisation selon l'invention, dans son environnement ;
- la figure 2 représente un guide de programmes utilisé par le dispositif de la figure 1 ;
- et la figure 3 illustre le fonctionnement de principe du pointage d'un des indicateurs utilisés dans le dispositif de la figure 1 , vers la liste correspondante du guide de programmes de la figure 2.
Une unité centrale 2 (Figure 1) d'un récepteur de programmes audiovisuels 10 est prévue pour recevoir le contenu des programmes 10 en provenance d'un ensemble de diffusion 1 (par exemple un radiodiffuseur) et pour avoir accès à un guide de programmes 20 d'un centre de renseignements 3 (par exemple un fournisseur de service dédié). L'unité centrale 2 est alors apte à produire à partir des programmes 10 et d'informations du centre de renseignements 3, des programmes audiovisuels 15 diffusés avec des informations complémentaires synchronisées, et à communiquer ces programmes 15 à des moyens de diffusion 4 à l'écran.
L'unité centrale 2 comprend plus précisément :
- un bloc de synthèse 5, chargé de contrôler l'ensemble des opérations et notamment de synchroniser les programmes 10 avec des informations sélectionnées, - une mémoire 6, destinée à stocker des informations relatives au guide de programmes 20 et à l'extraction d'informations appropriées dans ce guide 20,
- un ensemble de détection 7 d'image et/ou de son, capable d'extraire un ou plusieurs éléments sémantiques 41-43 (famille de formes, niveau sonore, rythme de mouvement...) à partir du contenu des programmes 10 en cours de diffusion,
- et une unité de reconnaissance 8 d'éléments sémantiques, destinée à mettre en relation les éléments sémantiques 41-43 identifiés et des informations issues du guide de programmes 20.
L'unité de reconnaissance 8 opère à partir de listes 21 , 22 et 23 (Figure 2) ordonnées chronologiquement d'ensembles d'informations (horaires, durée, titre, résumé...) respectivement référencés 21 -|-21nl, 22<|- 22n2 et 23-|-23n3, fournies par le guide de programmes 20. Chacune des listes 21 à 23 est associée à un canal de diffusion (chaîne de télévision) et ses ensembles d'informations 21 π-21nι, 22-|-22n2 et 231-23n3 sont respectivement relatifs à des programmes audiovisuels 10 diffusés sur ce canal.
Un programme 11 , 12 ou 13 étant en cours de diffusion sur l'un des canaux de diffusion, associé respectivement à la liste 21 , 22 ou 23 du guide de programmes 20, l'unité de reconnaissance 8 est capable de sélectionner respectivement l'ensemble d'informations 44, 45 ou 46 de cette liste qui est le plus probablement corrélé aux éléments sémantiques 41 , 42 ou 43 extraits de ce programme par l'ensemble de détection 7. Cette unité de reconnaissance 8 est prévue pour effectuer au préalable un apprentissage lui permettant, au moyen de matériaux d'apprentissage comprenant des éléments sémantiques et des informations associées, de faire les sélections les plus judicieuses. Cet apprentissage est avantageusement poursuivi en cours d'utilisation. Pour la sélection avec apprentissage préalable, l'unité de reconnaissance 8 met par exemple en œuvre des techniques de réseaux neuronaux associées à un moteur d'intelligence artificielle.
Dans le mode de réalisation représenté, une contrainte supplémentaire met en jeu des indicateurs 31, 32 et 33 (Figures 1 et 3) pointant respectivement sur les ensembles d'informations courants sélectionnés dans les listes 21 , 22 et 23. Ces indicateurs 31 à 33, stockés dans la mémoire 6, donnent les ensembles d'informations correspondant aux programmes audiovisuels dernièrement diffusés respectivement sur chacun des canaux de diffusion (par exemple, l'indicateur 31 pointe sur l'ensemble 212 qui correspond au programme dernièrement diffusé sur la première chaîne - Figure 3).
La contrainte supplémentaire imposée par l'unité de reconnaissance 8 est par exemple que l'ensemble d'informations à sélectionner dans une des listes 21 , 22 ou 23 est situé en aval de l'ensemble d'informations pointé par l'indicateur 31, 32 ou 33. On utilise ainsi le caractère chronologique des listes pour parvenir de manière plus sûre et/ou plus simple à identifier les informations appropriées. Dans une variante de réalisation, on autorise la sélection d'un ensemble d'informations en aval, mais à condition que ce dernier ne soit pas distant de plus de deux unités de celui courant.
Le bloc de synthèse 5 est chargé d'actualiser les indicateurs 31 à
33 dans la mémoire 6, de préférence en fonction des ensembles d'informations 44 à 46 sélectionnés par l'unité de reconnaissance 8. Cette mise à jour permet d'appliquer efficacement les contraintes imposées sur les déplacements des indicateurs 31 à 33. En fonctionnement, on procède de la manière suivante pour une mise en œuvre du dispositif de synchronisation appliquée à un canal de diffusion (par exemple le premier) :
- on extrait les éléments sémantiques 41 du programme 11 en cours de diffusion sur le premier canal, au moyen de l'ensemble de détection
7 ;
- on sélectionne dans la liste 21 ordonnée chronologiquement d'ensembles d'informations associée au premier canal, l'ensemble d'informations 44 le plus probablement corrélé aux éléments sémantiques 41 et respectant la contrainte choisie sur le déplacement de l'indicateur 31 associé à la liste 21 , au moyen de l'unité de reconnaissance 8 ;
- on actualise l'indicateur 31 au moyen du bloc de synthèse 5;
- et on synchronise le programme 11 avec l'ensemble d'informations 44 sélectionné, au moyen du bloc de synthèse 5.

Claims

REVENDICATIONS
1. Dispositif de synchronisation de programmes audiovisuels diffusés et d'informations complémentaires, comprenant :
- un ensemble de détection (7) d'image et/ou de son, capable d'extraire au moins un élément sémantique (41-43) à partir du contenu desdits programmes audiovisuels en cours de diffusion (11-13),
- une unité de reconnaissance (8) desdits éléments sémantiques (41-43) reliée à l'ensemble de détection (7) et à au moins un guide de programmes (20), ledit guide comprenant pour au moins un canal de diffusion, respectivement au moins une liste ordonnée chronologiquement (21-23) d'ensembles d'informations (211-21n1, 22 22n2, 23ι-23n3) respectivement associés à des programmes audiovisuels prévus pour être diffusés sur ledit canal, ladite unité de reconnaissance (8) étant capable de sélectionner pour chacun desdits programmes audiovisuels en cours de diffusion (11-13) sur l'un desdits canaux, correspondant à l'une desdites listes ordonnées (21-23), l'un desdits ensembles d'informations (44-46) le plus probablement corrélé audits éléments sémantiques (41-43) obtenus pour ledit programme audiovisuel (11-13), et ladite unité de reconnaissance (8) étant prévue pour effectuer un apprentissage préalable lui permettant de sélectionner lesdits ensembles d'informations (44-46) appropriés à partir desdits éléments sémantiques (41-43), au moyen de matériaux d'apprentissage comprenant des éléments sémantiques et des informations associées,
- et un bloc de synthèse (5) capable de synchroniser les programmes audiovisuels en cours de diffusion (11-13) avec les ensembles d'informations sélectionnés (44-46).
2. Dispositif de synchronisation selon la revendication 1 , caractérisé en ce que : - ledit dispositif comprend une mémoire (6) destinée à contenir au moins un indicateur (31-33) de l'ensemble d'informations correspondant au programme audiovisuel dernièrement diffusé, respectivement pour chacune desdites listes (21-23),
- l'unité de reconnaissance (8) est capable de sélectionner ledit ensemble d'informations (44-46) dans ladite liste ordonnée (21-23) pour chacun desdits canaux, de telle sorte que ledit ensemble d'informations soit positionné dans ladite liste ordonnée (21-23) à un rang supérieur ou égal au rang de l'ensemble d'informations pointé par l'indicateur (31-33) associé à ladite liste ordonnée (21-23),
- et le bloc de synthèse (5) est prévu pour actualiser lesdits indicateurs (31-33) dans la mémoire (6).
3. Dispositif de synchronisation selon la revendication 2, caractérisé en ce que l'unité de reconnaissance (8) est capable de sélectionner dans les listes ordonnées (21-23), des ensembles d'informations (44-46) ayant un rang supérieur d'au moins deux unités aux ensembles d'informations (21-|-21n , 22-|-22n2, 23-|-23n3) pointés par lesdits indicateurs (31-33).
4. Dispositif de synchronisation selon l'une quelconque des revendications précédentes, caractérisé en ce que l'unité de reconnaissance (8) est prévue pour effectuer aussi ledit apprentissage en cours d'utilisation.
5. Dispositif de synchronisation selon l'une quelconque des revendications précédentes, caractérisé en ce que lesdits éléments sémantiques (41-43) sont choisis parmi :
- une famille de formes,
- un niveau sonore,
- un rythme de mouvement,
- une famille de signes visuels et/ou sonores, - et une combinaison quelconque desdits éléments sémantiques.
6. Dispositif de synchronisation selon l'une quelconque des revendications précédentes, caractérisé en ce que l'unité de reconnaissance (8) comprend au moins un réseau neuronal, prévu pour recevoir en entré au moins lesdits éléments sémantiques (41-43) et pour produire en sortie au moins un résultat représentatif d'informations corrélées audits éléments sémantiques (41-43).
7. Dispositif de synchronisation selon l'une quelconque des revendications précédentes, caractérisé en ce que lesdits ensembles d'informations (21 ι-21n-j, 221-22n2, 23-|-23n3) comprennent au moins une valeur donnant une information temporelle prévisionnelle de diffusion des programmes audiovisuels associés.
8. Application du dispositif de synchronisation selon l'une quelconque des revendications 1 à 7 à un affichage écran de renseignements sur des programmes audiovisuels en cours de diffusion.
9. Application du dispositif de synchronisation selon l'une quelconque des revendications 1 à 7 à un enregistrement automatique de programmes audiovisuels par magnétoscope.
10. Application du dispositif de synchronisation selon l'une quelconque des revendications 1 à 7 à une substitution de contenu de programmes audiovisuels.
11. Procédé de synchronisation de programmes audiovisuels diffusés et d'informations complémentaires, dans lequel : - on extrait au moyen d'un ensemble de détection (7) d'image et/ou de son, au moins un élément sémantique (41-43) à partir du contenu de programmes audiovisuels en cours de diffusion (11-13),
- on sélectionne au moyen d'une unité de reconnaissance (8), pour chacun desdits programmes audiovisuels en cours de diffusion (11-13) sur un canal de diffusion, dans une liste ordonnée chronologiquement (21- 23) d'ensembles d'informations (21.|-2 ιn1 l 22 22n2, 231-23n3) respectivement associés à des programmes audiovisuels prévus pour être diffusés sur ledit canal, l'un desdits ensembles d'informations (44-46) le plus probablement corrélé audits éléments sémantiques (41-43) obtenus pour ledit programme audiovisuel (11-13),
- et on synchronise au moyen d'un bloc de synthèse (5) les programmes audiovisuels en cours de diffusion (11-13) avec les ensembles d'informations sélectionnés (44-46),
ledit procédé de synchronisation étant preferentiellement mis en œuvre au moyen d'un dispositif de synchronisation conforme à l'une quelconque des revendications 1 à 7.
EP01951512A 2000-05-25 2001-05-22 Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d'informations complementaires Withdrawn EP1293094A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP01951512A EP1293094A1 (fr) 2000-05-25 2001-05-22 Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d'informations complementaires

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP00401479 2000-05-25
EP00401479 2000-05-25
PCT/EP2001/005853 WO2001091462A1 (fr) 2000-05-25 2001-05-22 Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d'informations complementaires
EP01951512A EP1293094A1 (fr) 2000-05-25 2001-05-22 Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d'informations complementaires

Publications (1)

Publication Number Publication Date
EP1293094A1 true EP1293094A1 (fr) 2003-03-19

Family

ID=8173703

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01951512A Withdrawn EP1293094A1 (fr) 2000-05-25 2001-05-22 Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d'informations complementaires

Country Status (8)

Country Link
US (1) US7015972B2 (fr)
EP (1) EP1293094A1 (fr)
JP (1) JP2003534740A (fr)
KR (1) KR20020093976A (fr)
CN (1) CN1429455A (fr)
AU (1) AU2001272415A1 (fr)
MX (1) MXPA02011594A (fr)
WO (1) WO2001091462A1 (fr)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2841724A1 (fr) 2002-06-28 2004-01-02 Thomson Licensing Sa Systeme et procede de synchronisation pour programmes audiovisuels, dispositifs et procedes associes
US8307403B2 (en) * 2005-12-02 2012-11-06 Microsoft Corporation Triggerless interactive television
US7853198B2 (en) * 2006-10-18 2010-12-14 Microsoft Corporation Delivering individualized content over a broadcast network
CN103024581A (zh) * 2012-12-26 2013-04-03 Tcl集团股份有限公司 智能电视及其节目交互实现方法、系统
CN107465952B (zh) * 2017-09-12 2019-08-16 中广热点云科技有限公司 一种广播内容与补充信息同步播放的方法和系统
JP6903700B2 (ja) * 2019-03-22 2021-07-14 株式会社三井住友銀行 Ａｉを活用した広告推奨方法、プログラム、およびコンピュータ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614940A (en) * 1994-10-21 1997-03-25 Intel Corporation Method and apparatus for providing broadcast information with indexing
JPH09293360A (ja) 1996-04-26 1997-11-11 Hitachi Ltd 映像記録再生装置
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US6363380B1 (en) * 1998-01-13 2002-03-26 U.S. Philips Corporation Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser
US6141678A (en) * 1998-04-29 2000-10-31 Webtv Networks, Inc. Presenting information relating to a program by recognizing text in closed captioning data
JP2000048206A (ja) 1998-05-26 2000-02-18 Sony Corp 画像処理装置および方法、並びに媒体
AU4796599A (en) 1998-07-20 2000-02-14 Mate - Media Access Technologies Ltd. A method of automatic selection of video channels
US6583821B1 (en) * 1999-07-16 2003-06-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0191462A1 *

Also Published As

Publication number Publication date
KR20020093976A (ko) 2002-12-16
US20040226040A1 (en) 2004-11-11
US7015972B2 (en) 2006-03-21
WO2001091462A1 (fr) 2001-11-29
MXPA02011594A (es) 2003-03-27
AU2001272415A1 (en) 2001-12-03
JP2003534740A (ja) 2003-11-18
CN1429455A (zh) 2003-07-09

Similar Documents

Publication Publication Date Title
EP3381196B1 (fr) Procédé de synchronisation d&#39;un flux audio alternatif
WO2002001863A1 (fr) Methode de reception et de visualisation de sequences d&#39;emissions audiovisuelles a theme, et recepteur pour la mise en oeuvre de la methode
WO2001091462A1 (fr) Dispositif et procede de synchronisation de programmes audiovisuels diffuses et d&#39;informations complementaires
FR2841724A1 (fr) Systeme et procede de synchronisation pour programmes audiovisuels, dispositifs et procedes associes
EP2597886A1 (fr) Procédé de transmission de programmes de vidéo à la demande de type &#34; Push &#34; et décodeur associé
EP1182878A1 (fr) Système de communication, émetteur, récepteur, méthode utilisant un descripteur de stockage de données
FR3049142A1 (fr) Acquisition d&#39;extraits d&#39;un flux multimedia sur un terminal
FR2818484A1 (fr) Procede de mesure d&#39;audience d&#39;applications interactives telediffusees ou embarquees sur un decodeur de recepteur de television
FR3005386A1 (fr) Procede et dispositif de fourniture d’une partie deja diffusee d’un flux multimedia, terminal utilisateur, programme d’ordinateur et medium de stockage correspondants
EP4161081A1 (fr) Procédé de génération d&#39;une chaîne de télévision personnalisée pour un utilisateur d&#39;un terminal configuré pour accéder à au moins un service de diffusion de contenus audiovisuels, dispositif, équipement de service, système et programme d&#39;ordinateur correspondants.
FR2821512A1 (fr) Dispositifs de commande de fichiers audio et/ou video et dispositifs, procedes et produits d&#39;emission correspondants
FR2956787A1 (fr) Procede et serveur pour detecter un programme video recu par un usager
EP2081383A2 (fr) Procédé de préparation de contenus de programmes audiovisuels, et système associé
EP1793605A1 (fr) Procédé de fourniture sur demande de menus interactifs à des terminaux couplés à un réseau de communication
EP4482157A1 (fr) Procédé de gestion de la restitution d&#39;un contenu multimédia
EP4254968A1 (fr) Procédé de génération d&#39;une chaîne de télévision virtuelle pour un utilisateur d&#39; au moins un service de diffusion de contenus audiovisuels, dispositif de génération, équipement de service et programme d ordinateur correspondants
EP1958202A1 (fr) Procede d&#39;identification d&#39;un document enregistre par affichage et selection d&#39;images clefs, et recepteur associe
FR3134211A1 (fr) Procédé de gestion de la synchronisation d’une bande son avec une vidéo
EP4203480A1 (fr) Procédé de gestion de sauts temporels lors de la lecture d&#39;un contenu multimédia
FR3116685A1 (fr) Personnalisation de flux multimédia en fonction de données dynamiques issues d’objets connectés
FR3006540A1 (fr) Procede de diffusion de contenus media
FR3137520A1 (fr) Procédé de génération dynamique d’une transcription textuelle d’un flux audio diffusé en continu.
FR2973537A1 (fr) Procede et dispositif d&#39;acces a un contenu diffuse enregistre
FR3041852A1 (fr) Procede et dispositif d&#39;enrichissement d&#39;une fonction pause de la lecture d&#39;une sequence d&#39;images
WO2009112785A1 (fr) Réception de metadonnees sur un terminal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20021120

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RBV Designated contracting states (corrected)

Designated state(s): AT BE CH CY DE ES FR GB IT LI

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20071130