EP3235253A1 - Labelled audio-video stream for synchronizing the components thereof, method and equipment for analyzing the artifacts and synchronization of such a stream - Google Patents

Labelled audio-video stream for synchronizing the components thereof, method and equipment for analyzing the artifacts and synchronization of such a stream

Info

Publication number
EP3235253A1
EP3235253A1 EP15826139.6A EP15826139A EP3235253A1 EP 3235253 A1 EP3235253 A1 EP 3235253A1 EP 15826139 A EP15826139 A EP 15826139A EP 3235253 A1 EP3235253 A1 EP 3235253A1
Authority
EP
European Patent Office
Prior art keywords
audio
video
video stream
synchronism
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP15826139.6A
Other languages
German (de)
French (fr)
Inventor
Franck HENNEQUIN
William Gontier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Softathome SA
Original Assignee
Softathome SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softathome SA filed Critical Softathome SA
Publication of EP3235253A1 publication Critical patent/EP3235253A1/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Definitions

  • the present invention relates to a marked audio-video stream, a method of generating such a stream, a method and an installation for analyzing and synchronizing such a stream.
  • the present invention is in the field of visualization of media content, and more particularly audio-visual. State of the art
  • the invention relates to the visualization of audiovisual contents including in particular a video signal and / or an audio signal and / or a textual element broadcast superimposed, such as a subtitle for example. It can be seen that supply and demand for such audio-visual content has grown exponentially in the last decade, thus helping to transform the television (and internet) panorama as well as the way in which the public views such content.
  • Another aim of the invention is to solve at least one of these problems by a new audio-video stream which makes it possible to check the continuity and / or synchronism of the various textual, audio and video components.
  • Another object of the present invention is to provide a device that facilitates the analysis of audio-video streams and to reduce costs. Another goal is to improve the quality and the rendering of broadcast audio-video streams.
  • At least one of the above-mentioned objectives is achieved with a marked audio-video stream comprising (i) at least one video signal composed of at least one video frame, and (ii) at least one audio signal composed of at least one audio frame and / or (iii) at least one textual signal composed of at least one subtitle frame, and characterized in that the at least one video frame comprises means for identifying the video synchronism, and the at least one audio frame comprises means for identifying the audio synchronism and / or the at least one subtitle frame comprises means for identifying the text synchronism.
  • the audio-video stream marked according to the invention comprises several signals of the same type (for example several subtitles and / or several broadcast languages ...) then the corresponding identifiers make it possible to distinguish each signal of the same category;
  • the order in which the frames must be played may be contained in the synchronism identifier itself (using a numerical incrementation, for example) and / or in a database that gathers all the information concerning the audio-video stream Mark. It is therefore possible to know in what order each frame must be broadcast;
  • An audio-video stream according to the invention may comprise several instances of each audio and / or text signal.
  • an audio-video stream marked according to the invention, in the field of cinema may be composed of a video stream, of two different audio streams, corresponding for example to the dialogues in French and in English. , as well as five text streams corresponding to subtitles in different foreign languages.
  • the video stream can also be composed of several video signals.
  • the means of identification of the audio synchronism can be transported by a modulated carrier in agreement with said means of identification of the audio synchronism.
  • the audio synchronism identification means can be a counter for identifying the instant of broadcasting the corresponding audio frame, thereby determining when - and in what order - the audio frames are broadcast.
  • the means for identifying the video synchronism may comprise a unique identifier for indexing a database in order to be able to initiate comparisons with said database and to analyze the corresponding audio-video stream.
  • the identifier can be of any type in order to identify - at least - a cell in a database. For example, it may be a pair of integers respectively describing a row and column number of said database, or a QR code which makes it possible to store more information, such as by example a counter.
  • the means of identification of the video synchronism may further comprise a two-dimensional structure of predefined images in order to be able to detect the presence of possible artifacts by measuring the distortion of the diffused image compared to the predefined one and whose essential characteristics are recorded in the database. It can be a mosaic with particular images at particular positions. The characteristics concerning the images that constitute the mosaic and their positions are stored elsewhere in a database. Finally, the images may be different for each of the frames that make up the video stream.
  • a decoder of a marked audio-video stream comprising (i) means for reading said at least one audio-video stream marked according to the invention, (ii) means for for extracting at least one video synchronism identifier from the at least one video signal of said marked audio-video stream, (iii) means for extracting the at least one audio synchronism identifier from the at least one audio signal of said stream labeled audio-video, (iv) means for extracting the at least one text synchronous identifier from the at least one text signal of said marked audio-video stream, (v) a database comprising on the one hand the decoding information the video synchronism identifier of the at least one video signal of said marked audio-video stream and the audio signal and / or the textual signal of the at least one audio-video stream marked, and (vi) an analysis means for comparing the extracted synchronism identifiers with the contents of the database.
  • the analysis means make it possible, on the one hand, to verify that the at least one broadcast audio stream corresponds to the original audio signal, and on the other hand to check the possible presence of video artifacts such as the cuts or macroblocks by verifying that the images present on the identifier of the video synchronism are in conformity with those which have been used in the original signal and which are stored on the database. It is also possible to check that the text broadcast in closed captioning is in line with that of the original signal.
  • the invention also relates to a method for generating a marked audio-video stream according to the invention and which can comprise at least one iteration of the following steps:
  • a method for analyzing an audio-video stream marked using a processing unit to test (i) the continuity of the at least one video frame of the at least one video signal of said marked audio-video stream; and / or (ii) the continuity of the at least one audio frame of the at least one audio signal of said marked audio-video stream; and / or (iii) the continuity of the at least one subtitle frame of the at least one text signal of said marked audio-video stream.
  • the processing unit may comprise a microprocessor or a microcontroller and may be integrated for example in audio-video stream reading equipment, such as for example a "set-top-box", a digital television or any other type of digital decoder.
  • the analysis method according to the invention can further test the audio synchronism of the at least one audio frame with respect to the at least one video frame of said marked audio-video stream, and / or the text synchronism of the at least one subtitle frame with respect to the at least one video frame of said marked audio-video stream.
  • the analysis method according to the invention can also test the quality of the at least one video frame of said marked audio-video stream.
  • the analysis method according to the invention may comprise at least one iteration of the following steps:
  • a step of acquiring the synchronism identifiers comprising:
  • an artefact detection step comprising:
  • the present invention intends to cover the methods of synchronization and / or correction of artifacts of the component signals of the audio-video streams, regardless of the number of signals component said streams.
  • the present invention also extends to the synchronization of several audio-video marked streams, one of them being taken as reference.
  • the analysis method according to the invention may comprise beforehand at the reading step a step of generating audio-video streams marked from a standard audio-video stream and comprising the following steps:
  • FIG. 1 illustrates a principle diagram for the generation of a labeled audio-video stream according to the invention
  • FIG. 2 illustrates a particular example of video synchronism identifier
  • FIG. 3 illustrates a video stream marked according to the invention
  • FIG. 4 illustrates a principle diagram for the analysis of the different artifacts of a labeled audio-video stream according to the invention as well as the detection of synchronization errors
  • FIG. 5 illustrates an example of transmission of an audio frame counter by amplitude modulation
  • FIGURE 6 illustrates the equivalent spectrum of the generated audio signal.
  • FIG. 1 illustrates a principle diagram for the generation 100 of a labeled audio-video stream according to the invention.
  • the general principle is to divide each signal composing the original audio-video stream 101 into frames on which are introduced markers which will make it possible to check and / or correct the continuity and / or the synchronism between the signals. different signals and / or correct reading artifacts that may sometimes appear during the broadcast of said signals.
  • the method thus delivers a plurality of signals each composed of a plurality of marked frames, said signals comprising for example at least one video signal cut into frames and labeled 104, and / or at least one audio signal cut into frames and labeled 105, and or at least one textual signal cut into frames and marked 103.
  • the rasterized, text-cut text signal may represent the subtitle band associated with the video signal, or any other textual information overlaid on the image broadcast by the media.
  • the marking of the various signals that make up the audio-video stream marked includes a synchronism identifier, which may, however, contain more information than that necessary to check the continuity of the signals and synchronize the different signals.
  • the marking of the video signal cut into frames may comprise a counter to serve as a time reference for the synchronization of the other signals of the marked audio-video stream; it may also contain a unique identifier for indexing a database 110 described below.
  • the marking of the audio signal cut into frames can be carried out by amplitude modulation for example or by any other means making it possible to superimpose on the initial audio signal information making it possible to subsequently identify the synchronism of the audio signal with the video signal.
  • the code superimposed on the original audio signal and transported on each frame includes a counter or an identifier for accessing such a counter.
  • the marking of the textual signal cut into frames further comprises a counter to determine the time of appearance of said text frame.
  • a database 110 is filled with all the information that will allow the analysis and subsequent decoding of the audio-video stream marked.
  • the database may contain information about the original audio-video stream as well as the full description of the labeled audio-video stream generated by the present method, namely, and not limited to, the content and the relative position of each frame of each signal composing the original audio-video stream.
  • the database 110 contains all the information concerning the video, audio and text signals cut into frames and marked. More particularly, the database may contain a video signal counter which makes it possible to identify the synchronism of the other supported signals (audio and textual) and all the information describing all the frames of the audio-video stream marked, to know :
  • FIG. 2 illustrates a particular example of a video synchronism identifier comprising a two-dimensional structure 200 and for a given video frame. It is composed of eight predefined images 202 to 209 and different, positioned around an identification code 201 which indexes the database 110.
  • the identification code is a QR code, well known to those skilled in the art.
  • the present invention is not limited to this type of code but encompasses all the means capable of indexing a database. At a minimum, it may be a pair of integers that describe a row and column number of said database.
  • the cell thus pointed in the database 110 contains the information corresponding to the video, audio and / or textual frame currently being broadcast.
  • FIG. 3 schematically illustrates a labeled audio-video stream 106 according to the invention. In the example illustrated, the audio-video stream 106 is broken down into three distinct signals which have respectively been subsequently labeled and recombined:
  • a video signal 104 composed of a succession of images 341 and 344 at one frequency.
  • the image diffusion frequency is 25 frames per second, but this frequency can be higher in the case of high resolution filming, typically 50 to 60 images per second.
  • a video synchronism identifier 342 and 345 is associated, comprising in the illustrated example a mosaic of predefined images 343 and 346.
  • each frame is associated with a synchronism identifier.
  • the audio frame 351 is associated with the identifier 352 and the audio frame 354 is associated with the identifier 355.
  • Each identifier furthermore comprises a counter 353 and 356 which makes it possible to determine the instant of broadcast of said frame.
  • a text signal 103 for broadcasting the subtitles that correspond to the video and audio frames.
  • each frame is associated with a synchronism identifier.
  • the text frame 361 is associated with the identifier 362 and the text frame 364 is associated with the identifier 365.
  • Each identifier furthermore comprises a counter 363 and
  • FIG. 4 illustrates a principle diagram for the analysis of the different artifacts of an audio-video stream marked according to the invention as well as the detection of synchronization errors. It includes the following steps:
  • the acquisition of the synchronism identifiers 410 for each of the extracted signals namely at least one video signal 411 cut into frames and marked, at least one audio signal 412 cut into frames and marked, and / or at least one textual signal 413 cut into frames and marked.
  • the present invention is not limited to a particular type of means for the acquisition of different identifiers.
  • the acquisition of the video synchronism identifier can be performed using a camera or by screen capture; the acquisition of the audio synchronism identifier can be achieved using a microphone or an acquisition card; and the acquisition of the text synchronous identifier can be achieved using an optical character recognition software ...
  • - decoding synchronism identifiers 420 for each of the signals composing the audio-video stream labeled 106.
  • it may be for the video signal to decode the QR code; for the audio signal, it may be to demodulate the signal carrying the identifier; and for the textual signal, it may be to extract at least one alphanumeric code.
  • the extracted video identifier makes it possible to index the database 110 which contains all the information relating to the audio-video stream such that it should ideally be broadcast.
  • the information contained, for each frame, thus makes it possible to:
  • the audio-video stream marked 450 is thus corrected and / or read optimally.
  • the means for analyzing the audio-video streams marked according to the invention may consist of internal means by means of broadcasting said audio-video streams, such as the processor contained in a digital television or a digital decoder, for example, or using outsourced means such as a computer.
  • the analysis of the flow obtained after having crossed the processing chain consists first of all in identifying the date of occurrence of each change of identifier of the video signal using the QR code for example and the database and in a second step, to detect the occurrence of the counters of the other signals: for the audio signal, it is for example to detect the beginning of each new audio frame.
  • the comparison of dates for identical counter values then gives the offset value between the video and audio and / or textual signals as they are rendered by the broadcasting means and for each of the scanned frames.
  • the present invention thus makes it possible to detect synchronism faults greater than the acceptability threshold (located between -185 ms for a delay of the audio signal on the video signal, and +90 ms for an advance of the audio signal on the video signal) with an accuracy of +/- 10 ms in the case of an analysis performed at 50 images per second.
  • the audio-video stream is broadcast at 50 frames per second, and the analysis is performed every 500 ms, which means that every 25 frames of a video sequence, a synchronism identifier is inserted.
  • the counter of the video frame is extracted during the decoding of the video identifier which marks each video frame. In the example shown, counter # 5204 was not extracted.
  • the video clock corresponds to the date of change of the video identifier and represents the time reference for the other streams.
  • the counter of the audio frame is extracted by demodulation of the signal contained in each of the audio frames.
  • the audio clock corresponds to the detection date of the beginning of the audio frame.
  • Audio frame # 5203 is in phase with the video frame.
  • synchronization means can be integrated in the analysis means or constitute means in its own right. As non-limiting examples, they may consist of a digital television for example, a digital decoder or a computer.
  • FIG. 5 illustrates an example of transmission of an audio frame counter by amplitude modulation
  • the abscissa axis 501 representing the time in milliseconds
  • the ordinate axis 502 the amplitude of the signal encoding the frame counter 504
  • FIG. 6 illustrates the equivalent spectrum 600 of the audio signal generated on four carriers 603-606 and for which the amplitude 602 is represented as a function of the frequency 601.
  • the counter or the identifier making it possible to access such a counter is encoded on a modulated carrier in accordance with the latter.
  • the transmission of the counter or its identifier within the audio signal must not exceed 1 / Ft seconds, where Ft is the frequency of the video signal.
  • Ft is the frequency of the video signal.
  • the transmission of the code corresponding to the audio counter or its identifier must not exceed 20 ms.
  • each transmission start of the value of the counter or its identifier starts with a specific value indicating a "start of frame". In the example illustrated in FIGURES 5 and 6, the start of the frame is materialized by a maximum in the amplitude of the signal.

Abstract

The present invention relates to a labelled audio-video stream comprising: - a video stream comprising a series of video frames, and - an audio stream comprising a series of audio frames, and - a text stream comprising a series of subtitle frames. Said labelled audio-video stream is characterized in that: - each video frame comprises a means for identifying the video synchronization, and - each audio frame comprises a means for identifying the audio synchronization, and - each text frame comprises a means for identifying the synchronization of the subtitles. The present invention also relates to equipment and methods for analyzing the possible presence of artifacts on each of the streams and for synchronizing the various streams with one another.

Description

« Flux audio-vidéo marqué pour en synchroniser les différentes composantes, procédé et installation pour l'analyse des artefacts et du synchronisme d'un tel flux »  "Audio-video stream marked to synchronize the various components, process and installation for the analysis of artifacts and synchronism of such a flow"
Domaine technique La présente invention concerne un flux audio-vidéo marqué, un procédé de génération d'un tel flux, un procédé et une installation pour l'analyse et la synchronisation d'un tel flux. TECHNICAL FIELD The present invention relates to a marked audio-video stream, a method of generating such a stream, a method and an installation for analyzing and synchronizing such a stream.
La présente invention se situe dans le domaine de la visualisation de contenus médiatiques, et plus particulièrement audio-visuels. Etat de la technique antérieure The present invention is in the field of visualization of media content, and more particularly audio-visual. State of the art
L'invention a trait à la visualisation de contenus audiovisuels comportant notamment un signal vidéo et/ou un signal audio et/ou un élément textuel diffusé en surimpression, comme un sous-titre par exemple. On constate que l'offre et la demande de tels contenus audio-visuels ont crû de manière exponentielle durant la dernière décennie, contribuant ainsi à métamorphoser le panorama télévisuel (et internet) ainsi que la manière dont le public regarde de tels contenus. The invention relates to the visualization of audiovisual contents including in particular a video signal and / or an audio signal and / or a textual element broadcast superimposed, such as a subtitle for example. It can be seen that supply and demand for such audio-visual content has grown exponentially in the last decade, thus helping to transform the television (and internet) panorama as well as the way in which the public views such content.
En particulier, et notamment avec l'accroissement des dimensions des écrans, l'exigence quant à la qualité attendue de tels contenus s'est renforcée, du point de vue de la résolution d'une part, mais aussi dans la qualité audio et du rendu global d'autre part. In particular, and particularly with the increase in the size of the screens, the requirement as to the expected quality of such contents has been reinforced, from the point of view of the resolution on the one hand, but also in the audio quality and the overall rendering on the other hand.
Aujourd'hui, il n'existe pas à notre connaissance de dispositifs capables de détecter avec précision des artefacts dans les contenus vidéo joués par des décodeurs numériques, télévisions ou ordinateurs. En revanche, il existe de manière connue, des logiciels couplés à des cartes d'acquisition qui permettent de détecter des discontinuités dans le déroulement d'une vidéo, et de permettre ainsi de supposer la présence d'artefacts. Ces logiciels sont, de manière connue, intégrés à des automates qui permettent ainsi d'améliorer la lecture vidéo et le rendu offert à l'utilisateur. Les inconvénients associés à de tels dispositifs sont nombreux. En effet, malgré un coût élevé, ils nécessitent souvent une vérification manuelle a posteriori du contenu traité. Par ailleurs, ces systèmes ne permettent pas d'identifier les contenus joués (composantes audio, vidéo, télétexte...) et il n'existe pas non plus de moyens de vérifier avec précision la synchronisation entre les différentes composantes jouées par les décodeurs numériques, télévisions ou ordinateurs... Today, to our knowledge, there are no devices capable of accurately detecting artifacts in video content played by digital decoders, televisions or computers. On the other hand, there exists in a known manner, software coupled to acquisition cards which make it possible to detect discontinuities in the course of a video, and thus to allow to suppose the presence of artifacts. These software are, in a known manner, integrated with automata which thus make it possible to improve the video playback and the rendering offered to the user. The disadvantages associated with such devices are numerous. Indeed, despite a high cost, they often require a manual verification a posteriori of the processed content. Moreover, these systems do not identify the content played (audio, video, teletext ...) and there is no way to accurately check the synchronization between the different components played by digital decoders. , televisions or computers ...
La présente invention a pour objet de répondre au moins en grande partie aux problèmes précédents et de conduire en outre à d'autres avantages. Un autre but de l'invention est de résoudre au moins un de ces problèmes par un nouveau flux audio-vidéo qui permet de vérifier la continuité et/ou le synchronisme des différentes composantes textuelles, audio et vidéo. It is an object of the present invention to at least substantially meet the foregoing problems and to further provide other advantages. Another aim of the invention is to solve at least one of these problems by a new audio-video stream which makes it possible to check the continuity and / or synchronism of the various textual, audio and video components.
Un autre but de la présente invention est de proposer un dispositif qui facilite l'analyse des flux audio-vidéo et d'en réduire les coûts. Un autre but est d'améliorer la qualité et le rendu des flux audio-vidéo diffusés. Another object of the present invention is to provide a device that facilitates the analysis of audio-video streams and to reduce costs. Another goal is to improve the quality and the rendering of broadcast audio-video streams.
Exposé de l'invention Presentation of the invention
On atteint au moins l'un des objectifs précités avec un flux audio-vidéo marqué comprenant (i) au moins un signal vidéo composé d'au moins une trame vidéo, et (ii) au moins un signal audio composé d'au moins une trame audio et/ou (iii) au moins un signal textuel composé d'au moins une trame de sous-titres, et caractérisé en ce que l'au moins une trame vidéo comporte un moyen d'identification du synchronisme vidéo, et l'au moins une trame audio comporte un moyen d'identification du synchronisme audio et/ou l'au moins une trame de sous-titres comporte un moyen d'identification du synchronisme textuel. At least one of the above-mentioned objectives is achieved with a marked audio-video stream comprising (i) at least one video signal composed of at least one video frame, and (ii) at least one audio signal composed of at least one audio frame and / or (iii) at least one textual signal composed of at least one subtitle frame, and characterized in that the at least one video frame comprises means for identifying the video synchronism, and the at least one audio frame comprises means for identifying the audio synchronism and / or the at least one subtitle frame comprises means for identifying the text synchronism.
Ainsi le flux audio-vidéo marqué selon l'invention permet : Thus the audio-video stream marked according to the invention allows:
- d'identifier séparément les signaux textuel, audio et vidéo à l'aide de moyens d'identifications transportés sur chacun des signaux respectivement textuels, audio et vidéo. Dans le cas où le flux audio-vidéo marqué selon l'invention comporterait plusieurs signaux d'un même type (par exemple plusieurs sous-titres et/ou plusieurs langues de diffusion...) alors les identifiants correspondant permettent de distinguer chaque signal de la même catégorie ; to separately identify the textual, audio and video signals by means of identifications transported on each of the respective textual, audio and video signals. In the case where the audio-video stream marked according to the invention comprises several signals of the same type (for example several subtitles and / or several broadcast languages ...) then the corresponding identifiers make it possible to distinguish each signal of the same category;
- de vérifier la continuité des composantes de sous-titres, audio et vidéo diffusées puisque chacune d'entre elles est identifiable. En d'autres termes, il s'agit de pouvoir vérifier que tous les composants d'un signal donné - c'est-à-dire toutes les trames qui le composent - sont présents et joués dans le bon ordre. L'ordre dans lequel les trames doivent être jouées peut être contenu dans l'identifiant de synchronisme lui-même (en utilisant une incrémentation numérique par exemple) et/ou dans une base de données qui regroupe toutes les informations concernant le flux audio-vidéo marqué. Il est donc possible de savoir dans quel ordre chacune des trames doit être diffusée ;  - to verify the continuity of the subtitle, audio and video components broadcast since each of them is identifiable. In other words, it is to be able to verify that all the components of a given signal - that is to say all the frames that compose it - are present and played in the correct order. The order in which the frames must be played may be contained in the synchronism identifier itself (using a numerical incrementation, for example) and / or in a database that gathers all the information concerning the audio-video stream Mark. It is therefore possible to know in what order each frame must be broadcast;
- de vérifier le synchronisme entre les différents signaux, et plus particulièrement le synchronisme entre le signal vidéo et au moins un signal audio et/ou au moins un signal textuel . La bonne association des différentes trames des différents signaux, correspondant à un synchronisme parfait, peut être définie dans une base de données ou encodée dans les identifiants eux-mêmes.  - Check the synchronism between the different signals, and more particularly the synchronism between the video signal and at least one audio signal and / or at least one text signal. The good association of the different frames of the different signals, corresponding to a perfect synchronism, can be defined in a database or encoded in the identifiers themselves.
Un flux audio-vidéo selon l'invention peut comporter plusieurs instances de chaque signal audio et/ou textuel . A titre d'exemple non limitatif, un flux audio-vidéo marqué selon l'invention, dans le domaine du cinéma, peut être composé d'un flux vidéo, de deux flux audio différents, correspondant par exemple aux dialogues en Français et en Anglais, ainsi que cinq flux textuels correspondant aux sous-titres dans différentes langues étrangères. An audio-video stream according to the invention may comprise several instances of each audio and / or text signal. By way of nonlimiting example, an audio-video stream marked according to the invention, in the field of cinema, may be composed of a video stream, of two different audio streams, corresponding for example to the dialogues in French and in English. , as well as five text streams corresponding to subtitles in different foreign languages.
Le flux vidéo peut aussi être composé de plusieurs signaux vidéo. The video stream can also be composed of several video signals.
Selon une version, le moyen d'identification du synchronisme audio peut être transporté par une porteuse modulée en accord avec ledit moyen d'identification du synchronisme audio. According to one version, the means of identification of the audio synchronism can be transported by a modulated carrier in agreement with said means of identification of the audio synchronism.
Selon une autre version préférentielle, le moyen d'identification du synchronisme audio peut être un compteur pour identifier l'instant de diffusion de la trame audio correspondante, permettant ainsi de déterminer à quel moment - et dans quel ordre - les trames audio sont diffusées. According to another preferred version, the audio synchronism identification means can be a counter for identifying the instant of broadcasting the corresponding audio frame, thereby determining when - and in what order - the audio frames are broadcast.
Selon une autre version préférentielle, le moyen d'identification du synchronisme vidéo peut comporter un identifiant unique pour indexer une base de données afin de pouvoir initier des comparaisons avec ladite base de données et d'analyser le flux audio-vidéo correspondant. L'identifiant peut être de tout type afin de permettre d'identifier - à minima - une cellule dans une base de données. Il peut s'agir par exemple d'un couple d'entiers décrivant respectivement un numéro de ligne et de colonne de ladite base de données, ou encore d'un code QR qui permet de stocker d'avantage d'informations, tel que par exemple un compteur. According to another preferred version, the means for identifying the video synchronism may comprise a unique identifier for indexing a database in order to be able to initiate comparisons with said database and to analyze the corresponding audio-video stream. The identifier can be of any type in order to identify - at least - a cell in a database. For example, it may be a pair of integers respectively describing a row and column number of said database, or a QR code which makes it possible to store more information, such as by example a counter.
Selon une autre version, le moyen d'identification du synchronisme vidéo peut comporter en outre une structure bi-dimensionnelle d'images prédéfinies afin de pouvoir détecter la présence d'éventuels artefacts en mesurant la déformation de l'image diffusée par rapport à celle prédéfinie et dont les caractéristiques essentielles sont enregistrées dans la base de données. Il peut s'agir d'une mosaïque comportant des images particulières à des positions particulières. Les caractéristiques concernant les images qui constituent la mosaïque et leurs positions sont stockées par ailleurs dans une base de données. Enfin, les images peuvent être différentes pour chacune des trames qui composent le flux vidéo. According to another version, the means of identification of the video synchronism may further comprise a two-dimensional structure of predefined images in order to be able to detect the presence of possible artifacts by measuring the distortion of the diffused image compared to the predefined one and whose essential characteristics are recorded in the database. It can be a mosaic with particular images at particular positions. The characteristics concerning the images that constitute the mosaic and their positions are stored elsewhere in a database. Finally, the images may be different for each of the frames that make up the video stream.
Suivant un autre aspect de l'invention, il est proposé un décodeur d'un flux audio-vidéo marqué et comprenant (i) un moyen pour lire ledit au moins un flux audio-vidéo marqué selon l'invention, (ii) un moyen pour extraire au moins un identifiant de synchronisme vidéo de l'au moins un signal vidéo dudit flux audio-vidéo marqué, (iii) un moyen pour extraire l'au moins un identifiant de synchronisme audio de l'au moins un signal audio dudit flux audio-vidéo marqué, (iv) un moyen pour extraire l'au moins un identifiant de synchronisme textuel de l'au moins un signal textuel dudit flux audiovidéo marqué, (v) une base de données comprenant d'une part les informations de décodage de l'identifiant de synchronisme vidéo de l'au moins un signal vidéo dudit flux audio-vidéo marqué et d'autre part le signal audio et/ou le signal textuel de l'au moins un flux audio-vidéo marqué, et (vi) un moyen d'analyse pour comparer les identifiants de synchronismes extraits avec le contenu de la base de données. Il est ainsi possible de contrôler la diffusion dudit flux audio-vidéo et d'en améliorer le rendu, à des coûts moins élevés que ceux proposés par les solutions connues. En effet, les moyens d'analyse permettent d'une part de vérifier que l'au moins un flux audio diffusé correspond au signal audio original, et d'autre part de vérifier la présence éventuelle d'artefacts vidéos tels que les coupures ou les macroblocs en vérifiant que les images présentes sur l'identifiant du synchronisme vidéo sont conformes à celles qui ont été utilisées dans le signal original et qui sont stockées sur la base de données. Il est aussi possible de vérifier que le texte diffusé en sous-titrage est conforme à celui du signal original. According to another aspect of the invention, there is provided a decoder of a marked audio-video stream and comprising (i) means for reading said at least one audio-video stream marked according to the invention, (ii) means for for extracting at least one video synchronism identifier from the at least one video signal of said marked audio-video stream, (iii) means for extracting the at least one audio synchronism identifier from the at least one audio signal of said stream labeled audio-video, (iv) means for extracting the at least one text synchronous identifier from the at least one text signal of said marked audio-video stream, (v) a database comprising on the one hand the decoding information the video synchronism identifier of the at least one video signal of said marked audio-video stream and the audio signal and / or the textual signal of the at least one audio-video stream marked, and (vi) an analysis means for comparing the extracted synchronism identifiers with the contents of the database. It is thus possible to control the broadcasting of said audio-video stream and to improve its rendering, at lower costs than those proposed by the known solutions. Indeed, the analysis means make it possible, on the one hand, to verify that the at least one broadcast audio stream corresponds to the original audio signal, and on the other hand to check the possible presence of video artifacts such as the cuts or macroblocks by verifying that the images present on the identifier of the video synchronism are in conformity with those which have been used in the original signal and which are stored on the database. It is also possible to check that the text broadcast in closed captioning is in line with that of the original signal.
L'invention concerne par ailleurs un procédé de génération d'un flux audiovidéo marqué selon l'invention et pouvant comprendre au moins une itération des étapes suivantes : The invention also relates to a method for generating a marked audio-video stream according to the invention and which can comprise at least one iteration of the following steps:
- découpage d'un flux audio-vidéo en une pluralité de trames vidéo d'une part, et/ou en une pluralité de trames audio d'autre part, et/ou en une pluralité de trames de sous-titres ;  - cutting an audio-video stream into a plurality of video frames on the one hand, and / or a plurality of audio frames on the other hand, and / or a plurality of subtitle frames;
- insertion d'un identifiant de synchronisme vidéo dans chaque trame vidéo,  inserting a video synchronism identifier in each video frame,
- insertion d'un identifiant de synchronisme audio dans chaque trame audio ;  inserting an audio synchronism identifier in each audio frame;
- insertion d'un identifiant de synchronisme textuel dans chaque trame de sous-titres. II est ainsi possible à l'aide de ce procédé de convertir un flux audio-vidéo quelconque en un flux audio-vidéo marqué et comprenant des marqueurs qui permettront d'analyser, vérifier et, le cas échéant, compenser d'une part le synchronisme du flux audio par rapport au flux vidéo, ainsi que de détecter et réparer certains artefacts, et d'autre part le synchronisme du flux textuel par rapport au flux vidéo.  - insertion of a text synchronism identifier in each subtitle frame. It is thus possible using this method to convert any audio-video stream into a marked audio-video stream and including markers that will analyze, verify and, if necessary, compensate on the one hand the synchronism the audio stream with respect to the video stream, as well as detecting and repairing certain artifacts, and secondly the synchronism of the text stream with respect to the video stream.
Suivant encore un autre aspect de l'invention, il est proposé un procédé d'analyse d'un flux audio-vidéo marqué selon l'invention, ledit procédé d'analyse utilisant une unité de traitement pour tester (i) la continuité de l'au moins une trame vidéo de l'au moins un signal vidéo dudit flux audiovidéo marqué ; et/ou (ii) la continuité de l'au moins une trame audio de l'au moins un signal audio dudit flux audio-vidéo marqué ; et/ou (iii) la continuité de l'au moins une trame de sous-titres de l'au moins un signal textuel dudit flux audio-vidéo marqué. According to yet another aspect of the invention, there is provided a method for analyzing an audio-video stream marked according to the invention, said analysis method using a processing unit to test (i) the continuity of the at least one video frame of the at least one video signal of said marked audio-video stream; and / or (ii) the continuity of the at least one audio frame of the at least one audio signal of said marked audio-video stream; and / or (iii) the continuity of the at least one subtitle frame of the at least one text signal of said marked audio-video stream.
L'unité de traitement peut comprendre un microprocesseur ou un microcontrôleur et peut être intégré par exemple dans un équipement de lecture de flux audio-vidéos, tels que par exemple une « set-top-box », une télévision numérique ou n'importe quel type de décodeur numérique. Avantageusement, le procédé d'analyse selon l'invention peut tester en outre le synchronisme audio de l'au moins une trame audio par rapport à l'au moins une trame vidéo dudit flux audio-vidéo marqué, et/ou le synchronisme textuel de l'au moins une trame de sous-titres par rapport à l'au moins une trame vidéo dudit flux audio-vidéo marqué. Préférentiellement, le procédé d'analyse selon l'invention peut aussi tester la qualité de l'au moins une trame vidéo dudit flux audio-vidéo marqué. The processing unit may comprise a microprocessor or a microcontroller and may be integrated for example in audio-video stream reading equipment, such as for example a "set-top-box", a digital television or any other type of digital decoder. Advantageously, the analysis method according to the invention can further test the audio synchronism of the at least one audio frame with respect to the at least one video frame of said marked audio-video stream, and / or the text synchronism of the at least one subtitle frame with respect to the at least one video frame of said marked audio-video stream. Preferably, the analysis method according to the invention can also test the quality of the at least one video frame of said marked audio-video stream.
Avantageusement, le procédé d'analyse selon l'invention peut comprendre au moins une itération des étapes suivantes : Advantageously, the analysis method according to the invention may comprise at least one iteration of the following steps:
- une étape de lecture de l'au moins un flux audio-vidéo marqué, a step of reading the at least one audio-video stream marked,
- une étape d'acquisition des identifiants de synchronisme comprenant : a step of acquiring the synchronism identifiers comprising:
- l'acquisition de l'identifiant de synchronisme vidéo de l'au moins une trame vidéo dudit flux audio-vidéo marqué,  the acquisition of the video synchronism identifier of the at least one video frame of said marked audio-video stream,
- l'acquisition de l'identifiant de synchronisme audio de l'au moins une trame audio dudit flux audio-vidéo marqué,  the acquisition of the audio synchronism identifier of the at least one audio frame of said marked audio-video stream,
- l'acquisition de l'identifiant de synchronisme textuel de l'au moins une trame de sous-titres dudit flux audio-vidéo marqué,  the acquisition of the text synchronism identifier of the at least one subtitle frame of said marked audio-video stream,
- une étape de décodage de l'identifiant vidéo, a step of decoding the video identifier,
- une étape d'indexation d'une base de données comprenant toutes les informations relatives audit flux audio-vidéo marqué,  a step of indexing a database comprising all the information relating to said marked audio-video stream,
- une étape de détection des artefacts comprenant :  an artefact detection step comprising:
- la détection des artefacts vidéo, - la détection des artefacts audio, - detection of video artifacts, - detection of audio artifacts,
- une étape de correction des artefacts détectés.  a step of correcting the artifacts detected.
Il est ainsi possible d'améliorer la qualité des flux audio-vidéos marqués car les éventuels artefacts audio et vidéo qui sont détectés sont analysés par comparaison avec la base de données et corrigés. It is thus possible to improve the quality of the audio-video streams marked because any audio and video artifacts that are detected are analyzed by comparison with the database and corrected.
D'une manière générale, la présente invention entend couvrir les procédés de synchronisation et/ou de correction d'artefacts des signaux composants des flux audio-vidéo, quel que soit le nombre de signaux composants lesdits flux. La présente invention s'étend aussi à la synchronisation de plusieurs flux audio-vidéo marqués, l'un d'entre eux étant pris comme référence. In general, the present invention intends to cover the methods of synchronization and / or correction of artifacts of the component signals of the audio-video streams, regardless of the number of signals component said streams. The present invention also extends to the synchronization of several audio-video marked streams, one of them being taken as reference.
Suivant cet autre aspect de l'invention, le procédé d'analyse selon l'invention peut comporter au préalable à l'étape de lecture une étape de génération de flux audio-vidéo marqué à partir d'un flux audio-vidéo standard et comprenant les étapes suivantes : According to this other aspect of the invention, the analysis method according to the invention may comprise beforehand at the reading step a step of generating audio-video streams marked from a standard audio-video stream and comprising the following steps:
- découpage d'un flux audio-vidéo en une pluralité de trames vidéo d'une part, et/ou en une pluralité de trames audio d'autre part, et/ou en une pluralité de trames de sous-titres ;  - cutting an audio-video stream into a plurality of video frames on the one hand, and / or a plurality of audio frames on the other hand, and / or a plurality of subtitle frames;
- insertion d'un identifiant de synchronisme vidéo dans chaque trame vidéo,  inserting a video synchronism identifier in each video frame,
- insertion d'un identifiant de synchronisme audio dans chaque trame audio,  inserting an audio synchronism identifier in each audio frame,
- insertion d'un identifiant de synchronisme textuel dans chaque trame de sous-titres.  - insertion of a text synchronism identifier in each subtitle frame.
Description des figures et des modes de réalisation Description of Figures and Embodiments
D'autres caractéristiques et avantages de l'invention apparaîtront encore au travers de la description qui suit d'une part, et de plusieurs exemples de réalisation donnés à titre indicatif et non limitatif en référence aux dessins schématiques annexés d'autre part, sur lesquels : Other characteristics and advantages of the invention will become apparent from the description which follows, on the one hand, and from several exemplary embodiments given by way of nonlimiting indication with reference to the appended schematic drawings on the other hand, on which :
- la FIGURE 1 illustre un diagramme de principe pour la génération d'un flux audio-vidéo marqué selon l'invention, - la FIGURE 2 illustre un exemple particulier d'identificateur de synchronisme vidéo, FIG. 1 illustrates a principle diagram for the generation of a labeled audio-video stream according to the invention, FIG. 2 illustrates a particular example of video synchronism identifier,
- la FIGURE 3 illustre un flux vidéo marqué selon l'invention, FIG. 3 illustrates a video stream marked according to the invention,
- la FIGURE 4 illustre un diagramme de principe pour l'analyse des différents artefacts d'un flux audio-vidéo marqué selon l'invention ainsi que la détection des erreurs de synchronisation,  FIG. 4 illustrates a principle diagram for the analysis of the different artifacts of a labeled audio-video stream according to the invention as well as the detection of synchronization errors,
- la FIGURE 5 illustre un exemple de transmission d'un compteur de trame audio par modulation d'amplitude, et FIG. 5 illustrates an example of transmission of an audio frame counter by amplitude modulation, and
- la FIGURE 6 illustre le spectre équivalent du signal audio généré. FIGURE 6 illustrates the equivalent spectrum of the generated audio signal.
Les modes de réalisation qui seront décrits dans la suite ne sont nullement limitatifs ; on pourra notamment imaginer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieur. Cette sélection comprend au moins une caractéristique de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieur. The embodiments which will be described hereinafter are in no way limiting; it will be possible to imagine variants of the invention comprising only a selection of characteristics described hereinafter isolated from the other characteristics described, if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention compared to the state of the art. This selection comprises at least one feature preferably functional without structural details, or with only a part of the structural details if this part alone is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art.
En particulier toutes les variantes et tous les modes de réalisation décrits sont combinables entre eux si rien ne s'oppose à cette combinaison sur le plan technique. In particular, all the variants and all the embodiments described are combinable with each other if nothing stands in the way of this combination at the technical level.
Sur les figures, les éléments communs à plusieurs figures conservent la même référence. In the figures, the elements common to several figures retain the same reference.
La FIGURE 1 illustre un diagramme de principe pour la génération 100 d'un flux audio-vidéo marqué selon l'invention. Le principe général est de diviser 102 chaque signal composant le flux audio-vidéo original 101 en trames sur lesquelles sont introduits par ailleurs des marqueurs qui permettront de vérifier et/ou corriger la continuité et/ou le synchronisme entre les différents signaux et/ou corriger les artefacts de lecture qui peuvent parfois apparaître lors de la diffusion desdits signaux. FIG. 1 illustrates a principle diagram for the generation 100 of a labeled audio-video stream according to the invention. The general principle is to divide each signal composing the original audio-video stream 101 into frames on which are introduced markers which will make it possible to check and / or correct the continuity and / or the synchronism between the signals. different signals and / or correct reading artifacts that may sometimes appear during the broadcast of said signals.
Le procédé délivre ainsi plusieurs signaux composés chacun d'une pluralité de trames marquées, lesdits signaux comprenant par exemple au moins un signal vidéo découpé en trames et marquées 104, et/ou au moins un signal audio découpé en trames et marquées 105, et/ou au moins un signal textuel découpé en trames et marquées 103. The method thus delivers a plurality of signals each composed of a plurality of marked frames, said signals comprising for example at least one video signal cut into frames and labeled 104, and / or at least one audio signal cut into frames and labeled 105, and or at least one textual signal cut into frames and marked 103.
Le signal textuel découpé en trame et marquées peut représenter la bande de sous-titrage associée au signal vidéo, ou n'importe quelle autre information textuelle diffusée en surimpression à l'image diffusée par le média. The rasterized, text-cut text signal may represent the subtitle band associated with the video signal, or any other textual information overlaid on the image broadcast by the media.
Le marquage des différents signaux qui composent le flux audio-vidéo marqué comprend un identifiant de synchronisme, pouvant contenir cependant d'avantage d'informations que celle nécessaire pour vérifier la continuité des signaux et réaliser la synchronisation des différents signaux. The marking of the various signals that make up the audio-video stream marked includes a synchronism identifier, which may, however, contain more information than that necessary to check the continuity of the signals and synchronize the different signals.
Ainsi, le marquage du signal vidéo découpé en trames peut comporter un compteur pour servir de référence temporelle pour la synchronisation des autres signaux du flux audio-vidéo marqué ; il peut aussi contenir un identifiant unique permettant d'indexer une base de données 110 décrites ci-après. Thus, the marking of the video signal cut into frames may comprise a counter to serve as a time reference for the synchronization of the other signals of the marked audio-video stream; it may also contain a unique identifier for indexing a database 110 described below.
Le marquage du signal audio découpé en trames peut être réalisé par modulation d'amplitude par exemple ou par tout autre moyen permettant de superposer au signal audio initial une information permettant d'identifier ultérieurement le synchronisme du signal audio avec le signal vidéo. A minima, le code superposé au signal audio original et transporté sur chaque trame comporte un compteur ou un identifiant permettant d'accéder à un tel compteur. The marking of the audio signal cut into frames can be carried out by amplitude modulation for example or by any other means making it possible to superimpose on the initial audio signal information making it possible to subsequently identify the synchronism of the audio signal with the video signal. At least, the code superimposed on the original audio signal and transported on each frame includes a counter or an identifier for accessing such a counter.
Le marquage du signal textuel découpé en trames comporte en outre un compteur afin de déterminer l'instant d'apparition de ladite trame textuelle. Une fois réalisés le découpage des trames et le marquage des différents signaux composant le flux audio-vidéo initial, les composantes sont recombinées pour former un flux audio-vidéo marqué 106. The marking of the textual signal cut into frames further comprises a counter to determine the time of appearance of said text frame. Once the cutting of the frames and the marking of the various signals composing the initial audio-video stream have been performed, the components are recombined to form a labeled audio-video stream 106.
Enfin, une base de données 110 est renseignée avec toutes les informations qui permettront l'analyse et le décodage ultérieur du flux audio-vidéo marqué. Typiquement, mais de manière non limitative, la base de données peut contenir les informations concernant le flux audio-vidéo original ainsi que la description complète du flux audio-vidéo marqué généré par le présent procédé, à savoir, et à titre non limitatif, le contenu et la position relative de chaque trame de chaque signal composant le flux audio-vidéo original. Finally, a database 110 is filled with all the information that will allow the analysis and subsequent decoding of the audio-video stream marked. Typically, but not limited to, the database may contain information about the original audio-video stream as well as the full description of the labeled audio-video stream generated by the present method, namely, and not limited to, the content and the relative position of each frame of each signal composing the original audio-video stream.
Dans l'exemple illustré sur la FIGURE 1, la base de données 110 renferme toutes les informations concernant les signaux vidéo, audio et textuel découpés en trames et marqués. Plus particulièrement, la base de données peut contenir un compteur du signal vidéo qui permet d'identifier le synchronisme des autres signaux supportés (audio et textuel) et l'ensemble des informations décrivant l'ensemble des trames du flux audio-vidéo marqué, à savoir : In the example illustrated in FIG. 1, the database 110 contains all the information concerning the video, audio and text signals cut into frames and marked. More particularly, the database may contain a video signal counter which makes it possible to identify the synchronism of the other supported signals (audio and textual) and all the information describing all the frames of the audio-video stream marked, to know :
- la liste et la position des différentes images prédéfinies composant la structure bi-dimensionnelle 200 de la trame vidéo analysée, the list and the position of the different predefined images composing the two-dimensional structure 200 of the video frame analyzed,
- les éléments audio du signal original ainsi que le compteur des trames audio, - the audio elements of the original signal as well as the counter of the audio frames,
- les éléments de sous-titres du signal original ainsi que le compteur des trames de sous-titres. La FIGURE 2 illustre un exemple particulier d'identificateur de synchronisme vidéo comprenant une structure bi-dimensionnelle 200 et pour une trame vidéo donnée. Elle est composée de huit images prédéfinies 202 à 209 et différentes, positionnées autour d'un code d'identification 201 qui permet d'indexer la base de données 110. Dans l'exemple illustré, le code d'identification est un code QR, bien connu de l'homme du métier. La présente invention ne se limite pas à ce type de code mais englobe tous les moyens aptes à indexer une base de données. A minima, il peut s'agir d'un couple d'entiers qui décrivent un numéro de ligne et de colonne de ladite base de données. La cellule ainsi pointée dans la base de données 110 renferme les informations correspondantes à la trame vidéo, audio et/ou textuel actuellement diffusée. La FIGURE 3 illustre de manière schématique un flux audio-vidéo marqué 106 selon l'invention. Dans l'exemple illustré, le flux audio-vidéo marqué 106 se décompose en trois signaux distincts qui ont été respectivement marqués et recombinés par la suite : - the subtitle elements of the original signal as well as the counter of the subtitle frames. FIG. 2 illustrates a particular example of a video synchronism identifier comprising a two-dimensional structure 200 and for a given video frame. It is composed of eight predefined images 202 to 209 and different, positioned around an identification code 201 which indexes the database 110. In the illustrated example, the identification code is a QR code, well known to those skilled in the art. The present invention is not limited to this type of code but encompasses all the means capable of indexing a database. At a minimum, it may be a pair of integers that describe a row and column number of said database. The cell thus pointed in the database 110 contains the information corresponding to the video, audio and / or textual frame currently being broadcast. FIG. 3 schematically illustrates a labeled audio-video stream 106 according to the invention. In the example illustrated, the audio-video stream 106 is broken down into three distinct signals which have respectively been subsequently labeled and recombined:
- un signal vidéo 104 composé d'une succession d'images 341 et 344 à une fréquence. De manière traditionnelle, la fréquence de diffusion des images est de 25 images par secondes, mais cette fréquence peut être supérieure dans le cas de tournages en haute résolution, typiquement 50 à 60 images par secondes. Pour chaque trame 341 et 344, un identifiant de synchronisme vidéo 342 et 345 est associé, comprenant dans l'exemple illustré une mosaïque d'images prédéfinies 343 et 346. a video signal 104 composed of a succession of images 341 and 344 at one frequency. In the traditional way, the image diffusion frequency is 25 frames per second, but this frequency can be higher in the case of high resolution filming, typically 50 to 60 images per second. For each frame 341 and 344, a video synchronism identifier 342 and 345 is associated, comprising in the illustrated example a mosaic of predefined images 343 and 346.
- un signal audio 105 composé des trames audio 351 et 354 qui doivent être diffusés en même temps que les trames vidéos respectifs 341 et 344. Pour contrôler la diffusion du flux audio 105, chaque trame est associé à un identifiant de synchronisme. Ainsi, la trame audio 351 est associé à l'identifiant 352 et la trame audio 354 est associé à l'identifiant 355. Chaque identifiant comprend par ailleurs un compteur 353 et 356 qui permet de déterminer l'instant de diffusion de ladite trame. - un signal textuel 103 pour la diffusion des sous titres qui correspondent aux trames vidéo et audio. Pour contrôler la diffusion du flux textuel 103, chaque trame est associé à un identifiant de synchronisme. Ainsi, la trame textuelle 361 est associée à l'identifiant 362 et la trame textuelle 364 est associée à l'identifiant 365. Chaque identifiant comprend par ailleurs un compteur 363 et an audio signal 105 composed of the audio frames 351 and 354 which must be broadcast at the same time as the respective video frames 341 and 344. To control the broadcasting of the audio stream 105, each frame is associated with a synchronism identifier. Thus, the audio frame 351 is associated with the identifier 352 and the audio frame 354 is associated with the identifier 355. Each identifier furthermore comprises a counter 353 and 356 which makes it possible to determine the instant of broadcast of said frame. a text signal 103 for broadcasting the subtitles that correspond to the video and audio frames. To control the diffusion of the text stream 103, each frame is associated with a synchronism identifier. Thus, the text frame 361 is associated with the identifier 362 and the text frame 364 is associated with the identifier 365. Each identifier furthermore comprises a counter 363 and
366 qui permet de déterminer l'instant de diffusion de ladite trame de sous-titre. La FIGURE 4 illustre un diagramme de principe pour l'analyse des différents artefacts d'un flux audio-vidéo marqué selon l'invention ainsi que la détection des erreurs de synchronisation. Il comprend les étapes suivantes : 366 which determines the broadcast time of said subtitle frame. FIG. 4 illustrates a principle diagram for the analysis of the different artifacts of an audio-video stream marked according to the invention as well as the detection of synchronization errors. It includes the following steps:
- lecture 401 d'un flux audio-vidéo marqué 106 selon l'invention par tout moyen apte à diffuser un tel contenu, comme par exemple une télévision, une télévision numérique, un décodeur numérique...  - Reading 401 of an audio-video stream marked 106 according to the invention by any means capable of broadcasting such content, such as a television, a digital television, a digital decoder ...
- acquisition des identifiants de synchronisme 410 pour chacun des signaux extraits, à savoir au moins un signal vidéo 411 découpé en trames et marquées , au moins un signal audio 412 découpé en trames et marquées, et/ou au moins un signal textuel 413 découpé en trames et marquées. La présente invention ne se limite pas à un type particulier de moyens pour l'acquisition des différents identifiants. A titre d'exemple, l'acquisition de l'identifiant de synchronisme vidéo peut être réalisée à l'aide d'une caméra ou par capture d'écran ; l'acquisition de l'identifiant de synchronisme audio peut être réalisé à l'aide d'un microphone ou d'une carte d'acquisition ; et l'acquisition de l'identifiant de synchronisme textuel peut être réalisé à l'aide d'un logiciel de reconnaissance optique des caractères... - décodage des identifiants de synchronisme 420 pour chacun des signaux composant le flux audio-vidéo marqué 106. A titre d'exemple non limitatif, il peut s'agir pour le signal vidéo de décoder le code QR ; pour le signal audio, il peut s'agir de démoduler le signal porteur de l'identifiant ; et pour le signal textuel, il peut s'agir d'extraire au moins un code alphanumérique.acquisition of the synchronism identifiers 410 for each of the extracted signals, namely at least one video signal 411 cut into frames and marked, at least one audio signal 412 cut into frames and marked, and / or at least one textual signal 413 cut into frames and marked. The present invention is not limited to a particular type of means for the acquisition of different identifiers. For example, the acquisition of the video synchronism identifier can be performed using a camera or by screen capture; the acquisition of the audio synchronism identifier can be achieved using a microphone or an acquisition card; and the acquisition of the text synchronous identifier can be achieved using an optical character recognition software ... - decoding synchronism identifiers 420 for each of the signals composing the audio-video stream labeled 106. By way of non-limiting example, it may be for the video signal to decode the QR code; for the audio signal, it may be to demodulate the signal carrying the identifier; and for the textual signal, it may be to extract at least one alphanumeric code.
- l'identifiant vidéo extrait permet d'indexer la base de données 110 qui contient toutes les informations relatives au flux audio-vidéo tel qu'il devrait être idéalement diffusé. Les informations contenues, pour chacune des trames, permet ainsi de : the extracted video identifier makes it possible to index the database 110 which contains all the information relating to the audio-video stream such that it should ideally be broadcast. The information contained, for each frame, thus makes it possible to:
- détecter les artefacts 430 pour chacun des signaux 431-433 en comparant avec lesdites informations stockées sur la base de données 110 et décrites précédemment, - éventuellement, corriger ces artefacts 440 par des moyens connus, detecting the artifacts 430 for each of the signals 431-433 by comparing with said information stored on the database 110 and described previously, possibly, correcting these artefacts 440 by known means,
- et éventuellement, corriger les défauts de synchronisation 440 en analysant les compteurs contenus dans chaque identifiant de synchronisme et à l'aide d'une horloge de référence, interne aux moyens d'analyse ou externe.  and, possibly, correct the synchronization faults 440 by analyzing the counters contained in each synchronism identifier and using a reference clock internal to the analysis or external means.
Le flux audio-vidéo marqué 450 est ainsi corrigé et/ou lu de manière optimale. The audio-video stream marked 450 is thus corrected and / or read optimally.
Les moyens d'analyse des flux audio-vidéo marqués selon l'invention peuvent consister en des moyens internes au moyen de diffusion desdits flux audio-vidéo, tels que le processeur contenu dans une télévision numérique ou un décodeur numérique par exemple, ou encore à l'aide de moyens externalisés tels qu'un ordinateur. The means for analyzing the audio-video streams marked according to the invention may consist of internal means by means of broadcasting said audio-video streams, such as the processor contained in a digital television or a digital decoder, for example, or using outsourced means such as a computer.
L'analyse du flux obtenu après avoir traversé la chaîne de traitement consiste dans un premier temps à identifier la date d'occurrence de chaque changement d'identifiant du signal vidéo à l'aide du code QR par exemple et de la base de données et, dans un second temps, à détecter l'occurrence des compteurs des autres signaux : pour le signal audio, il s'agit par exemple de détecter le début de chaque nouvelle trame audio. La comparaison des dates pour des valeurs de compteurs identiques donne alors la valeur de décalage entre les signaux vidéo et audio et/ou textuel tels qu'ils sont restitués par le moyen de diffusion et pour chacune des trames analysées. The analysis of the flow obtained after having crossed the processing chain consists first of all in identifying the date of occurrence of each change of identifier of the video signal using the QR code for example and the database and in a second step, to detect the occurrence of the counters of the other signals: for the audio signal, it is for example to detect the beginning of each new audio frame. The comparison of dates for identical counter values then gives the offset value between the video and audio and / or textual signals as they are rendered by the broadcasting means and for each of the scanned frames.
La présente invention permet ainsi de détecter des défauts de synchronisme supérieurs au seuil d'acceptabilité (situé entre -185 ms pour un retard du signal audio sur le signal vidéo, et +90 ms pour une avance du signal audio sur le signal vidéo) avec une précision de +/- 10 ms dans le cas d'une analyse réalisée à 50 images par secondes. The present invention thus makes it possible to detect synchronism faults greater than the acceptability threshold (located between -185 ms for a delay of the audio signal on the video signal, and +90 ms for an advance of the audio signal on the video signal) with an accuracy of +/- 10 ms in the case of an analysis performed at 50 images per second.
Le tableau ci-dessous illustre un exemple d'analyse temporelle réalisée par la présente invention sur un flux audio-vidéo marqué, comprenant un signal vidéo et un signal audio (et ne comprenant pas de signal textuel) : Erreur deThe table below illustrates an example of time analysis performed by the present invention on a marked audio-video stream, comprising a video signal and an audio signal (and not including a textual signal): Error of
Compteur de Horloge Compteur de Horloge Clock Counter Clock Counter
Compteur synchronisation trame vidéo vidéo trame audio audio  Counter synchronization frame video video frame audio audio
mesurée (ms)  measured (ms)
2356 1 178 000 2356 1 178 125 2356 -1152356 1,178,000 2356 1,178,125 2356 -115
2357 1 178 500 2357 1 178 430 2357 70 2357 1 178 500 2357 1 178 430 2357 70
2358 1 179 000 2358 1 179 000 2358 0  2358 1,179,000 2358 1,179,000 2358 0
5203 2 601 500 5203 2 601 500 5203 0 5203 2 601 500 5203 2 601 500 5203 0
N/A N/A 5204 2 602 000 5204 N/A  N / A N / A 5204 2 602 000 5204 N / A
5205 2 602 500 5205 2 602 400 5205 90  5205 2 602 500 5205 2 602 400 5205 90
Le flux audio-vidéo est diffusé à 50 images par secondes, et l'analyse est réalisée toutes les 500 ms, ce qui signifie que toutes les 25 images d'une séquence vidéo, un identifiant de synchronisme est inséré. The audio-video stream is broadcast at 50 frames per second, and the analysis is performed every 500 ms, which means that every 25 frames of a video sequence, a synchronism identifier is inserted.
Le compteur de la trame vidéo est extrait lors du décodage de l'identifiant vidéo qui marque chacune des trames vidéo. Dans l'exemple illustré, le compteur n° 5204 n'a pas été extrait. The counter of the video frame is extracted during the decoding of the video identifier which marks each video frame. In the example shown, counter # 5204 was not extracted.
L'horloge vidéo correspond à la date de changement de l'identifiant vidéo et représente la référence temporelle pour les autres flux. The video clock corresponds to the date of change of the video identifier and represents the time reference for the other streams.
Le compteur de la trame audio est extrait par démodulation du signal contenu dans chacune des trames audio. The counter of the audio frame is extracted by demodulation of the signal contained in each of the audio frames.
L'horloge audio correspond à la date de détection du début de la trame audio. The audio clock corresponds to the detection date of the beginning of the audio frame.
On constate ainsi que la trame audio correspondant au compteur 2356 est en retard de 115 ms par rapport à la trame vidéo correspondante, tandis que la trame audio n° 5205 est en avance de 90 ms par rapport à la trame vidéo correspondante. La trame audio n° 5203 est en phase avec la trame vidéo. It is thus found that the audio frame corresponding to the counter 2356 is 115 ms behind the corresponding video frame, while the audio frame No. 5205 is 90 ms ahead of the corresponding video frame. Audio frame # 5203 is in phase with the video frame.
La connaissance du défaut de synchronisme entre les différents signaux qui composent le flux audio-vidéo marqué selon l'invention permet par la suite de mettre en œuvre des moyens de synchronisation afin de recaler les signaux secondaires par rapport au flux vidéo. Ces moyens de synchronisation peuvent être intégrés aux moyens d'analyse ou constituer des moyens à part entière. A titre d'exemples non limitatifs, ils peuvent consister en une télévision numérique par exemple, un décodeur numérique ou encore un ordinateur. Knowledge of the lack of synchronism between the various signals that make up the audio-video stream labeled according to the invention makes it possible subsequently to implement synchronization means in order to reset the secondary signals with respect to the video stream. These synchronization means can be integrated in the analysis means or constitute means in its own right. As non-limiting examples, they may consist of a digital television for example, a digital decoder or a computer.
La FIGURE 5 illustre un exemple de transmission d'un compteur de trame audio par modulation d'amplitude, l'axe des abscisses 501 représentant le temps en millisecondes, l'axe des ordonnées 502 l'amplitude du signal codant le compteur de trame 504. La FIGURE 6 illustre le spectre équivalent 600 du signal audio généré sur quatre porteuses 603-606 et pour lesquelles l'amplitude 602 est représentée en fonction de la fréquence 601. FIG. 5 illustrates an example of transmission of an audio frame counter by amplitude modulation, the abscissa axis 501 representing the time in milliseconds, the ordinate axis 502 the amplitude of the signal encoding the frame counter 504 FIG. 6 illustrates the equivalent spectrum 600 of the audio signal generated on four carriers 603-606 and for which the amplitude 602 is represented as a function of the frequency 601.
Pour chacune des trames audio générées par le procédé selon l'invention, le compteur ou l'identifiant permettant d'accéder à un tel compteur est codé sur une porteuse modulée en accord avec ce dernier. Préférentiellement, la transmission du compteur ou de son identifiant au sein du signal audio ne doit pas excéder 1/Ft secondes, où Ft est la fréquence du signal vidéo. Ainsi, à titre d'exemple, pour un signal vidéo à 50 images par secondes, la transmission du code correspondant au compteur audio ou à son identifiant ne doit pas dépasser 20 ms. Par ailleurs, chaque début de transmission de la valeur du compteur ou de son identifiant débute par une valeur spécifique indiquant un « début de trame ». Dans l'exemple illustré sur les FIGURES 5 et 6, le début de trame est matérialisé par un maximum dans l'amplitude du signal. For each of the audio frames generated by the method according to the invention, the counter or the identifier making it possible to access such a counter is encoded on a modulated carrier in accordance with the latter. Preferably, the transmission of the counter or its identifier within the audio signal must not exceed 1 / Ft seconds, where Ft is the frequency of the video signal. Thus, for example, for a video signal at 50 frames per second, the transmission of the code corresponding to the audio counter or its identifier must not exceed 20 ms. Furthermore, each transmission start of the value of the counter or its identifier starts with a specific value indicating a "start of frame". In the example illustrated in FIGURES 5 and 6, the start of the frame is materialized by a maximum in the amplitude of the signal.
Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. Notamment, les différentes caractéristiques, formes, variantes et modes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres. En particulier, toutes les variantes et modes de réalisation décrits précédemment sont combinables entre eux. Of course, the invention is not limited to the examples that have just been described and many adjustments can be made to these examples without departing from the scope of the invention. In particular, the various features, shapes, variants and embodiments of the invention can be associated with each other in various combinations to the extent that they are not incompatible or exclusive of each other. In particular, all the variants and embodiments described above are combinable with each other.

Claims

Revendications  claims
Flux audio-vidéo marqué comprenant : A marked audio-video stream comprising:
- au moins un signal vidéo composé d'au moins une trame vidéo, etat least one video signal composed of at least one video frame, and
- au moins un signal audio composé d'au moins une trame audio, et at least one audio signal composed of at least one audio frame, and
- au moins un signal textuel composé d'au moins une trame de sous- titres, at least one text signal composed of at least one subtitle frame,
ledit flux audio-vidéo marqué étant caractérisé en ce que :  said marked audio-video stream being characterized in that:
- l'au moins une trame vidéo comporte un moyen d'identification du synchronisme vidéo, et the at least one video frame comprises means for identifying the video synchronism, and
- l'au moins une trame audio comporte un moyen d'identification du synchronisme audio, et the at least one audio frame comprises means for identifying the audio synchronism, and
- l'au moins une trame de sous-titres comporte un moyen d'identification du synchronisme textuel. the at least one subtitle frame includes means for identifying the text synchronism.
Flux audio-vidéo selon la revendication précédente, caractérisé en ce que le moyen d'identification du synchronisme audio est transporté par une porteuse modulée. Audio-video stream according to the preceding claim, characterized in that the audio synchronism identification means is transported by a modulated carrier.
Flux audio-vidéo selon l'une quelconque des revendications précédentes, caractérisé en ce que le moyen d'identification du synchronisme audio est un compteur pour identifier l'instant de diffusion de la trame audio correspondante. Audio-video stream according to any one of the preceding claims, characterized in that the means for identifying the audio synchronism is a counter for identifying the instant of broadcast of the corresponding audio frame.
Flux audio-vidéo selon l'une quelconque des revendications précédentes, caractérisé en ce que le moyen d'identification du synchronisme vidéo comporte un identifiant unique pour indexer une base de données. Audio-video stream according to any one of the preceding claims, characterized in that the means for identifying the video synchronism comprises a unique identifier for indexing a database.
Flux audio-vidéo selon l'une quelconque des revendications précédentes, caractérisé en ce que le moyen d'identification du synchronisme vidéo comporte en outre une structure bi-dimensionnelle d'images prédéfinies. Audio-video stream according to any one of the preceding claims, characterized in that the means for identifying the video synchronism further comprises a two-dimensional structure of predefined images.
6. Flux audio-vidéo selon l'une quelconque des revendications précédentes, caractérisé en ce que le moyen d'identification du synchronisme textuel est un compteur pour identifier l'instant d'apparition de la trame de sous-titre correspondante. 6. Audio-video stream according to any one of the preceding claims, characterized in that the means of identification of the text synchronism is a counter for identifying the time of appearance of the corresponding subtitle frame.
Procédé d'analyse de flux audio-vidéo d'un flux audio-vidéo marqué selon l'une quelconque des revendications 1 à 6, caractérisé en que ledit procédé utilise une unité de traitement pour tester: A method for analyzing audio-video streams of a labeled audio-video stream according to any one of claims 1 to 6, characterized in that said method uses a processing unit to test:
- la continuité de l'au moins une trame vidéo de l'au moins un signal vidéo dudit flux audio-vidéo marqué ; et/ou the continuity of the at least one video frame of the at least one video signal of said marked audio-video stream; and or
- la continuité de l'au moins une trame audio de l'au moins un signal audio dudit flux audio-vidéo marqué ; et/ou the continuity of the at least one audio frame of the at least one audio signal of said marked audio-video stream; and or
- la continuité de l'au moins une trame de sous-titres de l'au moins un signal textuel dudit flux audio-vidéo marqué. the continuity of the at least one subtitle frame of the at least one text signal of said marked audio-video stream.
Procédé d'analyse selon la revendication précédente, caractérisé en ce que l'unité de traitement teste en outre : Analysis method according to the preceding claim, characterized in that the processing unit further tests:
- le synchronisme audio de l'au moins une trame audio par rapport à l'au moins une trame vidéo dudit flux audio-vidéo marqué ; et/ou the audio synchronism of the at least one audio frame with respect to the at least one video frame of said marked audio-video stream; and or
- le synchronisme textuel de l'au moins une trame de sous-titres par rapport à l'au moins une trame vidéo dudit flux audio-vidéo marqué. the textual synchronism of the at least one subtitle frame with respect to the at least one video frame of said marked audio-video stream.
Procédé d'analyse selon l'une quelconque des revendications 7 ou 8, caractérisé en ce que l'unité de traitement teste en outre la qualité de l'au moins une trame vidéo dudit flux audio-vidéo marqué. Analysis method according to any one of claims 7 or 8, characterized in that the processing unit further tests the quality of the at least one video frame of said audio-video stream labeled.
10. Procédé d'analyse selon l'une quelconque des revendications 7 à 9, caractérisé en qu'il comprend au moins une itération des étapes suivantes : 10. Analysis method according to any one of claims 7 to 9, characterized in that it comprises at least one iteration of the following steps:
- une étape de lecture d'un flux audio-vidéo marqué, a step of reading a marked audio-video stream,
- une étape d'acquisition des identifiants de synchronisme comprenant : - l'acquisition de l'identifiant de synchronisme vidéo de l'au moins une trame vidéo dudit flux audio-vidéo marqué, a step of acquiring the synchronism identifiers comprising: the acquisition of the video synchronism identifier of the at least one video frame of said marked audio-video stream,
- l'acquisition de l'identifiant de synchronisme audio de l'au moins une trame audio dudit flux audio-vidéo marqué, - l'acquisition de l'identifiant de synchronisme textuel de l'au moins une trame de sous-titres dudit flux audio-vidéo marqué, the acquisition of the audio synchronism identifier of the at least one audio frame of said audio-video marked stream, the acquisition of the text synchronism identifier of the at least one subtitle frame of said stream audio-video marked,
- une étape de décodage de l'identifiant vidéo, a step of decoding the video identifier,
- une étape d'indexation d'une base de données comprenant toutes les informations relatives audit flux audio-vidéo marqué, a step of indexing a database comprising all the information relating to said marked audio-video stream,
- une étape de détection des artefacts comprenant : an artefact detection step comprising:
- la détection des artefacts vidéo, - detection of video artifacts,
- la détection des artefacts audio. - detection of audio artifacts.
11. Décodeur d'un flux audio-vidéo marqué, à l'aide d'un procédé d'analyse selon l'une quelconque des revendications 7 à 10, ledit décodeur comprenant : 11. Decoder of a marked audio-video stream, using an analysis method according to any one of claims 7 to 10, said decoder comprising:
- un moyen pour lire le flux audio-vidéo marqué selon l'une quelconque des revendications 1 à 6, means for reading the audio-video stream marked according to any one of claims 1 to 6,
- un moyen pour extraire l'au moins un identifiant de synchronisme vidéo de l'au moins un signal vidéo dudit flux audio-vidéo marqué, means for extracting the at least one video synchronism identifier from the at least one video signal of said marked audio-video stream,
- un moyen pour extraire l'au moins un identifiant de synchronisme audio de l'au moins un signal audio dudit flux audio-vidéo marqué, means for extracting the at least one audio synchronism identifier from the at least one audio signal of said marked audio-video stream,
- un moyen pour extraire l'au moins un identifiant de synchronisme textuel de l'au moins un signal textuel dudit flux audio-vidéo marqué, means for extracting the at least one text synchronous identifier from the at least one text signal of said marked audio-video stream,
- une base de données comprenant : a database comprising:
- les informations de décodage de l'identifiant de synchronisme vidéo de l'au moins un signal vidéo dudit flux audio-vidéo marqué, - le signal audio dudit flux audio-vidéo marqué, et/ou - le signal textuel dudit flux audio-vidéo marqué, the decoding information of the video synchronism identifier of the at least one video signal of said marked audio-video stream, the audio signal of said marked audio-video stream, and / or the textual signal of said audio-video stream marked,
- un moyen d'analyse pour comparer les identifiants de synchronisme extraits avec le contenu de la base de données.  an analysis means for comparing the synchronism identifiers extracted with the contents of the database.
EP15826139.6A 2014-12-19 2015-12-17 Labelled audio-video stream for synchronizing the components thereof, method and equipment for analyzing the artifacts and synchronization of such a stream Ceased EP3235253A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1462869A FR3030973B1 (en) 2014-12-19 2014-12-19 AUDIO-VIDEO FLOW MARKED TO SYNCHRONIZE DIFFERENT COMPONENTS, METHOD AND INSTALLATION FOR ANALYSIS OF ARTIFACTS AND SYNCHRONISM OF SUCH A FLOW
PCT/EP2015/080253 WO2016097165A1 (en) 2014-12-19 2015-12-17 Labelled audio-video stream for synchronizing the components thereof, method and equipment for analyzing the artifacts and synchronization of such a stream

Publications (1)

Publication Number Publication Date
EP3235253A1 true EP3235253A1 (en) 2017-10-25

Family

ID=53191771

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15826139.6A Ceased EP3235253A1 (en) 2014-12-19 2015-12-17 Labelled audio-video stream for synchronizing the components thereof, method and equipment for analyzing the artifacts and synchronization of such a stream

Country Status (3)

Country Link
EP (1) EP3235253A1 (en)
FR (1) FR3030973B1 (en)
WO (1) WO2016097165A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597497B (en) * 2018-04-03 2020-09-08 中译语通科技股份有限公司 Subtitle voice accurate synchronization system and method and information data processing terminal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070154171A1 (en) * 2006-01-04 2007-07-05 Elcock Albert F Navigating recorded video using closed captioning
US20130097632A1 (en) * 2009-05-27 2013-04-18 Ajay Shah Synchronization to broadcast media

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL119504A (en) * 1996-10-28 2000-09-28 Elop Electrooptics Ind Ltd Audio-visual content verification method and system
DE102011122659A1 (en) * 2011-12-30 2013-07-04 Moticon Gmbh Method for synchronizing multimedia data, particularly audio or video data, involves embedding time information of video data through graphical display of time stamps, where generation of time information is performed by computer system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070154171A1 (en) * 2006-01-04 2007-07-05 Elcock Albert F Navigating recorded video using closed captioning
US20130097632A1 (en) * 2009-05-27 2013-04-18 Ajay Shah Synchronization to broadcast media

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2016097165A1 *

Also Published As

Publication number Publication date
FR3030973A1 (en) 2016-06-24
FR3030973B1 (en) 2018-04-27
WO2016097165A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US20140201774A1 (en) Systems and methods for multi-broadcast differentiation
EP0838960A2 (en) System and method for audio-visual content verification
US20140282673A1 (en) Systems and methods for real-time television ad detection using an automated content recognition database
EP3534615B1 (en) Systems and methods for real-time television ad detection using an automated content recognition database
WO2014145938A1 (en) Systems and methods for real-time television ad detection using an automated content recognition database
US10091543B2 (en) Monitoring audio-visual content with captions
EP1040670B1 (en) Method and system for measuring the quality of digital television signals
WO2017191397A1 (en) Method and device for synchronising subtitles
EP2104937B1 (en) Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method
US10965965B2 (en) Detecting of graphical objects to identify video demarcations
WO2016097165A1 (en) Labelled audio-video stream for synchronizing the components thereof, method and equipment for analyzing the artifacts and synchronization of such a stream
WO2009083459A2 (en) Method for synchronising a rich media® action with an audiovisual change, corresponding device and computer software, method for generating a rich media® presentation, and corresponding computer software
JP2007158673A (en) Dangerous video detection method, and video difference detection method and apparatus
EP3556102A1 (en) Method of recording a forthcoming telebroadcast program
WO1999030488A1 (en) Apparatus and methods for manipulating sequences of images
CN113609315A (en) Method and device for judging similarity of media assets, electronic equipment and storage medium
EP1927206B1 (en) Data broadcasting method for measuring the synchronization of transmitters, corresponding system, transmitter and programme
EP1293094A1 (en) Device and method for synchronising broadcast audio-visual programmes and complementary data
EP0415494A1 (en) Method and apparatus for image processing with improved motion estimation
FR2942686A1 (en) PROCESSING A DIGITAL DATA FLOW.
FR2985838A1 (en) METHOD FOR SAVING DIGITAL CINEMATOGRAPHIC CONTENT.
LU86240A1 (en) METHODS AND DEVICES FOR ANALYZING AND RECOGNIZING THE CODE OF ENCRYPTION OF TELEVISION BROADCASTS
WO2021214097A1 (en) Method for transposing an audiovisual stream
Pitié et al. Assessment of audio/video synchronisation in streaming media
FR3042369A1 (en) CONTEXTUAL ENRICHMENT BY AUDIO RECOGNITION

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170719

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201221

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20220925