EP1468573A1 - Procede de synchronisation de deux flux de donnees numeriques de meme contenu. - Google Patents

Procede de synchronisation de deux flux de donnees numeriques de meme contenu.

Info

Publication number
EP1468573A1
EP1468573A1 EP03709901A EP03709901A EP1468573A1 EP 1468573 A1 EP1468573 A1 EP 1468573A1 EP 03709901 A EP03709901 A EP 03709901A EP 03709901 A EP03709901 A EP 03709901A EP 1468573 A1 EP1468573 A1 EP 1468573A1
Authority
EP
European Patent Office
Prior art keywords
characteristic
synchronization
audio
stream
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03709901A
Other languages
German (de)
English (en)
Inventor
Alexandre Joly
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telediffusion de France ets Public de Diffusion
Original Assignee
Telediffusion de France ets Public de Diffusion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telediffusion de France ets Public de Diffusion filed Critical Telediffusion de France ets Public de Diffusion
Publication of EP1468573A1 publication Critical patent/EP1468573A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • G10H2250/111—Impulse response, i.e. filters defined or specified by their temporal impulse response features, e.g. for echo or reverberation applications
    • G10H2250/115—FIR impulse, e.g. for echoes or room acoustics, the shape of the impulse response is specified in particular according to delay times
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/135—Autocorrelation

Definitions

  • the invention relates to a method for synchronizing two digital data streams of the same content, and in particular a reference stream corresponding for example to a transmission by a remote transmission system, and a stream received with possible degradations. , usable in particular for an evaluation of the quality of the transmission.
  • Figure 1 illustrates the general principle used by these methods. If the synchronization of the signals can be easily carried out in simulation or when the system to be studied is reduced (case of an encoder-decoder or "coded” for example) and not distributed geographically, this is very different in the case of a system complex, especially in the case of the supervision of a broadcasting network. Thus, this synchronization step is often a critical step in the quality algorithms.
  • the method presented in this report is applicable whenever a time synchronization between two audio signals and / or video should be made, especially in the context of a distributed and extended system.
  • the part (or element) to be matched is a time window, that is to say an arbitrary duration T of the signal.
  • Correlation approach in the time domain I This is the most common approach. It consists in comparing the samples of the two audio signals SR and SD to be synchronized, based on their content.
  • the use of the standardized intercorrelation function for example, between SR and SD makes it possible to search for the maximum resemblance over a given time range T, for example of more or less 60 ms, that is to say 120 ms.
  • the synchronization precision obtained is potentially to the nearest sample.
  • Correlation approach in the time domain using marker signals the methods which use this principle aim to overcome the need for significant variations in the signal.
  • a specific marker signal is inserted into the audio signal SR.
  • This signal is designed to allow robust synchronization.
  • an intercorrelation procedure identical to the previous one can be applied between the marker signals extracted from the SR and SD signals to be synchronized, which in principle allows robust synchronization whatever the content of the audio signal.
  • the operation of inserting the marker signal must be such that the content of the audio signal is modified in the least perceptible manner possible.
  • Several techniques can be used, including "watermarking", to insert these marker signals or specific patterns.
  • An efficient signal synchronization process is characterized by a compromise between: its precision, ie the maximum error made by synchronizing the two signals.
  • the method can be sensitive to the content of the signals, its computation complexity, and finally the volume of data necessary to perform synchronization.
  • the object of the present invention is to define a method making it possible to achieve synchronization, of a level of precision which can be chosen, of a lower complexity than the existing methods, by combining the advantages of several approaches.
  • “rough” synchronization delimits a range of error, the duration of which is compatible with the subsequent use of conventional “fine” synchronization methods if extreme precision is required.
  • the originality of the proposed method is to achieve synchronization from at least one characteristic parameter, calculated on the signals SD and S R , defining a multidimensional trajectory, to deduce therefrom a synchronization of the signals themselves. Since the method uses the content of the signals, this temporal content must vary continuously to ensure optimal synchronization, as does the temporal correlation of the state of the prior art.
  • the advantage of the method is to make a correlation by means of a multidimensional trajectory, obtained in particular by combining several characteristic parameters, which makes it possible to obtain a reliability greater than that of known methods.
  • a fundamental advantage of the method proposed by the invention is that it requires only little data to perform synchronization, which is very useful in the context of the supervision of a broadcasting network. Indeed, in this context, it is generally not possible to have the two complete signals SR and S D in the same place. Therefore, it is not possible to use a conventional time correlation approach.
  • the second approach by correlation with marker signals is not easily applicable since it acts on the quality of the signals.
  • the synchronization method according to the invention is compatible with qualitometry techniques based on the comparison of parameters calculated on the signals. The data representative of this or these characteristic parameters are easily transportable by a digital link to the comparison points.
  • This digital link advantageously uses the same transmission channel as the audio signal; alternatively, a digital link dedicated can be chosen.
  • the data used to perform synchronization are thus derived from one or more quality measurement parameters.
  • the method allows in this case to perform a fine synchronization 32 times more precise than the transmission interval of the quality measurement parameters.
  • the process is therefore naturally integrated into a digital television quality monitoring system on an operational broadcasting network.
  • it is applicable whenever a time synchronization between two signals must be carried out.
  • the proposed method thus makes it possible to achieve synchronization with a precision that can be chosen and thus obtain a very reduced range of uncertainty.
  • it will use at least part of the parameters already calculated to study the quality of the signal. Being able to start from an extended search range is also an advantage, especially since the robustness of synchronization increases with the width of this starting range.
  • the proposed method therefore does not require having external time cues to the audio signals.
  • the signal to be synchronized also does not need to be changed, which is an important requirement in a quality measurement application.
  • the invention thus relates to a method of synchronization between two digital data streams of the same content characterized in that it implements: a) for each of the two digital data streams Si and S 2 , generate at given intervals of at least two characteristic numbers expressing at least one parameter characteristic of their content; b) for each of the two flows Si and S 2 , generate from said numbers of points Di and D 2 associated respectively with each of said flows and representing at least one said characteristic parameter in a space with at least two dimensions, the points Di d 'on the one hand and D 2 on the other hand, which belong to a time range T, defining trajectories representative of the data flows Si and S 2 to be synchronized; c) shifting, with respect to each other, the time periods of duration T assigned to the digital data streams Si and S 2 by calculating a criterion for superimposing said trajectories, an optimal value of which represents the synchronization sought; d) choose as the value representative of the synchronization, the offset between the time ranges corresponding to said optimal value
  • the method is characterized in that one of the digital data streams is a reference stream Si and in that the other data stream is a stream S 2 received through a transmission system and in that the numbers characteristics of the reference flow Si are transmitted with the latter, whereas the numbers characteristic of the received flow S 2 are calculated on reception.
  • the method is characterized in that c) implements: d) calculating a distance D between on the one hand a first trajectory represented by the points Di belonging to a first time range of duration T, and d ' on the other hand, a second trajectory represented by the points D 2 belonging to a second time range of duration T, said distance D constituting said superposition criterion; c2) shifting, with respect to each other, said first and second time periods of duration T until a minimum of the distance D which constitutes said optimum value is obtained;
  • the distance D can be an arithmetic mean of the distances d, for example Euclidean distances, between the corresponding points Di, D 2 of the two trajectories.
  • the method is characterized in that c) implements: d) calculating a correlation function between the corresponding points (Di, D 2 ) of the two trajectories, said correlation function constituting said superposition criterion; c2) shifting said first and second time periods of duration T relative to each other until a minimum of the correlation function which constitutes said optimal value is obtained.
  • the method is characterized in that c) implements: d) transforming each trajectory into a series of angles between successive segments defined by the points of the trajectory.
  • c2) shifting, with respect to each other, said first and second time periods of duration T until a minimum is obtained between the differences between the values of angles obtained for homologous segments of the two trajectories, said minimum constituting said value optimal.
  • the method can be characterized in that c) implements: d) transforming the two trajectories into a series of surfaces intercepted by the successive segments defined by the points of said trajectories, the total surface intercepted constituting said superposition criterion. c2) shifting the time periods of duration T relative to each other until a minimum of said total intercepted surface is obtained, which constitutes said optimal value.
  • a said given interval can be equal to ⁇ for one of the two data streams and to r ⁇ for the other data stream and this in order to improve the precision of the synchronization.
  • the method can be characterized in that the generation of said characteristic numbers implements for a reference audio stream and for the transmitted audio stream, the following steps: a) calculating for each time window the power spectral density of the audio stream and apply a filter representative of the attenuation of the inner and middle ear to obtain a filtered spectral density, b) calculate from the filtered spectral density the individual excitations using the frequency spreading function in the scale basilar, c) determine from said individual excitations the compressed loudness using a function modeling the non-linear frequency sensitivity of the ear, to obtain basilar components, d) separate the basilar components into n classes (by example with n ⁇ 5), preferably in three classes, and calculate for each class a number C representing the sum of the fr quences of this class, the characteristic numbers being constituted by the numbers C. Alternatively, there are ⁇ characteristic numbers which are generated from said numbers C. n is chosen significantly less than the number of audio samples of a time window, for example less than 0.01 times this number
  • the method can be characterized in that the generation of a said characteristic number implements, for a reference audio stream and for a transmitted audio stream, the following steps: a) calculating N coefficients of a prediction filter by a autoregressive modeling, b) determining in each time window the maximum of the residue by difference between the predicted signal using the prediction filter and the audio signal, said maximum of the prediction residue constituting a said characteristic number.
  • the method can be characterized in that the generation of said characteristic numbers implements for a reference audio stream and for a transmitted audio stream, the following steps: a) calculating for each time window the power spectral density of the audio stream and apply a filter representative of the attenuation of the inner and middle ear to obtain a frequency spreading function in the basilar scale, b) calculate individual excitations from the frequency spreading function in the scale basilar, c) obtain from said individual excitations the compressed loudness from a function modeling the non-linear frequency sensitivity of the ear, to obtain basilar components, d) calculate from said basilar components N 'prediction coefficients a prediction filter by an autoregressive modeling, e) generate for each time window at at least one characteristic number from at least one of the N 'prediction coefficients.
  • the characteristic numbers can consist of between 1 and 10 of said prediction coefficients, and preferably between 2 and
  • a characteristic number can be instantaneous power and / or power spectral density and / or bandwidth.
  • a characteristic number can be the continuous coefficient of the transform of at least one area of an image belonging to the data stream by a linear and orthogonal, block or global transform, and / or the contrast d '' at least one area of the image, and / or the spatial activity SA of at least one area of an image or its temporal activity (the latter being defined by comparison with a previous image), and / or the average brightness of at least one area of an image.
  • Points can be generated from at least two characteristic numbers from a single characteristic parameter.
  • said points can be generated from at least two characteristic numbers originating from at least two characteristic audio and / or video parameters.
  • the method can be characterized in that the data stream comprises video data and audio data and in that it implements a first video synchronization from points D'i and D ' 2 associated with at least one parameter video characteristic corresponding to said video stream, and a second audio synchronization from points D " ⁇ and D" 2 associated with at least one audio characteristic parameter corresponding to said audio stream.
  • FIG. 1 illustrates the architecture of a system for measuring the quality of an audio signal according to the prior art
  • - Figure 2 illustrates the problem of synchronizing audio signals
  • - Figure 3 illustrates an increase in the precision of synchronization that can be obtained in the context of the present invention
  • FIG. 7 is a block diagram of a synchronization method according to the invention (synchronization by trajectory);
  • FIGs 8 to 10 illustrate a synchronization according to the invention, the significant parameter being an audio perceptual parameter, Figures 10a and 10b illustrating the situation before and after synchronization of two trajectories.
  • FIG. 11 illustrates an implementation of the method using as a characteristic parameter an autoregressive modeling of the signal, with linear prediction coefficients.
  • This or these numbers should be, if possible, simple to calculate so as not to require too much computing power.
  • Each characteristic parameter can be of any kind and can be represented for example by a single number. For example, for an audio signal a parameter characteristic of the content of the signal may be the bandwidth.
  • the method can implement a calculation of the characteristic numbers with a finer temporal resolution.
  • the parameters are calculated all the durations r ⁇ , on the second signal to be synchronized called "degraded", which corresponds to ⁇ / r parameters Pi 'for a parameter P-
  • the calculation complexity increases, going from T / ⁇ to T / r calculation windows, but only on the received signal.
  • Situation B Figure 3 illustrates the method used. For example, r is a sub-multiple of ⁇ .
  • T synchronization search range. T is a multiple of ⁇ . ro: maximum admissible synchronization error / uncertainty e: synchronization error
  • P k parameter calculated on the first so-called "reference" signal SR. k is a time index identifying which calculation period ⁇ corresponds to Pk.
  • P'k parameter calculated on the second so-called "degraded" signal SD- k is a time index identifying which calculation period ⁇ corresponds
  • P'k ' parameter calculated on the second so-called "degraded" signal SD-k is a time index identifying which calculation period ⁇ corresponds to P k .
  • i is a time sub-index identifying a number of durations r within the period p between 1 and ⁇ / r.
  • the second step applies a treatment to the parameters.
  • a set of ⁇ coordinates is calculated for each set of parameters Pk or P'k 'obtained on the window k of duration ⁇ corresponding for example to 1024 samples, of the reference or degraded signal respectively.
  • each coordinate is obtained from a combination of the characteristic numbers available.
  • this step makes it possible to reduce the number of dimensions and therefore to simplify the subsequent operations.
  • ⁇ 2
  • processing can be carried out to pass a lower number of numbers, for example at two coordinates and these are then interpreted as a projection of a space with as many dimensions as characteristic numbers towards a space with for example 2 coordinates .
  • the third step corresponds to the construction of the trajectory ( Figure 4).
  • the trajectory defines a signature of a segment of the audio signal over the duration T by a series of points in a space with as many dimensions as there are coordinates.
  • the use of a space with two or more dimensions makes it possible to construct a very particular trajectory, which makes it possible to obtain for synchronization a high reliability and precision.
  • the synchronization of the signals comes down to the synchronization of two trajectories (or curves parameterized by time) in a space with two dimensions or more:
  • the first trajectory is defined by the points R k , obtained from the numbers significant P calculated all the durations ⁇ over the time range T.
  • N T / ⁇ points R.
  • the first method proposed is a minimization of a distance between the two trajectories.
  • the basic idea is to calculate, over a portion of the trajectory, a distance. Depending on the maximum possible desynchronization range of the curves, corresponding to the audio or video signals, an appropriate portion of each trajectory is selected. On these portions, a cumulative Diff of the distances d between the vertices R and D + deita or Dk + deita 'of the curves is calculated respectively by the relations (1) and (2) below, by applying successive delta shifts in order to find the offset minimizing the distance Diff between trajectories.
  • the Diff distance gives the difference between the two trajectories.
  • the arithmetic mean of the vertex to vertex distances is a preferred embodiment, but another distance calculation is also applicable.
  • d (A, B) distance between two points or vertices.
  • This distance d (A, B) can also be arbitrary.
  • the Euclidean distance is used:
  • d (A, B) where ⁇ d - 1..co (2) where aj and bj are the coordinates of points A and B and ⁇ denotes the number of coordinates of each point.
  • the delta offset giving the minimum distance Diff corresponds to the desynchronization of the curves, and consequently of the starting signals.
  • the offset found will be 2, ie twice the period ⁇ of calculation of the initial parameter.
  • the synchronization range will therefore be between:
  • the second proposed criterion is a maximization of a correlation between the two trajectories
  • ⁇ j and bj are the coordinates of points A and B.
  • This method consists in transforming the two-dimensional trajectory into a series of angles measured between successive segments defined by the points of the trajectory.
  • Figure 5 illustrates the definition of angles ⁇ .
  • the criterion used to synchronize the two trajectories is the minimization of the following relationship: Diff (delta) - ⁇ k ⁇ - ⁇ v delta (6)
  • This method consists in transforming the two-dimensional trajectory into a series of surfaces intercepted by the successive segments defined by the points of the trajectory.
  • Figure 6 illustrates the definition of intercepted surfaces S.
  • the criterion used to synchronize the two trajectories is the minimization of the following relationship:
  • the two signals can be resynchronized by applying the delta offset to one of the signals. Synchronization is carried out, with a precision determined by the rate of calculation of the characteristic numbers.
  • a procedure of the prior art can be applied to the synchronization uncertainty range ⁇ or r, which is now sufficiently reduced to be of acceptable complexity.
  • a time domain correlation approach preferably with marker signals, can be used for example.
  • this step should only be used in certain specific cases.
  • a refinement of the synchronization is generally not necessary because the precision obtained is sufficient.
  • the techniques of the prior art require, as explained above, to have available signal data which are not easily transportable in a complex and distributed system.
  • One of the particular embodiments corresponds to the implementation of the invention in the context of an application for monitoring the audio quality in a digital television broadcasting network.
  • a major advantage of the invention is to use the data used for the quality evaluation to achieve synchronization, since this avoids or minimizes the need to transmit data specific to synchronization.
  • Various characteristic numbers (reduced reference), intended for the estimation of the importance of the degradations introduced during the broadcasting of the signals, are calculated on the reference signal at the input of the network. These PR reference numbers are transmitted via a data channel to the quality measurement point. Characteristic numbers P are calculated on the degraded signal at this measurement point. The quality estimation will thus be done by comparing the parameters PR and P - For this, they must be synchronized, from the characteristic parameter or parameters used for the reference.
  • the quality estimation will be done by comparing the PR and PM parameters. For this, they must be synchronized.
  • the principle of objective perceptual measurements is based on the transformation of the physical representation (sound pressure, level, time and frequency) into the psychoacoustic representation (sound force, masking level, time and critical bands or barks) of two signals (the signal of reference and the signal to be evaluated) in order to compare them.
  • This transformation takes place thanks to a modeling of the human auditory system (generally, this modeling consists of a spectral analysis in the Barks domain followed by spreading phenomena).
  • Perceptual Account Gap a perceptual characteristic parameter called “Perceptual Account Gap”.
  • the original idea for this parameter is to establish a measure of uniformity of a window of the audio signal.
  • a sound signal whose frequency components are stable is considered to be uniform.
  • "perfect" noise corresponds to a signal which uniformly covers all the frequency bands (flat spectrum).
  • This type of parameter therefore makes it possible to characterize the content of the signal.
  • This capacity is reinforced by its perceptual character, that is to say taking into account characteristics of the human auditory system known by psychoacoustics.
  • the attenuation filter for the outer and middle ear is applied to the power spectral density, obtained from the signal spectrum.
  • This filter also takes into account the absolute hearing threshold.
  • the notion of critical bands is modeled by a transformation of the frequency scale into a basilar scale.
  • the following stage corresponds to the calculation of individual excitations to take account of masking phenomena, thanks to the spreading function in the basilar scale and to a non-linear addition.
  • the last step makes it possible to obtain the compressed loudness, by a power function, to model the non-linear frequency sensitivity of the ear, by a histogram comprising the 109 basilar components.
  • the histogram accounts obtained are then periodically vectorized into three classes to obtain a representation along a trajectory. It is this trajectory which makes it possible to visualize the evolution of the structure of the signals and is used for synchronization. This also makes it possible to obtain a simple and concise characterization of the signal and therefore to have a reference parameter (or characteristic parameter).
  • the second strategy takes into account the scaling areas of BEERENDS. This corresponds to gain compensation between the excitation of the reference signal and that of the signal to be tested by considering three zones on which the ear would perform this same operation.
  • the fixed limits are the following:
  • a point (X, Y) is therefore obtained for each time window of the signal.
  • Each of the X and Y coordinates constitutes a characteristic number.
  • Ci, C 2 and C 3 can be taken as characteristic numbers.
  • the associated representation is thus a trajectory parameterized by time, as shown in Figure 8.
  • the technique chosen by way of example is that based on minimizing the distance between the points of the trajectories.
  • FIG. 9 summarizes the method used to synchronize the signals within the framework of the supervision of the quality of broadcast signals, with the characteristic parameter above.
  • FIG. 10a shows the trajectories before and after synchronization: Before synchronization ( Figure 10a), there is no point-to-point correspondence between the two trajectories. After synchronization ( Figure 10b), the correspondence between the two trajectories is optimal within the meaning of the distance criterion (Cf. relation (1).
  • the necessary resolution r 0 is of the order of 32 samples.
  • the initial range is of the order of
  • a first synchronization is carried out with an uncertainty of 1024 samples, ie a factor greater than 5 compared to 5760, for very limited computing power devoted to synchronization.
  • the more frequent calculation of the quality parameters on the second (degraded) signal (r ⁇ ) makes it possible, if desired, to further reduce the synchronization error to r samples.
  • Another characteristic parameter implements an autoregressive modeling of the signal.
  • the general principle of linear prediction is to model the signal as being a combination of its past values.
  • the idea is to calculate the N coefficients of a prediction filter by an autoregressive modeling (all pole). With this adaptive filter, it is possible to obtain a predicted signal from the actual signal. Prediction errors or residuals are calculated by difference between these two signals. The presence and amount of noise in a signal can be determined by analyzing these residues.
  • the reference to be transmitted corresponds to the maximum of ⁇ residues over a time window of given size. It is in fact not interesting to transmit all the residues if the bit rate of the reference wants to be reduced.
  • N denotes the order of the algorithm, that is to say the number of coefficients of the filter.
  • N denotes the order of the algorithm, that is to say the number of coefficients of the filter.
  • the gradient algorithm which is described for example in the aforementioned work of M. BELLANGER p. 371 and following.
  • the main drawback of the previous parameter is the need, in the case of an implementation on DSP, to store the N 0 samples to estimate autocorrelation, have the coefficients of the filter then calculate the residuals.
  • This second parameter makes it possible to avoid this by using another algorithm making it possible to calculate the coefficients of the filter: the algorithm of the gradient. This uses the error made to update the coefficients.
  • the filter coefficients are changed in the direction of the gradient of the instantaneous quadratic error, with the opposite signal.
  • the reference vector to be transmitted can thus be reduced to a single number.
  • the comparison consists of a simple calculation of the distance between the maxima of the reference and of the degraded signal, for example by difference.
  • the main advantage of the two parameters is the flow required to transfer the reference. This allows the reference to be reduced to a value for 1024 signal samples.
  • Another characteristic parameter implements an autoregressive modeling of the basilar excitation.
  • this method allows to take into account the phenomena of psychoacoustics, in order to obtain an evaluation of the perceived quality. For this, the calculation of the parameter goes through a modeling of various hearing principles.
  • a linear prediction models the signal as a combination of its past values. Analysis of the residuals (or prediction errors) makes it possible to determine and estimate the presence of noise in a signal.
  • the major drawback when using these techniques is the fact that there is no consideration of the principles of psychoacoustics. Thus, it is not possible to estimate the amount of noise actually perceived.
  • the process takes up the general principle of classical linear prediction. It also incorporates the phenomena of psychoacoustics to adapt it to the non-linear sensitivity in frequency (loudness) and intensity (tone) of the human ear.
  • the coefficients thus obtained make it possible to model the signal in a simple way while taking account of psychoacoustics. It is these prediction coefficients that will be transmitted and will serve as a reference when comparing with the degraded signal.
  • the first part of the calculation of this parameter corresponds to the modeling of the principles of psychoacoustics using classical hearing models.
  • the second part is the calculation of the linear prediction coefficients.
  • the last part corresponds to the comparison of the prediction coefficients calculated for the reference signal and those obtained for the degraded signal.
  • the different steps of this method are therefore as follows:
  • Temporal windowing of the signal then calculation of an internal representation of the signal by modeling the phenomena of psychoacoustics.
  • This step corresponds to the calculation of the compressed loudness, which is in fact the excitation induced by the signal at the level of the inner ear.
  • This representation of the signals takes into account the phenomena of psychoacoustics, and is obtained from the spectrum of the signal, using conventional models: attenuation of the outer and middle ear, integration according to critical bands and frequency masking. This calculation step is identical to the parameter described above.
  • the modeling of the phenomena of psychoacoustics makes it possible to obtain 24 basilar components.
  • the order N of the prediction filter is 32. From these, 32 autocorrelation coefficients are estimated, which gives 32 prediction coefficients of which only 5 to 10 coefficients are kept as an indicator vector of quality, for example the first 5 to 10 coefficients.
  • the main advantage of the parameter comes from taking into account the phenomena of psychoacoustics. To do this, it was necessary to increase the bit rate required to transfer the reference to 5 or
  • the parameter P is liable to be subjected to degradations due to transmission, but it is observed in practice that at the degradation levels generally observed in transmission networks, synchronization can be carried out using the method according to the invention.
  • the method makes it possible to verify that it is well preserved, so as to be able to remedy as necessary disturbances such as interruption of bit stream, change of bit stream, change decoder, etc., by resynchronizing the two digital signals E and S.
  • the method described is applicable whenever it is necessary to synchronize two digital streams.
  • the method makes it possible to obtain a first synchronization range of width sufficiently reduced to allow the use of conventional fine synchronization methods, and this in real time.
  • the method advantageously exploits one or more characteristic parameters of the signals to be synchronized which are represented by at least two characteristic numbers, instead of all of the signals.
  • the combined use of several parameters makes it possible to ensure greater synchronization reliability than the prior techniques.
  • the invention makes it possible to achieve synchronization of a level of precision which can be chosen, and of a lower complexity than the existing methods. This synchronization delimits a range of error, of a duration subsequently authorizing the use of conventional “fine” synchronization methods if higher precision is required.
  • the measuring equipment implementing the method of the invention finds its application in particular in the field of broadcasting networks digital audiovisual signals to enable monitoring of the quality of the signals delivered by the network.
  • the invention also makes it possible to achieve, for a data stream incorporating audio and video data, synchronization for sound and for image.
  • a synchronization is carried out for the video, by calculating a synchronization offset for the video
  • a synchronization is carried out for the audio, by calculating a synchronization offset for the audio.
  • by comparing the value of the two offsets it can be known whether, for example during a transmission, there has been an offset between the sound and the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

L'Invention est relative à un procédé de synchronisation entre deux flux de données numériques de même contenu caractérisé en ce qu'il met en oeuvre :a) pour chacun des deux flux de données numériques S1 et S2, une génération à des intervalles donnés d'au moins deux nombres caractéristiques exprimant au moins un paramítre caractéristique de leur contenu ; b) pour chacun des deux flux S1 et S2, la génération, à partir desdits nombres, de points D1 et D2 représentant au moins un dit paramítre caractéristique dans un espace à au moins deux dimensions, les points D1 correspondant au flux S1 d'une part et D2 correspondant au flux S2 d'autre part qui sont situés dans une plage temporelle T définissant des trajectoires représentatives des flux de données S1 et S2 à synchroniser ;c) décaler l'une par rapport à l'autre les plages temporelles de durée T affectées aux flux de données numériques S1 et S2 en calculant un critíre de superposition desdites trajectoires dont une valeur optimale représente la synchronisation recherchée ;d) choisir comme valeur représentative de la synchronisation, le décalage entre les plages temporelles correspondant à ladite valeur optimale.

Description

PROCEDE DE SYNCHRONISATION DE DEUX FLUX DE DONNEES NUMERIQUES DE MEME CONTENU.
L'invention concerne un procédé de synchronisation de deux flux de données numériques de même contenu, et en particulier d'un flux de référence correspondant par exemple à une émission par un système de télétransmission, et d'un flux reçu avec d'éventuelles dégradations, utilisable notamment en vue d'une évaluation de la qualité de la transmission.
Dans le domaine de la diffusion de signaux audiovisuels, l'introduction du numérique offre de nouvelles perspectives et permet de proposer un plus grand nombre de services aux utilisateurs.
Lors des différentes étapes nécessaires à la diffusion, les signaux sont modifiés. En effet, les contraintes techniques imposées, en termes de débit ou de largeur de bande par exemple, impliquent l'apparition de dégradations caractéristiques lors de conditions de transmission difficiles. Pour pouvoir assurer une qualité de service, il est nécessaire de développer des outils et instruments qui permettent de mesurer la qualité des signaux et d'estimer l'importance des dégradations introduites le cas échéant. De nombreux procédés de mesure ont été développés dans ce but. La majorité de ceux-ci se base sur une comparaison du signal (nommé signal de référence) présent à l'entrée du système à étudier, avec le signal (nommé signal dégradé) obtenu à la sortie du système. Certaines méthodes dites à "référence réduite" utilisent une comparaison entre des nombres calculés sur la référence et sur le signal dégradé au lieu d'utiliser directement les échantillons du signal. Dans les deux cas, il est nécessaire de synchroniser temporellement les signaux pour effectuer l'évaluation de qualité par comparaison. La Figure 1 illustre le principe général utilisé par ces méthodes. Si la synchronisation des signaux peut être facilement réalisée en simulation ou lorsque le système à étudier est réduit (cas d'un codeur- décodeur ou "codée" par exemple) et non distribué géographiquement, cela est très différent dans le cas d'un système complexe, notamment dans le cas de la supervision d'un réseau de diffusion. Ainsi, cette étape de synchronisation est souvent une étape critique des algorithmes de qualitométrie.
Au delà des applications de mesure de la qualité dans un réseau de diffusion, le procédé présenté dans ce rapport est applicable à chaque fois qu'une synchronisation temporelle entre deux signaux audio et/ou vidéo doit être effectuée, en particulier dans le contexte d'un système réparti et étendu.
Diverses techniques peuvent être utilisées pour synchroniser temporellement des signaux numériques. L'objectif est de mettre en correspondance une partie du signal dégradé SD, avec une partie du signal de référence SR. La Figure 2 illustre cette problématique dans le cas de deux signaux audio. Il s'agit de déterminer un décalage DEC permettant de synchroniser les signaux.
Dans le cas d'un signal audio, la partie (ou élément) à mettre en correspondance, est une fenêtre temporelle, c'est à dire une durée arbitraire T du signal.
On peut répartir les méthodes existantes en trois classes :
• Approche par corrélation dans le domaine tempore I : C'est l'approche la plus courante. Elle consiste à comparer les échantillons des deux signaux audio SR et SD à synchroniser, en se basant sur leur contenu. Ainsi, l'utilisation de la fonction d'intercorrélation normalisée par exemple, entre SR et SD, permet de rechercher le maximum de ressemblance sur une plage temporelle donnée T, par exemple de plus ou moins 60 ms, soit 120 ms. La précision de synchronisation obtenue est potentiellement à l'échantillon près.
• Approche par corrélation dans le domaine temporel utilisant des signaux marqueurs : les méthodes qui utilisent ce principe visent à pallier la nécessité de variations significatives dans le signal. Pour cela, un signal marqueur spécifique est inséré dans le signal audio SR. Ce signal est conçu pour permettre une synchronisation robuste. Ainsi, une procédure d'intercorrélation identique à la précédente peut être appliquée entre les signaux marqueurs extraits des signaux SR et SD à synchroniser, ce qui permet en principe une synchronisation robuste quel que soit le contenu du signal audio. Afin d'être applicable, l'opération d'insertion du signal marqueur doit être telle que le contenu du signal audio soit modifié de la façon la moins perceptible possible. Plusieurs techniques sont utilisables, dont le "watermarking", pour insérer ces signaux marqueurs ou motifs spécifiques.
• Synchronisation par des repères temporels : Les méthodes de cette classe ne sont utilisables que dans le cas où les signaux sont associés à des repères temporels. Ainsi, le processus repose sur la recherche, pour chaque repère du signal de référence, celui qui est le plus proche dans la suite des repères temporels associée au signal dégradé.
Un procédé de synchronisation de signaux performant se caractérise par un compromis entre : sa précision, c'est à dire l'erreur maximale commise en synchronisant les deux signaux. En particulier, le procédé peut être sensible au contenu des signaux , sa complexité de calcul, et enfin le volume de données nécessaires pour effectuer la synchronisation.
Le principal inconvénient des techniques les plus classiquement utilisées (l'approche par corrélation mentionnée ci-dessus) est la puissance de calcul nécessaire. En effet, celle-ci devient en effet très importante dès que la plage de recherche T augmente (Figure 2). De plus, l'autre inconvénient majeur est la nécessité d'un contenu évoluant de manière significative en permanence. Suivant le type de signaux analysés, cette hypothèse n'est pas toujours vraie. Le contenu des signaux a donc une influence directe sur la performance de la méthode. Par ailleurs, pour utiliser ce type d'approche sur les signaux temporels complets, il est nécessaire de disposer des deux signaux SR et SD au point de comparaison : c'est une contrainte très forte, qu'il n'est pas possible de satisfaire pour certaines applications comme la surveillance d'un réseau de diffusion opérationnel.
La seconde approche (corrélation avec signaux marqueurs) a pour caractéristique de modifier le contenu du signal audio afin d'y insérer des signaux marqueurs, sans garantie de l'impact de cette opération sur la qualité : le procédé de mesure influe donc sur la mesure elle-même. Quelle que soit la performance pour la synchronisation de deux signaux, cette approche ne convient pas toujours à une application réelle d'évaluation de la qualité. Enfin, dans le cas d'une synchronisation par des repères temporels, c'est la nécessité de disposer des repères temporels qui est l'inconvénient majeur. Seules quelques applications peuvent utiliser une telle technique. En effet, la précision des repères temporels n'est pas toujours satisfaisante. Dans le cadre de la surveillance d'un réseau de diffusion et en raison des contraintes multiples subies par les signaux transportés, et des multiples équipements traversés (codeurs, multiplexeurs, trans-multiplexeurs, décodeurs, ...), il n'y a pas de relation très stricte entre les signaux audio et les repères temporels. Cette solution n'atteint alors pas la précision nécessaire pour une application de mesure de la qualité avec référence. La présente invention a pour but de définir un procédé permettant de réaliser une synchronisation, d'un niveau de précision qui peut être choisi, d'une complexité plus faible que les méthodes existantes, en combinant les avantages de plusieurs approches. Une synchronisation « grossière » délimite selon l'invention une plage d'erreur, dont la durée est compatible avec l'utilisation ultérieure de méthodes classiques de synchronisation « fine » si une précision extrême est requise.
L'originalité de la méthode proposée est de réaliser une synchronisation à partir d'au moins un paramètre caractéristique, calculé sur les signaux SD et SR, définissant une trajectoire multidimensionnelle, pour en déduire une synchronisation des signaux eux-mêmes. La méthode faisant appel au contenu des signaux, ce contenu temporel doit varier en permanence pour assurer une synchronisation optimale, de même que la corrélation temporelle de l'état de l'art antérieur. L'avantage du procédé est de faire une corrélation grâce une trajectoire multidimensionnelle, obtenue notamment en combinant plusieurs paramètres caractéristiques, qui permet d'obtenir une fiabilité supérieure à celle des procédés connus.
Un avantage fondamental du procédé proposé par l'invention est de ne nécessiter que peu de données pour réaliser une synchronisation, ce qui est très utile dans le cadre de la supervision d'un réseau de diffusion. En effet, dans ce contexte, il n'est généralement pas possible d'avoir les deux signaux complets SR et SD au même endroit. Par conséquent, il n'est pas possible d'utiliser une approche par corrélation temporelle classique. De plus, dans le cadre d'une application de qualitométrie, la seconde approche par corrélation avec signaux marqueurs n'est pas facilement applicable car elle agit sur la qualité des signaux. Au contraire, le procédé de synchronisation selon l'invention est compatible avec des techniques de qualitométrie reposant sur la comparaison de paramètres calculés sur les signaux. Les données représentatives de ce ou ces paramètres caractéristiques sont facilement transportables par une liaison numérique jusqu'aux points de comparaison. Cette liaison numérique utilise avantageusement le même canal de transmission que le signal audio ; alternativement, une liaison numérique dédiée peut être choisie. Dans un mode particulier de réalisation pour une application de mesure de la qualité, les données utilisées pour réaliser la synchronisation sont ainsi issues d'un ou plusieurs paramètres de mesure de la qualité. Par ailleurs, une synchronisation dite grossière est réalisée à partir de données D1 et D2 calculées à intervalles de Δ = 1024 échantillons audio. Une synchronisation fine peut être réalisée avec des données D1 calculées à intervalles de Δ = 1024 échantillons audio, et avec des données D2 calculées à intervalles de r < Δ, par exemple r = 32 échantillons audio. Ainsi, le procédé permet dans ce cas de réaliser une synchronisation fine 32 fois plus précise que l'intervalle de transmission des paramètres de mesure de la qualité.
Le procédé s'intègre ainsi naturellement dans un système de surveillance de la qualité en télévision numérique sur un réseau de diffusion opérationnel. Mais il est applicable à chaque fois qu'une synchronisation temporelle entre deux signaux doit être effectuée. Le procédé proposé permet ainsi de réaliser la synchronisation avec une précision que l'on peut choisir et ainsi obtenir une plage d'incertitude très réduite. Avantageusement, il utilisera au moins en partie des paramètres déjà calculés pour étudier la qualité du signal. Le fait de pouvoir partir d'une plage de recherche étendue est également un atout, d'autant plus que la robustesse de la synchronisation augmente avec la largeur de cette plage de départ.
Le procédé proposé n'impose donc pas d'avoir de repères temporels externes aux signaux audio. Le signal à synchroniser n'a pas besoin non plus d'être modifié, ce qui est une condition importante dans une application de mesure de la qualité.
L'invention concerne ainsi un procédé de synchronisation entre deux flux de données numériques de même contenu caractérisé en ce qu'il met en oeuvre : a) pour chacun des deux flux de données numériques Si et S2, générer à des intervalles donnés d'au moins deux nombres caractéristiques exprimant au moins un paramètre caractéristique de leur contenu ; b) pour chacun des deux flux Si et S2, générer à partir desdits nombres de points Di et D2 associés respectivement à chacun desdits flux et représentant au moins un dit paramètre caractéristique dans un espace à au moins deux dimensions, les points D-i d'une part et D2 d'autre part, qui appartiennent à une plage temporelle T, définissant des trajectoires représentatives des flux de données Si et S2 à synchroniser ; c) décaler l'une par rapport à l'autre les plages temporelles de durée T affectées aux flux de données numériques Si et S2 en calculant un critère de superposition desdites trajectoires dont une valeur optimale représente la synchronisation recherchée ; d) choisir comme valeur représentative de la synchronisation, le décalage entre les plages temporelles correspondant à ladite valeur optimale. Avantageusement, le procédé est caractérisé en ce qu'un des flux de données numériques est un flux de référence Si et en ce que l'autre flux de données est un flux S2 reçu à travers un système de transmission et en ce que les nombres caractéristiques de flux de référence Si sont transmis avec celui-ci, alors que les nombres caractéristiques du flux reçu S2 sont calculés à la réception.
Selon une première variante, le procédé est caractérisé en ce que c) met en œuvre : d) calculer une distance D entre d'une part une première trajectoire représentée par les points Di appartenant à une première plage temporelle de durée T, et d'autre part, une deuxième trajectoire représentée par les points D2 appartenant à une deuxième plage temporelle de durée T, ladite distance D constituant ledit critère de superposition ; c2) décaler l'un par rapport à l'autre lesdites première et deuxième plages temporelles de durée T jusqu'à obtention d'un minimum de la distance D qui constitue ladite valeur optimale ;
La distance D peut être une moyenne arithmétique des distances d, par exemple des distances euclidiennes, entre les points correspondants Di, D2 des deux trajectoires.
Selon une deuxième variante, le procédé est caractérisé en ce que c) met en œuvre : d) calculer une fonction de corrélation entre les points correspondants (Di, D2) des deux trajectoires, ladite fonction de corrélation constituant ledit critère de superposition ; c2) décaler l'un par rapport à l'autre lesdites première et deuxième plages temporelles de durée T jusqu'à obtention d'un minimum de la fonction de corrélation qui constitue ladite valeur optimale. Selon une troisième variante, le procédé est caractérisé en ce que c) met en œuvre : d) transformer chaque trajectoire en une suite d'angles entre des segments successifs définis par les points de la trajectoire. c2) décaler l'un par rapport à l'autre lesdites première et deuxième plages temporelles de durée T jusqu'à obtenir un minimum entre les différences entre les valeurs d'angles obtenues pour des segments homologues des deux trajectoires, ledit minimum constituant ladite valeur optimale. Le procédé peut être caractérisé en ce que c) met en œuvre : d) transformer les deux trajectoires en une suite de surfaces interceptées par les segments successifs définis par les points desdites trajectoires, la surface totale interceptée constituant ledit critère de superposition. c2) décaler l'un par rapport à l'autre les plages temporelles de durée T jusqu'à obtenir un minimum de ladite surface totale interceptée, qui constitue ladite valeur optimale.
Un dit intervalle donné peut être égal à Δ pour un des deux flux de données et à r < Δ pour l'autre flux de données et ce afin d'améliorer la précision de la synchronisation.
Le procédé peut être caractérisé en ce que la génération desdits nombres caractéristiques met en œuvre pour un flux audio de référence et pour le flux audio transmis, les étapes suivantes : a) calculer pour chaque fenêtre temporelle la densité spectrale de puissance du flux audio et lui appliquer un filtre représentatif de l'atténuation de l'oreille interne et moyenne pour obtenir une densité spectrale filtrée, b) calculer à partir de la densité spectrale filtrée les excitations individuelles à l'aide de la fonction d'étalement fréquentiel dans l'échelle basilaire, c) déterminer à partir desdites excitations individuelles la sonie compressée à l'aide d'une fonction modélisant la sensibilité non linéaire en fréquence de l'oreille, pour obtenir des composantes basilaires, d) séparer les composantes basilaires en n classes (par exemple avec n < 5), de préférence en trois classes, et calculer pour chaque classe un nombre C représentant la somme des fréquences de cette classe, les nombres caractéristiques étant constitués par les nombres C. Alternativement, il y a n' < n nombres caractéristiques qui sont générés à partir desdits nombres C. n est choisi netttement inférieur au nombre d'échantillons audio d'une fenêtre temporelle, par exemple inférieur à 0,01 fois ce nombre d'échantillons.
Le procédé peut être caractérisé en ce que la génération d'un dit nombre caractéristique met en œuvre, pour un flux audio de référence et pour un flux audio transmis, les étapes suivantes : a) calculer N coefficients d'un filtre de prédiction par une modélisation autorégressive, b) déterminer dans chaque fenêtre temporelle le maximum du résidu par différence entre le signal prédit à l'aide du filtre de prédiction et le signal audio, ledit maximum du résidu de prédiction constituant un dit nombre caractéristique. Le procédé peut être caractérisé en ce que la génération de dits nombres caractéristiques met en œuvre pour un flux audio de référence et pour un flux audio transmis, les étapes suivantes : a) calculer pour chaque fenêtre temporelle la densité spectrale de puissance du flux audio et lui appliquer un filtre représentatif de l'atténuation de l'oreille interne et moyenne, pour obtenir une fonction d'étalement fréquentiel dans l'échelle basilaire, b) calculer des excitations individuelles à partir de la fonction d'étalement fréquentiel dans l'échelle basilaire, c) obtenir à partir desdites excitations individuelles la sonie compressée à partir d'une fonction modélisant la sensibilité non linéaire en fréquence de l'oreille, pour obtenir des composantes basilaires , d) calculer à partir desdites composantes basilaires N' coefficients de prédiction d'un filtre de prédiction par une modélisation autorégressive, e) générer pour chaque fenêtre temporelle au moins un nombre caractéristique à partir d'au moins un des N' coefficients de prédiction.
Les nombres caractéristiques peuvent être constitués par entre 1 et 10 desdits coefficients de prédiction, et préférentiellement entre 2 et
5 desdits coefficients. Pour un signal audio numérique, un nombre caractéristique peut être la puissance instantanée et/ou la densité spectrale de puissance et/ou la bande passante.
Pour un signal vidéo numérique, un nombre caractéristique peut être le coefficient continu de la transformée d'au moins une zone d'une image appartenant au flux de données par une transformée linéaire et orthogonale, par blocs ou globale, et/ou le contraste d'au moins une zone de l'image, et/ou l'activité spatiale SA d'au moins une zone d'une image ou son activité temporelle (celle-ci étant définie par comparaison avec une image précédente), et/ou la moyenne de la luminosité d'au moins une zone d'une image.
Les points peuvent être générés à partir d'au moins deux nombres caractéristiques issus d'un seul paramètre caractéristique.
Alternativement lesdits points peuvent être générés à partir d'au moins deux nombres caractéristiques issus d'au moins deux paramètres caractéristiques audio et/ou vidéo.
Le procédé peut être caractérisé en ce que le flux de données comporte des données vidéo et des données audio et en ce qu'il met en œuvre une première synchronistion vidéo à partir de points D'i et D'2 associées à au moins un paramètre caractéristique vidéo correspondant audit flux vidéo, et une deuxième synchronisation audio à partir de points D"ι et D"2 associés à au moins un paramètre caractéristique audio correspondant audit flux audio.
Il peut être alors caractérisé en ce qu'il présente une étape de détermination du déclage de synchronisation entre le flux vidéo et le flux audio par différence entre lesdits décalages obtenus pour le flux vidéo et pour le flux audio.
D'autres caractéristiques et avantages de l'invention apparaîtront mieux à la lecture de la description, en liaison avec les dessins annexés dans lesquels :
- la figure 1 illustre l'architecture d'un système de mesure de qualité d'un signal audio selon l'Art Antérieur ;
- la figure 2 illustre la problématique de la synchronisation de signaux audio ; - la figure 3 illustre une augmentation de la précision de la synchronisation susceptible d'être obtenue dans le cadre de la présente invention ;
- la figure 4 donne un exemple de deux trajectoires bidimensionnelles de signaux audio à synchroniser, dans le cas où r = Δ 12 ;
- les figures 5 et 6 illustrent deux variantes de synchronisation entre deux trajectoires affectées aux deux flux de données ;
- la figure 7 est un synoptique d'un procédé de synchronisation selon l'invention (synchronisation par trajectoire) ; - les figures 8 à 10 illustrent une synchronisation selon l'invention, le paramètre significatif étant un paramètre perceptuel audio, les figures 10a et 10b illustrant la situation avant et après synchronisation de deux trajectoires.
- la figure 11 illustre une mise en œuvre du procédé utilisant comme paramètre caractéristique une modélisation autorégressive du signal, avec coefficients de prédiction linéaire.
La première étape du procédé correspond au calcul d'au moins deux nombres caractéristiques à partir d'un ou de plusieurs paramètres caractéristiques sur toutes les fenêtres temporelles des signaux à synchroniser, sur la plage de synchronisation voulue : chaque nombre est donc calculé toutes les durées Δ (Cf. Figures 2, et 3), ce qui donne N = T/Δ paramètres. Ce ou ces nombres doivent être, si possible, simples à calculer pour ne pas demander trop de puissance de calcul. Chaque paramètre caractéristique peut être de nature quelconque et peut être représenté par exemple par un seul nombre. Par exemple, pour un signal audio un paramètre caractéristique du contenu du signal peut être la bande passante.
Le fait de disposer des paramètres seulement toutes les durées Δ permet de réduire grandement la quantité de données issues du signal de référence SR nécessaires à la synchronisation. Cependant, la précision de la synchronisation qui sera réalisée est nécessairement limitée : l'incertitude par rapport à une synchronisation idéale, c'est à dire à l'échantillon du signal près, est de ±Δ/2. Dans le cas où cette incertitude est trop grande, une alternative est de diminuer la période Δ : cependant, cette modification est rarement possible car d'une part le calcul du ou des nombres caractéristiques est remis en cause, et d'autre part cela aboutit à augmenter la quantité de données nécessaire à la synchronisation. Dans le mode particulier de réalisation où les paramètres servent également à évaluer la qualité par comparaison des paramètres Pi et
P'-i, toute erreur de synchronisation supérieure à la valeur r0 dite résolution du paramètre ne permettra pas d'estimer les dégradations introduites (Situation A de la Figure 3).
Afin d'obtenir une précision de synchronisation arbitraire, d'une valeur d'incertitude r qui peut être par exemple inférieure à Δ 2, tout en n'augmentant pas la quantité de données extraites du signal de référence, le procédé peut mettre en œuvre un calcul des nombres caractéristiques avec une résolution temporelle plus fine. Pour cela, les paramètres sont calculés toutes les durées r < Δ, sur le second signal à synchroniser dit « dégradé », ce qui correspond à Δ/r paramètres Pi' pour un paramètre P-|. La complexité de calcul augmente, en passant de T/Δ à T/r fenêtres de calcul, mais seulement sur le signal reçu. La situation B Figure 3 illustre la méthode utilisée. Par exemple, r est un sous-multiple de Δ.
Notations :
T : plage de recherche de synchronisation. T est un multiple de Δ. ro : erreur / incertitude de synchronisation maximale admissible e : erreur de synchronisation
Δ période de calcul des paramètres sur le signal.
Pk : paramètre calculé sur le premier signal dit de "référence" SR. k est un indice temporel repérant à quelle période de calcul Δ correspond Pk.
P'k : paramètre calculé sur le second signal dit "dégradé" SD- k est un indice temporel repérant à quelle période de calcul Δ correspond
Pk
P'k' : paramètre calculé sur le second signal dit "dégradé" SD- k est un indice temporel repérant à quelle période de calcul Δ correspond Pk. i est un sous-indice temporel repérant un nombre de durées r à l'intérieur de la période p compris entre 1 et Δ/r.
Remarque : Toutes les durées correspondent à un nombre entier d'échantillons du signal audio ou vidéo. Pour définir une ou plusieurs coordonnées, la deuxième étape applique un traitement sur les paramètres. Un jeu de β coordonnées est calculé pour chaque jeu de paramètres Pk ou P'k' obtenu sur la fenêtre k de durée Δ correspondant par exemple à 1024 échantillons, du signal référence ou dégradé respectivement.
• Le but premier de cette étape est d'obtenir des valeurs de coordonnées pertinentes pour réaliser une synchronisation, et avec des bornes et limites données. Ainsi, chaque coordonnée est obtenue à partir d'une combinaison des nombres caractéristiques disponibles. De plus, cette étape permet de réduire le nombre de dimensions et donc de simplifier les opérations ultérieures. Dans un mode de réalisation préféré, deux coordonnées doivent être obtenues (β = 2). Par exemple, si deux paramètres caractéristiques sont utilisés, chacun d'eux peut servir pour déterminer une coordonnée. Alternativement, un nombre plus élevé de nombres caractéristiques peut être utilisé ; des traitements peuvent être réalisés pour passer un nombre moins élevés de nombres, par exemple à deux coordonnées et ceux-ci s'interprètent alors comme une projection d'un espace à autant de dimensions que de nombres caractéristiques vers un espace à par exemple 2 coordonnées.
La troisième étape correspond à la construction de la trajectoire (Figure 4). La trajectoire définit une signature d'un segment du signal audio sur la durée T par une suite de points dans un espace à autant de dimensions que de coordonnées. L'utilisation d'un espace à deux dimensions ou plus permet de construire une trajectoire bien particulière, qui permet d'obtenir pour la synchronisation une fiabilité et une précision élevées. Après ces trois étapes, la synchronisation des signaux se résume à la synchronisation de deux trajectoires (ou courbes paramétrées par le temps) dans un espace à deux dimensions ou plus : la première trajectoire est définie par les points Rk, obtenus à partir des nombres significatifs P calculés toutes les durées Δ sur la plage temporelle T. Il y a N = T/Δ points R . la seconde trajectoire est définie par les points Dk = Dk 1, obtenus à partir des nombres significatifs Pk = Pk 1 calculés toutes les durées Δ sur la plage T. Il y a N' = N= T/Δ points Dk.
Lorsque une durée r < Δ est utilisée pour calculer les paramètres P'k1, la trajectoire est définie par les points Dk', au nombre de N' = T/r points. A cet effet, un critère de ressemblance entre deux trajectoires de N points (ou de N et N' points) est mis en oeuvre. Les méthodes suivantes sont données à titre d'exemple :
La première méthode proposée est une minimisation d'une distance entre les deux trajectoires.
L'idée de base est de calculer, sur une portion de la trajectoire, une distance. En fonction de la plage de désynchronisation maximale possible des courbes, correspondant aux signaux audio, ou vidéo, une portion appropriée de chaque trajectoire est sélectionnée. Sur ces portions, un cumul Diff des distances d entre les sommets R et D +deita ou Dk+deita' des courbes est calculé respectivement par les relations (1) et (2) ci-après, en appliquant des décalages delta successifs afin de trouver le décalage minimisant la distance Diff entre trajectoires.
La Figure 4 illustre le calcul sur un exemple, avec des points définis par deux coordonnées, dans un espace à β = 2 dimensions. Sur le signal dit « dégradé », les paramètres sont calculés toutes les durées r=Δ/2, c'est à dire avec une résolution deux fois plus fine que sur le premier signal
La distance Diff donne l'écart entre les deux trajectoires. La moyenne arithmétique des distances sommet à sommet est un mode de réalisation préféré, mais un autre calcul de distance est également applicable.
avec d(A,B) distance entre deux points ou sommets. Cette distance d(A,B) peut également être quelconque. Dans un mode particulier de réalisation, la distance Euclidienne est utilisée :
d(A, B) = où αd - 1..co (2) où aj et bj sont les coordonnées des points A et B et β désigne le nombre de coordonnées de chaque point.
Le décalage delta donnant la distance Diff minimale correspond à la désynchronisation des courbes, et par conséquent des signaux de départ. Dans l'exemple proposé (Figure 4), le décalage trouvé sera de 2, soit 2 fois la période Δ de calcul du paramètre initial. La plage de synchronisation sera donc comprise entre :
t + 2* Δ_- et + 2*Δ +- (3)
2 2 .
Le deuxième critère proposé est une maximisation d'une corrélation entre les deux trajectoires
Ce critère fonctionne d'une manière similaire au précédent, à la différence qu'il consiste à maximiser la valeur Correl. Les relations (1) et (2) sont remplacées par les deux suivantes.
Correl (delta) = Dk * Rk+delta (4) où l'opération * est le produit scalaire défini par :
où θj et bj sont les coordonnées des points A et B.
Les méthodes ci-après conviennent particulièrement au cas où β = 2 coordonnées
D'autres techniques permettent de rendre le procédé plus robuste à la présence de différences significatives entre les signaux à synchroniser, dues par exemple à des dégradations lors d'une diffusion, à savoir.
• distance entre les angles successifs des trajectoires, Cette méthode consiste à transformer la trajectoire bidimensionnelle en un suite d'angles mesurés entre des segments successifs définis par les points de la trajectoire. La Figure 5 illustre la définition des angles Δφ.
Le critère utilisé pour synchroniser les deux trajectoires est la minimisation de la relation suivante : Diff(delta) - φk ï-λv delta (6)
• surface interceptée entre les deux courbes,
Cette méthode consiste à transformer la trajectoire bidimensionnelle en un suite des surfaces interceptées par les segments successifs définis par les points de la trajectoire. La Figure 6 illustre la définition des surfaces interceptées S.
Le critère utilisé pour synchroniser les deux trajectoires est la minimisation de la relation suivante :
SSrï-oottaailee == sSoOmmmmee SS
• Enfin, l'utilisation simultanée de plusieurs critères est possible. Une fois que la valeur delta du décalage de désynchronisation entre les deux signaux a été déterminée par une des méthodes précédentes, les deux signaux peuvent être resynchronisés en appliquant le décalage delta à l'un des signaux. La synchronisation est réalisée, avec une précision déterminée par la cadence de calcul des nombres caractéristiques.
La synoptique d'un processus de synchronisation est donnée à la Figure 7. Lorsque la précision voulue n'est pas atteinte, c'est à dire que la synchronisation est trop « grossière » pour l'application visée, une dernière étape peut consister à affiner le résultat précédent.
Une procédure de l'art antérieur peut être appliquée sur la plage d'incertitude de synchronisation Δ ou r, qui est maintenant suffisamment réduite pour être d'une complexité acceptable. Une approche par corrélation dans le domaine temporel, de préférence avec signaux marqueurs, peut être utilisée par exemple.
Toutefois, cette étape ne devra être mise à profit que dans certains cas particuliers. En effet, dans le type d'application visée de mesure de qualité, un affinage de la synchronisation n'est en général pas nécessaire car la précision obtenue est suffisante. De plus, les techniques de l'art antérieur nécessitent, ainsi qu'il a été expliqué ci-dessus, de disposer de données sur les signaux qui ne sont pas facilement transportables dans un système complexe et réparti.
Un des modes particuliers de réalisation correspond à la mise en œuvre de l'invention dans le cadre d'une application de surveillance de la qualité audio dans un réseau de diffusion de télévision numérique. Dans ce cadre, un intérêt majeur de l'invention est d'utiliser les données servant à l'évaluation de qualité pour réaliser la synchronisation, puisque cela évite ou minimise la nécessité de transmettre des données spécifiques à la synchronisation. Divers nombres caractéristiques (référence réduite), destinés à l'estimation de l'importance des dégradations introduites lors de la diffusion des signaux, sont calculés sur le signal de référence en entrée du réseau. Ces nombres de référence PR sont transmis via une voie de donnée jusqu'au point de mesure de la qualité. Des nombres caractéristiques P sont calculés sur le signal dégradé au niveau de ce point de mesure. L'estimation de la qualité va ainsi se faire en comparant les paramètres PR et P - Pour cela, ils doivent être synchronisés, à partir du ou des paramètres caractéristiques utilisés pour la référence.
L'estimation de la qualité va ainsi se faire en comparant les paramètres PR et PM- Pour cela, ils doivent être synchronisés.
Le principe des mesures perceptuelles objectives repose sur la transformation de la représentation physique (pression acoustique, niveau, temps et fréquence) en la représentation psychoacoustique (force sonore, niveau de masquage, temps et bandes critiques ou barks) de deux signaux (le signal de référence et le signal à évaluer) afin de les comparer. Cette transformation s'opère grâce à une modélisation de l'appareil auditif humain (généralement, cette modélisation consiste en une analyse spectrale dans le domaine des Barks suivie des phénomènes d'étalement).
L'exemple ci-après de mise en œuvre du procédé selon l'invention met en oeuvre un paramètre caractéristique perceptuel dénommé « Ecart de Comptes Perceptuels ». L'idée originale pour ce paramètre est d'établir une mesure d'uniformité d'une fenêtre du signal audio. Ainsi, un signal sonore dont les composantes fréquentielles sont stables est considéré comme uniforme. Inversement, un bruit « parfait » correspond à un signal qui couvre uniformément toutes les bandes de fréquences (spectre plat). Ce type de paramètre permet donc de caractériser le contenu du signal. Cette capacité est renforcée par son caractère perceptuel, c'est à dire la prise en compte de caractéristiques du système auditif humain connues par la psychoacoustique.
Plusieurs étapes sont mises en oeuvre pour tenir compte de la psychoacoustique. Elles sont appliquées sur le signal de référence et sur le signal dégradé. Ces étapes sont les suivantes :
• Fenêtrage du signal temporel en blocs, puis, pour chaque bloc, calcul de l'excitation induite par le signal en utilisant un modèle d'audition. Cette représentation des signaux tient compte des phénomènes de la psychoacoustique, et fournit un histogramme dont les comptes sont les valeurs des composantes basilaires. Cela permet de ne prendre en considération que les composantes audibles du signal et donc de se limiter à l'information utile. Pour obtenir cette excitation, les modélisations classiques peuvent être utilisées : atténuation de l'oreille externe et moyenne, intégration selon les bandes critiques et masquages fréquentiels. Les fenêtres temporelles choisies sont d'environ 42 ms (2048 points à 48 kHz) avec un recouvrement de 50%. Cela permet d'obtenir une résolution temporelle de l'ordre de 21 ms.
Plusieurs étapes interviennent pour cette modélisation. Pour la première étape, le filtre d'atténuation de l'oreille externe et moyenne est appliqué à la densité spectrale de puissance, obtenue à partir du spectre du signal. Ce filtre prend également en compte le seuil absolu d'audition. La notion de bandes critiques est modélisée par une transformation de l'échelle fréquentielle en une échelle basilaire. L'étape suivante correspond au calcul des excitations individuelles pour tenir compte des phénomènes de masquage, grâce à la fonction d'étalement dans l'échelle basilaire et à une addition non linéaire. La dernière étape permet d'obtenir la sonie compressée, par une fonction puissance, pour modéliser la sensibilité non linéaire en fréquence de l'oreille, par un histogramme comportant les 109 composants basilaires.
• Les comptes de l'histogramme obtenus sont ensuite périodiquement vectorisés en trois classes pour obtenir une représentation selon une trajectoire. C'est cette trajectoire qui permet de visualiser l'évolution de la structure des signaux et sert à la synchronisation. Cela permet également d'obtenir une caractérisation simple et concise du signal et donc de disposer d'un paramètre de référence (ou paramètre caractéristique). Plusieurs stratégies existent pour fixer les bornes de ces trois classes : La plus simple est de séparer l'histogramme en trois zones de tailles égales. Ainsi, les 109 composantes basilaires, qui représentent 24 Barks, peuvent être séparées aux indices suivants : ISi = 36 soit z = — * 36 = 7,927 Barks (8)
109
IS2 = 73 soit z = — * 73 = 16,073 Barks (9)
109 '
La deuxième stratégie prend en compte les zones de mise à l'échelle (« Scaling ») de BEERENDS. Cela correspond à une compensation du gain entre l'excitation du signal de référence et celle du signal à tester en considérant trois zones sur lesquelles l'oreille réaliserait cette même opération. Ainsi, les bornes fixées sont les suivantes :
24 ISi = 9 soit z = — * 9 = 1,982 Barks (10)
109
24 IS2 = 100 soit z = — * 100 = 22,018 Barks (11) 109
La trajectoire est ensuite représentée dans un triangle, nommé triangle des fréquences. Pour chaque bloc on obtient trois comptes Ci, C2 et C3, donc deux coordonnées cartésiennes selon les formules suivantes :
r= C2/N* sin(;r/3) (13) avec C? : somme des excitations pour les hautes fréquences
(au-dessus de S2) C2 : compte associé aux fréquences moyennes (composantes entre Si et S2) et N = Cι+ C + C3 : Somme totale des valeurs des composantes.
Un point (X, Y) est donc obtenu pour chaque fenêtre temporelle du signal. Chacune des coordonnées X et Y constitue un nombre caractéristique. Alternativement, Ci, C2 et C3 peuvent être pris comme nombres caractéristiques. Pour une séquence complète, la représentation associée est ainsi une trajectoire paramétrée par le temps, comme le montre la figure 8. Parmi différentes méthodes possibles pour effectuer la synchronisation des trajectoires, la technique choisie à titre d'exemple est celle basée sur minimisation de la distance entre les points des trajectoires.
Il est important de noter que le calcul du paramètre utilisé dans ce cas pour la synchronisation reste complexe, mais ce paramètre peut être également utilisé pour estimer la qualité du signal. Il doit donc de toute façon être calculé, et ce n'est donc pas une charge supplémentaire ajoutée au calcul lors de la comparaison, d'autant que le calcul relatif à ce paramètre n'est effectué localement que pour le flux numérique reçu. La figure 9 résume le procédé utilisé pour synchroniser les signaux dans le cadre de la supervision de la qualité de signaux diffusés, avec le paramètre caractéristique ci-dessus.
L'exemple suivant illustre le cas d'un fichier référence (R1), codé puis décodé MPEG2 Layer2 à 128 kbits/s pour obtenir un fichier dégradé (R2). La désynchronisation introduite est de 6000 échantillons. Le décalage trouvé est de 6 fenêtres soit 6 * 1024 = 6144 échantillons. L'erreur (144) est bien inférieure à la période (1024) du paramètre caractéristique utilisé. Les figures 10a et 10b présentent les trajectoires avant puis après synchronisation : Avant synchronisation (figure 10a), il n'y a pas de correspondance point à point entre les deux trajectoires. Après synchronisation (figure 10b), la correspondance entre les deux trajectoires est optimale au sens du critère de distance (Cf. relation (1).
Il n'est, en général, pas nécessaire de faire une synchronisation plus fine. C'est notamment le cas si l'incertitude donnée par la procédure exposée ici est inférieure à l'erreur de synchronisation maximale admissible par le paramètre de mesure de qualité. Pour les paramètres de qualitométrie les plus exigeants, la résolution nécessaire r0 est de l'ordre de 32 échantillons. Dans le cas de la figure 10a, la plage initiale est de l'ordre de
120 ms, soit 5760 échantillons à 48 kHz. En utilisant uniquement les nombres caractéristiques disponibles pour l'évaluation de la qualité (tous les 1024 échantillons, soit la durée Δ), une première synchronisation est réalisée avec une incertitude de 1024 échantillons, soit un facteur supérieur à 5 par rapport à 5760, pour une puissance de calcul consacrée à la synchronisation très limitée. Cependant, par exemple dans une seconde étape, le calcul plus fréquent des paramètres de qualité sur le second signal (dégradé) (r < Δ) permet si on le désire de réduire encore l'erreur de synchronisation à r échantillons. Un autre paramètre caractéristique met en œuvre une modélisation autorégressive du signal.
Le principe général de la prédiction linéaire est de modéliser le signal comme étant une combinaison de ses valeurs passées. L'idée est de calculer les N coefficients d'un filtre de prédiction par une modélisation autorégressive (tout pôle). Avec ce filtre adaptatif, il est possible d'obtenir un signal prédit à partir du signal réel. Les erreurs de prédiction ou résidus sont calculés par différence entre ces deux signaux. La présence et la quantité de bruit dans un signal peuvent être déterminées par l'analyse de ces résidus.
La comparaison des résidus obtenus sur le signal de référence et ceux calculés à partir du signal dégradé, et donc des niveaux de bruit, permet d'estimer l'importance des modifications et défauts insérés.
La référence à transmettre correspond au maximum des υ résidus sur une fenêtre temporelle de taille donnée. Il n'est en effet pas intéressant de transmettre tous les résidus si le débit de la référence veut être réduit.
Pour adapter les coefficients du filtre de prédiction, deux méthodes sont données ci-après à titre d'exemple :
- L'algorithme de LEVINSON-DURBIN qui est décrit par exemple dans l'ouvrage de M. BELLANGER - Traitement numérique du signal - Théorie et pratique (MASSON éd. 1987) p. 393 à 395. Pour l'utiliser, il faut disposer d'une estimation de l'autocorrélation du signal sur un ensemble de No échantillons. Cette autocorrélation est utilisée pour résoudre le système d'équations de Yule-Walker et ainsi obtenir les coefficients du filtre prédicteur.
Seules les N premières valeurs de la fonction d'autocorrélation peuvent être utilisées, où N désigne l'ordre de l'algorithme, c'est-à-dire le nombre de coefficients du filtre. Sur une fenêtre de 1024 échantillons, on garde le maximum de l'erreur de prédiction.
L'algorithme du gradient qui est décrit par exemple dans l'ouvrage précité de M. BELLANGER p. 371 et suivantes. Le principal inconvénient du paramètre précédent est la nécessité, dans le cas d'une implantation sur DSP, de stocker les N0 échantillons pour estimer l'autocorrélation, avoir les coefficients du filtre puis calculer les résidus. Ce second paramètre permet d'éviter cela en utilisant un autre algorithme permettant de calculer les coefficients du filtre : l'algorithme du gradient. Celui- ci utilise l'erreur commise pour mettre à jour les coefficients. Les coefficients du filtre sont modifiés dans la direction du gradient de l'erreur quadratique instantanée, avec le signal opposé.
Une fois les résidus obtenus par différence entre le signal prédit et le signal réel, seul le maximum de leurs valeurs absolues, sur une fenêtre temporelle de taille donnée T, est conservé. Le vecteur référence à transmettre peut ainsi être réduite à un seul nombre.
Après transmission puis synchronisation, la comparaison consiste en un simple calcul de distance entre les maxima de la référence et du signal dégradé par exemple par différence.
Le principal avantage des deux paramètres est le débit nécessaire au transfert de la référence. Celui-ci permet de réduire la référence à une valeur pour 1024 échantillons de signal.
Par contre, aucun modèle de la psychoacoustique n'est pris en compte.
Un autre paramètre caractéristique met en œuvre une modélisation autorégressive de l'excitation basilaire.
Par rapport à la prédiction linéaire classique, cette méthode permet de prendre en compte les phénomènes de la psychoacoustique, afin d'obtenir une évaluation de la qualité perçue. Pour cela, le calcul du paramètre passe par une modélisation de divers principes de l'audition. Une prédiction linéaire modelise le signal comme étant une combinaison de ses valeurs passées. L'analyse des résidus (ou erreurs de prédiction) permet de déterminer et d'estimer la présence de bruit dans un signal. L'inconvénient majeur lors de l'utilisation de ces techniques est le fait qu'il n'y ait aucune prise en compte des principes de la psychoacoustique. Ainsi, il n'est pas possible d'estimer la quantité de bruit réellement perçue.
Le procédé reprend le principe général de la prédiction linéaire classique. Elle y intègre en plus les phénomènes de la psychoacoustique pour l'adapter à la sensibilité non linéaire en fréquence (sonie) et en intensité (tonie) de l'oreille humaine. On modifie le spectre du signal, par l'intermédiaire d'un modèle d'audition, avant de calculer les coefficients de la prédiction linéaire par une modélisation autorégressive (tout pôle). Les coefficients ainsi obtenus permettent de modéliser le signal de façon simple tout en tenant compte de la psychoacoustique. Ce sont ces coefficients de prédiction qui seront transmis et serviront de référence lors de la comparaison avec le signal dégradé. La première partie du calcul de ce paramètre correspond à la modélisation des principes de la psychoacoustique en utilisant les modèles d'audition classiques. La deuxième partie est le calcul des coefficients de prédiction linéaire. La dernière partie correspond à la comparaison des coefficients de prédiction calculés pour le signal de référence et ceux obtenus pour le signal dégradé. Les différentes étapes de cette méthode sont donc les suivantes :
- Fenêtrage temporel du signal puis calcul d'une représentation interne du signal par modélisation des phénomènes de la psychoacoustique. Cette étape correspond au calcul de la sonie compressée, qui est en fait l'excitation induite par le signal au niveau de l'oreille interne. Cette représentation des signaux tient compte des phénomènes de la psychoacoustique, et est obtenue à partir du spectre du signal, en utilisant les modélisations classiques : atténuation de l'oreille externe et moyenne, intégration selon les bandes critiques et masquages fréquentiels. Cette étape du calcul est identique au paramètre décrit précédemment.
- Modélisation autorégressive de cette sonie compressée afin d'obtenir les coefficients d'un filtre RIF de prédiction, tout comme dans une prédiction linéaire classique. La méthode utilisée est celle de l'autocorrélation, par résolution des équations de Yule-Walker. La première étape pour l'obtention des coefficients de prédiction est donc le calcul de l'autocorrélation du signal.
En considérant la sonie compressée comme une puissance spectrale filtrée, il est possible de calculer l'autocorrélation du signal perçu par transformation de Fourier inverse. Une des méthodes pour résoudre ce système d'équations de
Yule-Walker et ainsi obtenir les coefficients d'un filtre prédicteur est l'utilisation de l'algorithme de Levinson-Durbin.
Ce sont les coefficients de prédiction qui constituent le vecteur de référence à transmettre jusqu'au point de comparaison. Les transformations utilisées lors du calcul final sur le signal dégradé, sont les mêmes que pour la phase initiale sur le signal de référence. - Estimation des dégradations par le calcul d'une distance entre les vecteurs issus de la référence et du signal dégradé. C'est une comparaison des vecteurs de coefficients définissant des points obtenus pour la référence et pour le signal audio transmis, qui permet d'estimer les dégradations introduites lors de la transmission. Celle-ci doit se faire sur un nombre adapté de coefficients. Plus le nombre est important, plus les calculs peuvent être précis, mais plus le débit nécessaire à la transmission de la référence est élevé. Plusieurs distances peuvent être utilisées pour comparer les vecteurs de coefficients. L'importance relative des coefficients peut par exemple être prise en compte.
Le principe de la méthode se résume selon le schéma suivant (Figure 11).
La modélisation des phénomènes de la psychoacoustique permet d'obtenir 24 composantes basilaires. L'ordre N du filtre de prédiction est de 32. A partir de celles-ci, 32 coefficients de l'autocorrélation sont estimés, ce qui donne 32 coefficients de prédiction dont on ne conserve que 5 à 10 coefficients en tant que vecteur indicateur de qualité, par exemple les 5 à 10 premiers coefficients .
Le principal avantage du paramètre provient de la prise en compte des phénomènes de la psychoacoustique. Pour faire cela, il a été nécessaire d'augmenter le débit nécessaire au transfert de la référence à 5 ou
10 valeurs pour 1024 échantillons de signal (21 ms.), soit un débit de 7,5 à 15 kbits/s.
Le paramètre caractéristique P peut être d'une manière générale toute grandeur obtenue à partir du contenu des signaux numériques et par exemple en vidéo :
- la luminosité de l'image ou d'une zone de celle-ci tel que donnée par le coefficient continu F(0,0) de la transformée en cosinus discrète TCD de l'image, ou de tout autre transformée par blocs, linéaire et orthogonale, par blocs ou globale,
- et/ou le contraste de l'image ou d'une zone de celle-ci, donné par exemple par l'application d'un filtre de Sobel,
- et/ou l'activité de l'image SA de l'image telle que définie par exemple dans la Demande PCT WO 99/18736 de la Demanderesse, et obtenue par une transformation par blocs linéaire et orthogonale (TCD, transformée de FOURIER, de HAAR, d'HADAMARD, de SLANT, transformée en ondelettes etc.),
- la moyenne de l'image, et en audio : - la puissance,
- et/ou bien la densité spectrale de puissance telle que définie dans la demande de Brevet Français FR 2 769 777 déposée le 13 Octobre 1997, et/ou un des paramètres décrits ci-dessus.
On remarquera que le paramètre P est susceptible d'être soumis à des dégradations dues à la transmission, mais on observe en pratique, qu'aux niveaux de dégradation généralement observés dans les réseaux de transmission, la synchronisation peut être effectuée à l'aide du procédé selon l'invention.
D'une manière générale, une fois la synchronisation acquise, le procédé permet de vérifier qu'elle est bien conservée, de manière à pouvoir remédier en tant que de besoin aux perturbations telles qu'interruption de flux binaire, changement de flux binaire, changement de décodeur, etc., en resynchronisant les deux signaux numériques E et S.
Le procédé décrit est applicable à chaque fois qu'il est nécessaire de synchroniser deux flux numériques. La méthode permet d'obtenir une première plage de synchronisation de largeur suffisamment réduite pour autoriser l'utilisation de méthodes de synchronisation fine classiques, et cela en temps réel.
Le procédé exploite avantageusement un ou plusieurs paramètres caractéristiques des signaux à synchroniser qui sont représentés par au moins deux nombres caractéristiques, au lieu de la totalité des signaux. Selon une réalisation préférée, l'utilisation combinée de plusieurs paramètres permet d'assurer une fiabilité de synchronisation supérieure aux techniques antérieures. De plus, l'invention permet de réaliser une synchronisation d'un niveau de précision qui peut être choisi, et d'une complexité plus faible que les méthodes existantes. Cette synchronisation délimite une plage d'erreur, d'une durée autorisant par la suite l'utilisation de méthodes classiques de synchronisation « fine » si une précision plus élevée est requise. L'équipement de mesure implantant le procédé de l'invention, trouve son application notamment dans le domaine des réseaux de diffusion des signaux audiovisuels numériques afin de permettre une surveillance de la qualité des signaux délivrés par le réseau.
L'invention permet également de réaliser, pour un flux de données incorporant des données audio et vidéo, une synchronisation pour le son et pour l'image. A cet effet, une synchronisation est effectuée pour la vidéo, en calculant un décalage de synchronisation pour la vidéo, et une synchronisation est effectuée pour l'audio, en calculant un décalage de synchronisation pour l'audio. De plus, en comparant la valeur des deux décalages, on peut savoir si lors par exemple d'une transmission, il s'est produit un décalage entre le son et l'image.

Claims

REVENDICATIONS
1. Procédé de synchronisation entre deux flux de données numériques de même contenu caractérisé en ce qu'il met en œuvre : a) pour chacun des deux flux de données numériques Si et S2, une génération à des intervalles donnés d'au moins deux nombres caractéristiques exprimant au moins un paramètre caractéristique de leur contenu ; b) pour chacun des deux flux Si et S2, la génération, à partir desdits nombres, de points Di et D2 représentant au moins un dit paramètre caractéristique dans un espace à au moins deux dimensions, les points Dj correspondant au flux Si d'une part et D2 correspondant au flux S2 d'autre part qui sont situés dans une plage temporelle T définissant des trajectoires représentatives des flux de données Si et S2 à synchroniser ; c) décaler l'une par rapport à l'autre les plages temporelles de durée T affectées aux flux de données numériques Si et S2 en calculant un critère de superposition desdites trajectoires dont une valeur optimale représente la synchronisation recherchée ; d) choisir comme valeur représentative de la synchronisation, le décalage entre les plages temporelles correspondant à ladite valeur optimale.
2. Procédé selon la revendication 1 , caractérisé en ce qu'un des flux de données numériques est un flux de référence Si et en ce que l'autre flux de données est un flux S2 reçu à travers un système de transmission et en ce que les nombres caractéristiques du flux de référence Si sont transmis avec celui-ci, alors que les nombres caractéristiques du flux reçu S2 sont calculés à la réception.
3. Procédé selon une des revendications 1 ou 2, caractérisé en ce que c) met en œuvre : d) calculer une distance D entre d'une part une première trajectoire représentée par les points Di appartenant à une première plage temporelle de durée T, et d'autre part, une deuxième trajectoire représentée par les points D2 appartenant à une deuxième plage temporelle de durée T, ladite distance D constituant ledit critère de superposition ; c2) décaler l'un par rapport à l'autre lesdites première et deuxième plages temporelles de durée T jusqu'à obtention d'un minimum de la distance D qui constitue ladite valeur optimale ;
4. Procédé selon la revendication 3, caractérisé en ce que la distance D est une moyenne arithmétique des distances d entre les points correspondants D-i, D2 des deux trajectoires.
5. Procédé selon la revendication 4, caractérisé en ce que ladite distance d entre les points est une distance euclidienne.
6. Procédé selon une des revendications 1 ou 2, caractérisé en ce que c) met en œuvre : d) calculer une fonction de corrélation entre les points correspondants Di, D2 des deux trajectoires, ladite fonction de corrélation constituant ledit critère de superposition ; c2) décaler l'un par rapport à l'autre lesdites première et deuxième plages temporelles de durée T jusqu'à obtention d'un minimum de la fonction de corrélation qui constitue ladite valeur optimale.
7. Procédé selon une des revendications 1 ou 2, caractérisé en ce que c) met en œuvre : d) transformer chaque trajectoire en une suite d'angles entre des segments successifs définis par les points de la trajectoire. c2) décaler l'un par rapport à l'autre lesdites première et deuxième plages temporelles de durée T jusqu'à obtenir un minimum entre les différences entre les valeurs d'angles obtenues pour des segments homologues des deux trajectoires, ledit minimum constituant ladite valeur optimale.
8. Procédé selon une des revendications 1 ou 2, caractérisé en ce que c) met en œuvre : d) transformer les deux trajectoires en une suite de surfaces interceptées par les segments successifs définis par les points desdites trajectoires, la surface totale interceptée constituant ledit critère de superposition. c2) décaler l'un par rapport à l'autre les plages temporelles de durée T jusqu'à obtenir un minimum de ladite surface totale interceptée, qui constitue ladite valeur optimale.
9. Procédé selon une des revendications précédentes, caractérisé en ce qu'un dit intervalle donné est égal à Δ pour un des flux de données Si et à r < Δ pour l'autre flux de données S2.
10. Procédé selon une des revendications précédentes, caractérisé en ce qu'il met en œuvre une première synchronisation en choisissant un même intervalle donné Δ pour les deux flux de données, puis une deuxième synchronisation pour laquelle l'intervalle donné est égal à Δ pour un des flux de données S1 et à r < Δ pour l'autre flux de données S2.
11. Procédé selon une des revendications précédentes, caractérisé en ce que la génération desdits nombres caractéristiques met en œuvre pour un flux de données audio de référence et pour un flux de données audio transmis, les étapes suivantes : a) calculer pour chaque fenêtre temporelle la densité spectrale de puissance du flux audio et lui appliquer un filtre représentatif de l'atténuation de l'oreille interne et moyenne pour obtenir une densité spectrale filtrée, b) calculer à partir de la densité spectrale filtrée les excitations individuelles à l'aide de la fonction d'étalement fréquentiel dans l'échelle basilaire, c) déterminer à partir desdites excitations individuelles la sonie compressée à l'aide d'une fonction modélisant la sensibilité non linéaire en fréquence de l'oreille, pour obtenir des composantes basilaires, d) séparer les composantes basilaires en n classes (avec n nettement inférieur au nombre d'échantillons audio d'une fenêtre temporelle) , de préférence en trois classes, et calculer pour chaque classe un nombre C représentant la somme des fréquences de cette classe, ces nombres caractéristiques étant au nombre de n et constitués par un dit nombre C ou étant au nombre de n' < n et étant générés à partir desdits nombres C.
12. Procédé selon une des revendications précédentes, caractérisé en ce que la génération d'un dit nombre caractéristique met en œuvre, pour un flux de données audio de référence et pour un flux de données audio transmis, les étapes suivantes : a) calculer N coefficients d'un filtre de prédiction par une modélisation autorégressive, b) déterminer dans chaque fenêtre temporelle le maximum du résidu par différence entre le signal prédit à l'aide du filtre de prédiction et le signal audio, ledit maximum du résidu de prédiction constituant undit nombre caractéristique.
13. Procédé selon une des revendications précédentes, caractérisé en ce que la génération de dits nombres caractéristiques met en œuvre pour un flux de données audio de référence et pour un flux de données audio transmis, les étapes suivantes : a) calculer pour chaque fenêtre temporelle la densité spectrale de puissance du flux audio et lui appliquer un filtre représentatif de l'atténuation de l'oreille interne et moyenne, pour obtenir une fonction d'étalement fréquentiel dans l'échelle basilaire, b) calculer des excitations individuelles à partir de la fonction d'étalement fréquentiel dans l'échelle basilaire, c) obtenir à partir desdites excitations individuelles la sonie compressée à partir d'une fonction modélisant la sensibilité non linéaire en fréquence de l'oreille, pour obtenir des composantes basilaires , d) calculer à partir desdits composantes basilaires N' coefficients de prédiction d'un filtre de prédiction par une modélisation autorégressive, e) générer pour chaque fenêtre temporelle au moins un nombre caractéristique à partir d'au moins des N' coefficients de prédiction.
14. Procédé selon la revendication 13, caractérisé en ce que les nombres caractéristiques sont constitués par, entre 1 et 10 desdits coefficients de prédiction, et préférentiellement entre 2 et 5 desdits coefficients.
15. Procédé selon une des revendications précédentes, caractérisé en ce qu'un nombre caractéristique est la puissance instantanée d'un signal audio.
16. Procédé selon une des revendications précédentes, caractérisé en ce qu'un nombre caractéristique est le densité spectrale de puissance d'un signal audio.
17. Procédé selon une des revendications précédentes, caractérisé en ce qu'un nombre caractéristique est la bande passante d'un signal audio.
18. Procédé selon une des revendications précédentes, caractérisé en ce qu'un nombre caractéristique est le coefficient continu de la transformée par une transformée linéaire et orthogonale d'au moins une partie d'une image appartenant au flux de données, cette transformée étant réalisée par blocs ou globalement.
19. Procédé selon une des revendications précédentes, caractérisé en ce qu'un nombre caractéristique est le contraste d'au moins une zone d'une image appartenant au flux de données.
20. Procédé selon une des revendications précédentes, caractérisé en ce qu'un nombre caractéristique est l'activité spatiale ou temporelle d'au moins une zone d'une image.
21. Procédé selon une des revendications précédentes, caractérisé en ce qu'un nombre caractéristique est la luminosité moyenne d'au moins une zone d'une image.
22. Procédé selon une des revendications précédentes, caractérisé en ce que lesdits points Di et D2 sont générés à partir d'au moins deux paramètres caractéristiques.
23 Procédé selon la revendication 22, caractérisé en ce que lesdits paramètres caractéristiques sont des paramètres audio.
24. Procédé selon la revendication 22, caractérisé en ce que lesdits paramètres caractéristiques sont des paramètres vidéo.
25 Procédé selon une des revendications précédentes, caractérisé en ce que le flux de données comporte des données vidéo et des données audio et en ce qu'il met en œuvre une première synchronistion vidéo à partir de points D'i et D'2 associées à au moins un paramètre caractéristique vidéo correspondant audit flux vidéo, et une deuxième synchronisation audio à partir de points D"ι et D"2 associés à au moins un paramètre caractéristique audio correspondant audit flux audio.
26. Procédé selon la revendication 25, caractérisé en ce qu'il présente une étape de détermination du déclage de synchronisation entre le flux vidéo et le flux audio par différence entre lesdits décalages obtenus pour le flux vidéo et pour le flux audio.
EP03709901A 2002-01-24 2003-01-23 Procede de synchronisation de deux flux de donnees numeriques de meme contenu. Withdrawn EP1468573A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0200872A FR2835124B1 (fr) 2002-01-24 2002-01-24 Procede de synchronisation de deux flux de donnees numeriques de meme contenu
FR0200872 2002-01-24
PCT/FR2003/000224 WO2003063514A1 (fr) 2002-01-24 2003-01-23 Procede de synchronisation de deux flux de donnees numeriques de meme contenu.

Publications (1)

Publication Number Publication Date
EP1468573A1 true EP1468573A1 (fr) 2004-10-20

Family

ID=27589576

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03709901A Withdrawn EP1468573A1 (fr) 2002-01-24 2003-01-23 Procede de synchronisation de deux flux de donnees numeriques de meme contenu.

Country Status (5)

Country Link
US (1) US7043684B2 (fr)
EP (1) EP1468573A1 (fr)
CA (1) CA2474197C (fr)
FR (1) FR2835124B1 (fr)
WO (1) WO2003063514A1 (fr)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2834847B1 (fr) * 2002-01-17 2004-04-09 Cit Alcatel Systeme de gestion de reseau ou de services pour la determination de la synchronisation entre deux flots de paquets
US7290249B2 (en) * 2003-01-27 2007-10-30 Bea Systems, Inc. System and method for java message service mark-up language
DE102006030276A1 (de) * 2006-06-30 2008-01-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines gefilterten Aktivitätsmusters, Quellentrenner, Verfahren zum Erzeugen eines bereinigten Audiosignals und Computerprogramm
US8607070B2 (en) * 2006-12-20 2013-12-10 Kingston Technology Corporation Secure storage system and method of use
US8116514B2 (en) * 2007-04-17 2012-02-14 Alex Radzishevsky Water mark embedding and extraction
US8527781B2 (en) * 2007-05-09 2013-09-03 Kingston Technology Corporation Secure and scalable solid state disk system
US8499168B2 (en) * 2007-05-09 2013-07-30 Kingston Technology Corporation Secure and scalable solid state disk system
US8010768B2 (en) * 2007-05-09 2011-08-30 Kingston Technology Corporation Secure and scalable solid state disk system
JP5532518B2 (ja) * 2010-06-25 2014-06-25 ヤマハ株式会社 周波数特性制御装置
KR20160089374A (ko) * 2013-11-25 2016-07-27 톰슨 라이센싱 햅틱 계수를 재생하기 위해 자동회귀 모델, 신호 및 디바이스를 이용하여 햅틱 계수를 생성하는 방법
US9508386B2 (en) 2014-06-27 2016-11-29 Nokia Technologies Oy Method and apparatus for synchronizing audio and video signals

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0938239A1 (fr) * 1998-02-20 1999-08-25 Tektronix, Inc. Transmission d'images vidéo de référence avec un faible rapport cyclique
WO2001086935A2 (fr) * 2000-05-11 2001-11-15 Yeda Research & Development Co. Ltd. Dispositif et procede d'alignement spatio-temporel de sequences d'images

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US6002836A (en) * 1993-06-07 1999-12-14 Sony Corporation Recording and reproducing apparatus in which digital data having various transmission rates are processed at their optimum data rates
JP3181471B2 (ja) * 1994-06-17 2001-07-03 沖電気工業株式会社 クロック発生回路
US5805619A (en) * 1996-02-16 1998-09-08 Swan Magnetics, Inc. Method and apparatus for sampled-data partial-response signal timing error detector having zero self-noise
IL119504A (en) * 1996-10-28 2000-09-28 Elop Electrooptics Ind Ltd Audio-visual content verification method and system
FR2769453B1 (fr) * 1997-10-06 2000-01-07 Telediffusion Fse Procede d'evaluation de la degradation d'une image video introduite par un systeme de codage et/ou de stockage et/ou de transmission numerique
US6092040A (en) 1997-11-21 2000-07-18 Voran; Stephen Audio signal time offset estimation algorithm and measuring normalizing block algorithms for the perceptually-consistent comparison of speech signals
US5894324A (en) * 1997-12-03 1999-04-13 Tektronix, Inc. Video alignment using a selected partial picture
FR2795578B1 (fr) 1999-06-23 2002-04-05 Telediffusion Fse Procede d'evaluation de la qualite de sequences audiovisuelles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0938239A1 (fr) * 1998-02-20 1999-08-25 Tektronix, Inc. Transmission d'images vidéo de référence avec un faible rapport cyclique
WO2001086935A2 (fr) * 2000-05-11 2001-11-15 Yeda Research & Development Co. Ltd. Dispositif et procede d'alignement spatio-temporel de sequences d'images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO03063514A1 *

Also Published As

Publication number Publication date
US7043684B2 (en) 2006-05-09
CA2474197C (fr) 2013-03-12
CA2474197A1 (fr) 2003-07-31
FR2835124A1 (fr) 2003-07-25
WO2003063514A1 (fr) 2003-07-31
FR2835124B1 (fr) 2004-03-19
US20050166101A1 (en) 2005-07-28

Similar Documents

Publication Publication Date Title
EP1468416B1 (fr) Procede d&#39;evaluation qualitative d&#39;un signal audio numerique.
TWI591619B (zh) 利用垂直相校正處理一音訊信號之音訊處理器及方法
EP2691952B1 (fr) Allocation par sous-bandes de bits de quantification de paramètres d&#39;information spatiale pour un codage paramétrique
EP1468573A1 (fr) Procede de synchronisation de deux flux de donnees numeriques de meme contenu.
US10019997B2 (en) Method and apparatus for quantisation index modulation for watermarking an input signal
RU2614855C2 (ru) Генератор водяного знака, декодер водяного знака, способ генерации сигнала водяного знака, способ формирования данных двоичного сообщения в зависимости от сигнала с водяным знаком и компьютерная программа на основе усовершенствованной концепции синхронизации
FR2760872A1 (fr) Procede d&#39;optimisation de la compression de donnees d&#39;image, a selection automatique de conditions de compression
EP0906613B1 (fr) Procede et dispositif de codage d&#39;un signal audiofrequence par analyse lpc &#34;avant&#34; et &#34;arriere&#34;
CA2377808C (fr) Procede d&#39;evaluation de la qualite de sequences audiovisuelles
FR2815805A1 (fr) Procede de synchronisation de signaux numeriques
EP1025667B1 (fr) Procede et systeme d&#39;evaluation, a la reception, de la qualite d&#39;un signal numerique, tel qu&#39;un signal audio/video numerique
FR2895193A1 (fr) Procede et dispositif d&#39;estimation de la qualite d&#39;un ensemble de donnees numeriques
FR2834852A1 (fr) Procede et dispositif de segmentation temporelle d&#39;une sequence video
Kirbiz et al. Decode-time forensic watermarking of AAC bitstreams
FR2769452A1 (fr) Procede de synchronisation spatiale d&#39;une image video codee numeriquement et/ou d&#39;identification de la syntaxe d&#39;une sequence video
EP1554877A2 (fr) Desembrouillage adaptatif et progressif de flux audio
Kondo Evaluation of a stereo audio data hiding method using inter-channel decorrelator polarity
EP2045957B1 (fr) Calcul de preuve d&#39;appartenance d&#39;un secret à un intervalle, mettant en oeuvre und décomposition binaire
FR2845543A1 (fr) Systeme d&#39;embrouillage securise de flux audio
EP3582500A1 (fr) Procédé d&#39;analyse de la complexité d&#39;un contenu multimédia source pour une diffusion à la demande
WO2007042719A1 (fr) Mesure de la qualite de perception par un utilisateur d&#39;un signal multimedia transmis sur un reseau de transmission de donnees par paquets
WO2008081134A2 (fr) Procede d&#39;estimation de la qualite d&#39;une communication en mode paquet
FR2812496A1 (fr) Procede d&#39;insertion et de decodage d&#39;un signal de marquage
FR2865082A1 (fr) Procede, dispositif, programme d&#39;ordinateur et support de donnees pour estimer la qualite perceptuelle d&#39;une image decodee

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040726

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT SE SI SK TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: JOLY, ALEXANDRE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: TDF

17Q First examination report despatched

Effective date: 20100426

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20180801