EP2628154A1 - Procédé et dispositif de formation d'un signal mixé numérique audio, procédé et dispositif de séparation de signaux, et signal correspondant. - Google Patents

Procédé et dispositif de formation d'un signal mixé numérique audio, procédé et dispositif de séparation de signaux, et signal correspondant.

Info

Publication number
EP2628154A1
EP2628154A1 EP11767267.5A EP11767267A EP2628154A1 EP 2628154 A1 EP2628154 A1 EP 2628154A1 EP 11767267 A EP11767267 A EP 11767267A EP 2628154 A1 EP2628154 A1 EP 2628154A1
Authority
EP
European Patent Office
Prior art keywords
signal
digital
digital audio
signals
source signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP11767267.5A
Other languages
German (de)
English (en)
Inventor
Laurent Girin
Antoine Liuktus
Gaël RICHARD
Roland Badeau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut Polytechnique de Grenoble
Institut Mines Telecom IMT
Telecom Paris
Original Assignee
Institut Polytechnique de Grenoble
Telecom ParisTech
Institut Mines Telecom IMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut Polytechnique de Grenoble, Telecom ParisTech, Institut Mines Telecom IMT filed Critical Institut Polytechnique de Grenoble
Publication of EP2628154A1 publication Critical patent/EP2628154A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Definitions

  • the present invention relates to a method for separating at least one of the source signals comprising a digital audio overall signal.
  • the invention also relates to a method for forming a digital audio overall signal enabling the subsequent separation of at least one source signal from the component.
  • the invention relates to devices for carrying out these methods.
  • Signal mixing consists of summing several signals, called source signals, to obtain one or more composite signals, called mixed signals.
  • the mixing can be considered as a simple step of adding the source signals or may also include steps of filtering the signals before and / or after the addition.
  • the source signals can be mixed differently to form two mixed signals corresponding to the two channels (left and right) of a stereo signal.
  • Separation of sources consists of estimating source signals from the observation of a number of different mixed signals formed from these same source signals.
  • the objective is generally to enhance, if possible to completely extract one or more target source signals.
  • the separation of sources is particularly difficult in the so-called "under-determined" cases in which a number of mixed signals is distributed less than the number of source signals present in the mixed signals. The extraction is in this case very difficult or impossible because of the small amount of information available in these mixed signals compared to that present in the source signals.
  • the music signals on compact-di audio sc are a particularly representative example because we only have two stereo channels (ie two signals mixed left and right), generally very redundant, for a large number potential of source signals.
  • blind separation is the most general form, in which no information on the source signals nor on the nature of the mixed signals is known a priori.
  • We then make a number of assumptions about these source signals and the mixed signals for example that the source signals are statistically independent
  • we estimate the parameters of a separation system by maximizing a criterion based on these hypotheses (for example maximizing the independence of the signals obtained by the separation device).
  • this method is generally used in cases where there are many mixed signals (at least as much as source signals) and is therefore not applicable to under-determined cases in which the number of mixed signals is less than number of source signals.
  • Computational auditory scene analysis consists of modeling harmonic partial source signals, but the mixed signal is not explicitly decomposed. This method is based on the mechanisms of the human auditory system to separate the source signals in the same way that our ear does. These include: D.P.W. Ellis, Using knowledge to organize sound: The prediction-driven approach to computational auditory scene analysis, and its application to speech / non-speech mixture (Speech Communication, 27 (3), pp. 281-298, 1999), D. Godsmark and GJBrown, A blackboard architecture for computational auditory scene analysis (Speech Communication, 27 (3), pp. 351-366, 1999), as well as T. Kinoshita, S. Sakai, and H. Tanaka, Musical sound source identification based on frequency component adaptation (In Proc. IJCAI Workshop on CASA, pp. 18-24, 1999).
  • computational auditory scene analysis generally leads to poor results on the separation of source signals, especially in the case of audio signals.
  • Another form of separation relies on a decomposition of the mixture on the basis of suitable functions.
  • the decomposition atoms are classified in independent subspaces, which makes it possible to extract groups of harmonic partials.
  • One of the restrictions of this method is that generic dictionaries of atoms such as the Gabor atoms, for example, not adapted to the signals, do not give good results.
  • the dictionary must contain all the translated forms of the waveforms of each type of instrument. The decomposition dictionaries must then be extremely large for projection and thus separation to be effective.
  • ISA independent subspace analysis
  • decomposition consists of modeling the power spectra of each source as the sum of several non-negative spectral forms.
  • A. Ozerov and C. Fevotte Multichannel nonnegative matrix factorization in convolutive mixtures for audio source separation (IEEE Trans.on.on Audio, Speech and Lang, Proc Vol 1 8, No. 3, March 201 0) for a general presentation.
  • This decomposition is done by factorization in non-negative matrices.
  • the main drawbacks of such a decomposition are that the spectrograms of the sources must have a low spectral variability so that the separation is effective, which is rarely the case for real signals. For the voice signal for example, vibrato phenomena constantly cause the violation of this constraint.
  • Other systems such as J.L.
  • Y. -W. Liu Sound Source Segregation Assisted by Audio Watermarking (IEEE, Int.ConfMedia and Expo, pages 200-203, 2007) proposes to mark the source signals with an identification of the source signal of which they are based.
  • the marking is carried out so as to separate, in the frequency spectrum of the mixed signal, the frequencies i ssues of each source signal.
  • the number of sources that can be separated is limited.
  • the tests are carried out on artificial mixtures that are not very real and under very controlled conditions compared to the actual cases to which they are intended to be applied. In any case, the tests are generally not carried out on signals of several minutes.
  • the methods presented above concentrate on the case of a single mixture and ignore the case of stereo mixtures.
  • An object of the present invention is therefore to provide a method for separating a source signal compri s in one or more mixed signals, more effectively.
  • an object of the invention is to propose a method of separating a source signal in the so-called "under-determined" cases in which the number of mixed signals is smaller than the number of source signals.
  • An object of the invention is to provide a method for separating a source signal compri s in one or more mixed signals, with information of reduced size.
  • a method of forming one or more digital audio mixed signals from at least two digital audio source signals wherein the digital audio mixed signal (s) are formed by mixing digital audio source signals.
  • a digital characteristic magnitude of at least one digital audio source signal is compressed into a sequence of bits, and said sequence of bits is inserted into said digital audio source signal or into the digital audio mixed signal (s) in a manner not audible.
  • the numerical characteristic size is the temporal distribution, spectral or spectro-temporal signal of said digital audio source signal or the temporal, spectral or spectro-temporal contribution of said digital audio source signal in the mixed signal or signals, or said digital audio source signal.
  • the bit sequence is extracted from the audio mixed signal (s), and the bit sequence is transformed into an uncompressed digital characteristic value so as to obtain, at least partially, said digital audio source signal, or else extracts the bit sequence of the audio mixed signal (s), the bit sequence is transformed into an uncompressed numerical characteristic quantity and the mixed signal (s) is processed according to said uncompressed numerical characteristic magnitude so as to obtain at least partially, said digital audio source signal.
  • the transformation of the bit sequence into an uncompressed digital character size may be an audio decompression or an image decompression.
  • the combination of compression, insertion and source separation methods makes it possible to improve the separation efficiency of a source signal from one or more mixed signals, insofar as it is possible to an informed separation: at the time of separation, information is known about at least one source signal before mixing.
  • information is known about at least one source signal before mixing.
  • the separation remains possible thanks to the information relating to the source signals themselves, which are inserted into the mixed signal, and this even with a large number source signals.
  • Digital compression or source coding, considers transforming a sequence of bits representing a digital quantity into a shorter sequence of bits, forming a compressed size.
  • the decompression (or decoding) is the inverse transformation allowing to find (in the same way in the case without loss, and with a degradation in the case with losses) the initial size decompressed from the reduced bit sequence.
  • the quality of the compression ie, the accuracy of the compressed quantity and decompressed with respect to the initial size, depends in particular on the type of compression and the size of the compressed quantity.
  • the digital characteristic magnitude of at least one source signal is compressed, that is, it is transformed into a sequence of bits (in a digitally compressed digital size) having fewer bits. than the initial digital character size (uncompressed).
  • the sequence of bits may have a number of bits two faiths, preferably five faiths, and even more preferably ten faiths, less than the number of bits of the magnitude character.
  • the compression of the characteristic quantity can be carried out by a lossless algorithm or by a lossy algorithm. In the latter case, various settings may possibly make it possible to control the compromise between the size of the compressed information and the quality of the fidelity of the uncompressed digital character size. Compression / decompression allows to increase the quality of the separation of the source signals, for the same information insertion capacity in the mixed signal or signals. It is then possible to obtain compressed sizes and uncompressed quantities quickly, with controllable sizes, especially small ones, while maintaining effective separation.
  • the temporal, spectral or spectro-temporal distribution of the source signals can be in modulus or energy.
  • the temporal, spectral or spectro-temporal contribution of the source signals in the mixed signal (s) may be in percentage and represent the contribution in energy or in modulus of the source signals in the mixed signal (s).
  • these quantities are positive real values.
  • the digital characteristic magnitude of the source signal is said digital audio source signal, and said digital audio source signal is compressed by an audio compression means.
  • a source signal is used as a characteristic quantity.
  • the source signal can then be compressed by an algorithm capable of compressing a variable to a variable.
  • the compression step can be implemented by audio compression means.
  • the audio compression may include a transformation in a temps-frequency plane, a scalar quantization of the transform (possibly taking into account the auditory perception of the signal) and an entropy coding. Audio compression can be selected from MP3 or AAC algorithms.
  • the digital characteristic magnitude of the digital audio source signal is the spectro-temporal distribution of the source signal or the spectro-temporal contribution of said audio source signal in the mixed signal or signals, and said characteristic magnitude.
  • digital system is compressed by image compression means.
  • the distribution or the spectro-temporal contribution of the digital audio source signal is a time-frequency representation type information of said source signal.
  • it is a magnitude expressed in modulus or energy.
  • Such a representation consi tal to represent, in energy or in modulus of the amplitude (ie the square root of the energy), the source signal as a function of two parameters, the time and the frequency. This corresponds to the evolution, in energy or in module, of the frequency content of the source signal as a function of the time.
  • a real positive value corresponding to the signal components at this frequency and at this instant is obtained.
  • the distribution or the spectro-temporal contribution of the digital audio source signal providing positive real values as a function of time and frequency can then be compressed by an algorithm capable of compressing a variable with two variables.
  • the compression step can be implemented by an image compression means.
  • the distribution or the spectro-temporal contribution of the digital audio source signal, consisting of positive real values can be considered as an image, and then compressed using an image compression algorithm, for example based on a quantization of coefficients. discrete cosine or wavelet transforms.
  • Image compression consists of representing two-dimensional information (the gray levels or the color levels of the pixels of an image) in a sequence of bits having a smaller number of bits than that of the representation of the initial image (without compression).
  • the image compression may comprise a two-dimensional information transformation (for example: time (in abscissa) - frequency (in ordinate)) to a two-dimensional space in frequency (for example: frequency of the information according to the axis of the abscissas and frequency of information along the y-axis), a scalar quantization of the two-dimensional space coefficients in frequency (possibly taking into account visual perception) and entropy coding.
  • the image compression can thus be the JPEG algorithm.
  • Decompression or decoding makes it possible to recover the distribution or the spectro-temporal contribution of the uncompressed digital audio source signal from the reduced bit sequence.
  • Many algorithms are available to perform such treatment (J.
  • the application of image compression algorithms on the two-dimensional values of the digital audio source signal may optionally include a renormalization of these values in a range usually used for image compression. During decompression, the corresponding denormalization is then optionally applied.
  • the spectro-temporal distribution of the source signal or the spectro-temporal contribution of said audio source signal in the mixed signal (s) is transformed into a logarithmic scale before being compressed by the audio compression means or picture.
  • the image compression algorithms are used not for photographs or drawings, but on time-frequency, module or energy representations of an audio signal.
  • image processing techniques in the field of audio processing makes it possible to improve the processing of audio signals, while benefiting from the performance of image compression algorithms.
  • the sequence of bits resulting from the compression of the characteristic quantities of the audio source signals can be inserted by tattoo into the source signal (s) before mixing and / or in the mixed signal (s) after mixing.
  • Tattooing in English “watermarking" considers, in general, to insert in a digital signal binary information.
  • the tattooing of a signal exploits the defects of the human perceptual system to insert in a signal, in this case a sound signal, information which is preferably imperceptible, ie inaudible.
  • the techniques employed are of the spectral spreading type (R. Garcia: Digital watermarking of audio signals using the psychoacoustic auditory model and spread spectrum theory, 107th Convention of the Audio Engineering Society (AES), 1999), (Cox, IJ, Kilian, J ., Leighton, F.T., Shamoon, T.: Secure spread spectrum watermarking for multimedia, IEEE Transactions on Image Processing, 6 (12), pp. 1,673 - 1687, 1997).
  • the audio tattoo is used in the context of the protection and control of copyright ("Digital Rights Management" in English) for works on digital media, and more generally in the context of the traceability of information on this type of support.
  • the objective is to insert in a very robust manner (that is to say, resistant to possible more or less lawful manipulations of the signal) a relatively small amount of information spread over a wide time-frequency range of the signal then added to it, so that it is very difficult to isolate it to remove it.
  • the aim is to choose an optimal tattoo adapted to the signal on which it is inserted (IJ Cox, ML Miller and AL McKellips, Watermarking as IEEE Proc, 87 (7), pp. 1127-1141, 1999).
  • the constraints to be satisfied are to obtain a transmission rate as high as possible without the tattoo being audible, and also to ensure the best possible transmission reliability (few errors made during transmission).
  • the tattoo for the transmission of data is thus used inter alia for the annotation of documents for example for indexing in a database (Ryuki Tachibana: Audio watermarking for live performance, SPIE Electronic Imaging: Security and Watermarking of Multimedia Content V, volume 5020, pp. 32-43, 2003), or the identification of documents for the purpose of compiling statistics on the distribution of this document for example (T. Nakamura, R. Tachibana & S. Kobayashi, SPIE Electronic Imaging: Security and Watermarking of Multimedia Content IV, vol 4675, pp. 170-180, 2002).
  • tattooing for the transmission of data there is also the alternative tattoo technique in which the characteristics of the host signal are replaced by those of the tattoo. Examples of substitutive tattoos are described by Chen (B.
  • a tattoo scheme inspired by the work of Chen and Wornell can be used (B. Chen & G. Wornell, Quantization index modulation: a class of provably good methods for digital watermarking and information embedding.) IEEE Trans. Theory, 47, pp. 1423-1443, 2001).
  • the tattoo is introduced by quantification.
  • tattooing is carried by a modification of the quantization levels, in one of the representations of the host signal (temporal, spectral or spectro-temporal representation).
  • the theoretical performances of this technique are similar to Costa's (Costa, Writing on dirty paper, IEEE Trans Information Theory, 29, pp. 439-441, 1983) which sets the theoretical limit of the transmission capacity of a transmission chain if we know a priori the signal to the transmitter.
  • the tattoo is used to insert a compressed information relating to the signal itself, allowing the separation of the source signals from the mixed signal.
  • the information inserted here relates to the source signals themselves (for example their distribution in time, in frequency, or in the time-frequency plane, or the source signal itself), on the source signals and the mixed signal (eg the contribution of each source signal to the mixed signal).
  • These are characteristic quantities of the source signals, that is to say descriptors characteristic of the source signals in the sense of the signal processing, these descriptors to help assist in the separation of signals. This is therefore a piece of information that is both relatively voluminous, before compression, and possibly distributed well localized and well controlled in the time-frequency plane.
  • tattooing There is no need to present particular properties of robustness, especially with regard to illicit manipulations which the signal could undergo.
  • Tattooing methods can thus be considered as non-safe methods, that is to say, methods that are not robust to signal manipulations but that can tattoo information in greater quantities.
  • the sequence of bits (compressed size) is tattooed in the signal or signals so as to slightly modify the signal and so as not to change its format.
  • the tattooed signal remains compatible with the initial untattooed signal (s), for example if the two tattooed and untattooed versions of the signal (s) are in CD-audio format, the two versions may be restored by a conventional compact-di sc player, and the tattooed value is inserted so as to be little or not audible. It is then possible to read the tattooed signal (s) according to already known methods, even if the signal separation is not supported by these methods.
  • the sequence of bits can be inserted in one or more dedicated digital segments or mixed signals.
  • the functional segments of the mixed signal are used, that is to say the segments transmitting functional information and not the information as a signal (the signal or signals resulting from the mixing of the source signals).
  • the functional information refers to the technical characteristics of the training device and the separation device, and not only to the information to be transmitted as a signal.
  • the sequence of bits can be inserted in one or more dedicated digital streams or mixed signals.
  • the mixed signal or signals comprise several digital streams.
  • One or more of these digital streams are used to transmit the signal (s) resulting from the mixing of the source signals, and one or more of the other digital streams may be used to transmit the signals. sequences of bits. It is thus possible to obtain one or more streams for transmitting the information as a signal (the signal or signals resulting from the mixing of the source signals) and one or more streams for transmitting the functional information (in particular the characteristic quantities of the signals). compressed sources) for separating one or more source signals from the mixed signal or signals
  • a method for forming one or more digital audio mixed signals from at least two digital audio source signals comprising means for mixing said digital audio source signals to form the one or more signals.
  • the device also comprises a compression means capable of compressing a digital characteristic value of at least one audio source signal into a series of bits, and means for inserting said sequence of bits in said audio source signal or in the or mixed audio signals with little or no audible sound.
  • the digital characteristic magnitude is the temporal, spectral or spectro-temporal distribution of said source signal or the temporal, spectral or spectro-temporal contribution of said source signal in the mixed signal or signals, or said digital audio source signal.
  • a separation device for separating, at least partially, at least one digital source signal contained in one or more digital audio mixed signals outputted from the preceding device, comprising means for extracting the sequence of bits representing the compressed numerical characteristic quantity and a means of decompressing the bit sequence into an uncompressed numerical characteristic quantity capable of obtaining, at least partially, said digital audio source signal, or a means of decompressing the bit sequence into a quantity uncompressed numerical characterizer and means for processing the digital audio mixed signal (s) as a function of the uncompressed digital character size capable of obtaining, at least partially, said digital audio source signal.
  • the decompression means can be audio decompressing means or image decompressing means.
  • the digital characteristic magnitude of the source signal may be said digital audio source signal
  • the compression means may be an audio compression means
  • the digital characteristic magnitude of the digital audio source signal may be the spectro-temporal energy distribution of said digital audio source signal, or the spectro-temporal energy contribution of said digital audio source signal.
  • the compression means may be an image compression means.
  • the insertion means is a tattooing means mounted upstream of the mixing means and is capable of tattooing the sequence of bits on the source signal (s).
  • the insertion means is a tattooing means mounted downstream of the mixing means and is capable of tattooing the sequence of bits on the one or more mixed signals.
  • the training device may also include means for quantizing a representation of a signal, wherein the tattooing means inserts the sequence of bits using quantization overheads of the signal representation.
  • the representation of the signal may be a spectral or spectro-temporal representation of the signal.
  • the quantization means makes it possible to determine the amplitude of the modifications that can be introduced into the representation of the signal, so that these modifications do not alter the perceived quality of the signal when it is restored by a distributor.
  • a conventional reading device or a separation device according to the invention so that these modifications can be detected by a separation device according to the invention. It is thus possible to obtain one or more tattooed signals with a series of bits, such that the quality of the sound content represented by this or these tattooed signals is little or no degraded compared to that of the sound content represented by the signal or signals initial.
  • the restitution of the tattooed signal (s) by a known device will make it possible to obtain a quality of the sound content that is little or not modified, whereas the treatment of the signal tattooed by a device according to the invention will make it possible to determine the sequence of bits in the signal.
  • the insertion means may be able to insert the sequence of bits into one or more dedicated digital segments of the mixed signal (s) or into one or more dedicated digital streams of the mixed signal (s).
  • one or more digital audio mixed signals are provided, obtained by mixing at least two digital audio source signals, comprising a series of little or no audible bits corresponding to a digital characteristic quantity of at least one signal.
  • digital audio source the digital characteristic quantity being the temporal, spectral or spectro-temporal distribution of said source signal or the temporal, spectral or spectro-temporal contribution of said source signal in the mixed signal or signals, or said digital audio source signal.
  • the bit sequence of little or no audible can be obtained by audio or image compression of the digital characteristic magnitude of at least one digital audio source signal.
  • FIG. 1 diagrammatically represents a first embodiment of a device for forming a mixed signal according to the invention
  • FIG. 2 diagrammatically represents a first embodiment of a separation device according to the invention
  • FIG. 3 diagrammatically represents a second embodiment of a device for forming a mixed signal according to the invention
  • FIG. 4 schematically represents a second embodiment of a separation device according to the invention.
  • FIG. 5 is a flow diagram of a process for forming a mixed signal according to the invention.
  • FIG. 6 is a flowchart of a tattooing process
  • FIG. 7 is a flowchart of a separation method according to the invention.
  • FIG. 1 there is shown schematically a first embodiment of forming device 1 of a mixed signal.
  • the training device 1 receives as input the source signals S 1 and S 2 , and delivers a mixed signal S 0 ut.
  • the number of two-source signals and the number of signals mixed with a can be much higher, and that the number of mixed signals is generally two.
  • the signals are audio signals.
  • the purpose of the training device 1 is to deliver a mixed signal S or t formed from the source signals Si, S 2 and comprising a sequence of bits corresponding to the compression of a characteristic quantity of at least one of the source signals. It will be considered in the remainder of the description that the mixed signal S or t comprises the sequences of bits corresponding to the compression of the characteristic quantities of the two source signals Si and S 2 .
  • the device comprises a mixing means 2.
  • the mixing means also receives as input the source signals Si and S 2 , and outputs an initial mixed signal S m i x resulting from a combination of the source signals.
  • the mixing can consist of a simple summation. It can also be a summation whose coefficients assigned to each source signal vary in time, or even a summation associated with one or more filters.
  • the training device 1 comprises a means 3 for determining a signal characteristic quantity.
  • the determination means 3 receives as input the source signals for which it is desired to determine the value of the characteristic quantity, in this case the two signals Si and S 2 .
  • a determination means 3 is chosen which is capable of determining, as a characteristic quantity, the spectro-temporal distribution of the energy of the signal considered.
  • the determining means 3 thus comprises a means 4 for transforming the source signal, so as to obtain the representation of the source signal in a time-frequency plane.
  • the time-frequency transformation of the signal can be performed by a short-term discrete Fourier transform (TFDCT).
  • TFDCT short-term discrete Fourier transform
  • the source signal is then represented by the set of coefficients of this TFDCT, passed in square module to obtain a representation in energy.
  • the determination means 3 can also comprise a detection means 5 for processing the matrix obtained, that is to say for applying an active treatment to the matrix obtained, for example a segmentation or a filter.
  • the detection means 5 may, for example, for each source signal Si, S 2 , consider only the coefficients of the matrix time-frequency representation corresponding to a certain time interval and to a certain frequency interval. Thus, a matrix containing only the coefficients considered as relevant by the detection means 5 to characterize each source signal is obtained. This eliminates the coefficients considered irrelevant and unnecessarily increases the amount of information to be transmitted to the separation coefficients, for example the coefficients corresponding to the frequencies not audible by the human ear, or the coefficients corresponding to time intervals where the corresponding source signal is at zero values (ie the portions of silence of the source signal).
  • the detection means 5 may, for example, for each source signal S i, S 2 , consider the coefficients of the representation of the frequency s-frequency matrix in groups of adjacent coefficients called, below, sub-blocks .
  • the sub-blocks are matrices representative of only a part of the overall spectro-temporal representation, for example parts where the coefficients s are non-zero s, and possibly parts where the coefficients are zero s.
  • the spectro-temporal representation is then divided into sub-blocks which can then be compressed jointly or separately more efficiently (especially with individual adjustments of the compression means).
  • a characteristic quantity of the source signal S i and a characteristic quantity of the source signal S 2 are obtained, which are then transmitted to a compression means 6.
  • the compression means 6 makes it possible to compress the matrix or matrices obtained by the determination means 3.
  • the compression means 6 makes it possible to obtain a series of bits corresponding to the characteristic quantity of each source signal, which may be their overall spectro-temporal representation or sub-blocks of their spectro-temporal representation.
  • the compression means 6 receives these representations and compresses them by a compression algorithm intended for two-variable signals, for example an image compression algorithm.
  • the bit sequences will be inserted in a first step on the initial mixed signal S m i x to form the mixed signal S or t, then will be used in a second time to separate the source signals S i, S 2 of the signal mixed S or t -
  • the characteristic magnitude of a source signal may be said audio source signal itself.
  • the detection means 5 may allow for example to detect and segment the time portions where the source signal is non-zero and must be compressed.
  • the compression means 6 receives the audio source signal or signals possibly segmented by the detection means 5, and compresses them by a compression algorithm intended for the single-variable signals, for example audio, so as to obtain a sequence of bits corresponding to the compression of the audio source signal (s).
  • the training device 1 also comprises an insertion means 7.
  • the insertion means 7 receives as input the mixed signal Smi x and the bit sequences corresponding to the compression of the characteristic quantities of the source signals S i, S 2 .
  • the insertion means 7 may be a tattooing means capable of tattooing the sequences of bits on the mixed signal.
  • the tattooing means may comprise a transformation means 8 for decomposing the initial mixed signal S m i x in a time-frequency representation which may be the same as that used. It is possible to decompose the source signals S i and S 2 (a TFDCT) or else it may be another time-frequency representation more suitable for the tattooing task (for example a modified cosine modified transform (MDCT)).
  • TFDCT time-frequency representation
  • MDCT modified cosine modified transform
  • the decomposed initial mixed signal is then transmitted to a first quantization means 9.
  • the first quantization means 9 makes it possible to quantize the coefficients of the matrix time-frequency representation of the mixed initial signal, with a first resolution (that is, i.e., a minimum interval between two quantization values) is chosen so as to restore the signal with the desired quality.
  • the minimum interval is chosen according to the perception of the quantification. In the case of audio signals, if the minimum difference between two quantization values is too large, the quantized mixed signal will be perceived differently by the human ear than the original mixed signal. On the other hand, if the minimum difference between two values is sufficiently small, the human ear will not be able to distinguish between the quantized mixed signal and the initial mixed signal.
  • the tattooing means 7 then comprises a second quantization means 10 which receives the quantized time-frequency coefficients of the mixed signal and the bit sequences.
  • the second quantization means 10 makes it possible to quantify the coefficients of the matrix representation of the mixed signal with a second resolution greater than the first resolution.
  • the second resolution makes it possible to subdivide the minimum interval of the first quantization, with a second minimum interval, that is to say that it allows to introduce between the levels of first quantization additional quantization levels (over- levels).
  • the tattooing principle consists in quantifying the time-frequency coefficients of the mixed signal on the over-levels of the second quantization means 10 as a function of the values of the bit sequences.
  • the tattooing of the sequences of bits can comprise their segmentation into segments able to be associated with the on-levels, and the quantization of the temp-frequency coefficients of the signal mixed by said segments.
  • the tattoo distribution and ordering of the different tattoo segments on the different time - frequency coefficients of the mixed signal can be arbitrarily defined.
  • the interval between these over-levels must be chosen small enough to be able to tattoo as much information as possible. However, if this interval is too small, the value tattooed during the second quantization can not be correctly detected. The value of the interval must provide a compromise between detection and information insertion capability.
  • the tattooing means 7 comprises inverse transformation means 1 1.
  • the inverse transformation means 1 1 performs the transformation inverse to that performed by the transformation means 8. It can be a transformation by inverse TFDCT (ITFDCT) or inverse MDCT (IMDCT) or other depending on the type of transformation chosen by means 8. then a time representation of the tattooed mixed signal, which constitutes the mixed signal S 0 ut-
  • a mixed output signal S or t is obtained with the same temporal representation as the initial mixed signal S m i x but including a tattoo with little or no audible and detectable for source separation.
  • the mixed signal S or t may then be transmitted or applied to a recording medium.
  • the mixed signal S or t first undergoes a 16-bit uniform scalar quantization (which corresponds to the audio CD format), and then is applied to compact disc.
  • 16-bit uniform scalar quantization is an example of processing limiting the detection of the second quantization performed by the tattooing means.
  • a mixed signal S or t obtained by mixing at least two source signals is obtained, and comprising a series of bits corresponding to the compression of a characteristic quantity of at least one of the source signals. Since the mixed signal Sout has the same temporal representation as the initial mixed signal S m i x , and the bit sequences are inserted so as to be little or not audible, a conventional device will be able to process the mixed signal Sout like any other signal. mixed, while a separation device according to the invention, as described below, may, in addition, at least partially separate one of the source signals of the mixed signal S or t-
  • FIG. 2 diagrammatically shows a first embodiment of a device for separating a source signal contained in a mixed signal S or t as defined in the preceding paragraph.
  • the separation device 12 receives as input the mixed signal Sout, and delivers, in the present case, two source signals at least partially separated S'i and S ' 2 .
  • the purpose of the separation device 12 is to deliver, at least partially, one or more signals sources contained in a mixed signal S or t which comprises a compressed value of a characteristic quantity.
  • the separation device 12 comprises a means 13 for determining the sequences of bits representing the characteristic quantities of the signals to be separated.
  • the means 13 receives as input the mixed signal S or t and outputs the sequences of bits corresponding to the compression of the characteristic quantities.
  • the means 13 delivers the time-frequency representation matrix or matrices of the compressed source signals to be separated or the compressed audio source signal or sources to be separated.
  • the means 13 for determining comprises a transformation means 14 similar to the means 8 described in FIG. 1.
  • the transformation means 14 makes it possible to break down the mixed signal S or t into a matrix of time-frequency coefficients (for example TFDCT or MDCT).
  • the time-frequency coefficients of the mixed signal are then transmitted to a quantization means 15 similar to the means 10 described in FIG. 1.
  • the quantization means 15 makes it possible to quantify the coefficients of the signal S or t with the same quantifiers as those used in FIG. average 10, and to find the segments of the series of bits by reading the over-levels of quantification. These segments are then assembled by a concatenation means 16 to find the sequences of bits representing the characteristic quantities of the compressed source signals.
  • bit sequences are then transmitted to a decompression means 17 capable of decompressing these bit sequences so as to obtain characteristic quantities of the decompressed source signals substantially equal to the characteristic quantities of the initial source signals.
  • the separation device 12 also comprises a processing means 18 receiving the decompressed characteristic quantities from the decompression means 17, as well as the time-frequency coefficients of the mixed signal determined by the means 13. It is considered in the remainder of the description that the characteristic quantities are the spectro-temporal representations of the energy source signals.
  • the processing means 18 comprises a first separation means 19 capable of separating, at least partially, the source signals of the mixed signal.
  • the values of the decompressed characteristic values are used in combination with the values of the temp-frequency coefficients of the mixed signal to effect the separation of the source signals.
  • the characteristic quantities have been determined from a time - frequency representation of the source signals, it will be possible to retrieve the frequency - frequency coefficients of the source signals from the characteristic quantities of the source signals and the coefficients. s time-frequency of the mixed signal, and thus to operate a separation of s source signals.
  • the characteristic quantities are the spectro-temporal representations of the energy sources
  • a filter of Wiener filter type, defined, for each point of the frequency-frequency plane. considered, by the ratio of the spectro-temporal representation in energy of the source to be separated with the spectro-temporal representation in energy of the mixed signal.
  • This filter a faith applied to the time-frequency coefficients of the mixed signal, makes it possible to estimate the corresponding time-frequency coefficients of the source signal.
  • Wiener filtering makes it possible to obtain an estimate of a mixed signal (in this case a source signal) from other interfering signals (in this case the other source signals), in the sense of the least squares criterion ( minimizing the mean squared difference between samples of the mixed signal and samples of the desired separate signal).
  • the Wiener filters are already described (N.
  • Wiener Extrapolation, Interpolation, and Smoothing of Stationary Time Series: With Engineering Applications, The MIT Press, 1950; A. Papouli's: Signal Analysis, McGraw-Hill Companies, 1977; L. Benaroya, F. Bimbot, R. Gribonval: Audio source separation with a single sensor, Speech and Language Processing, Vol.14, No. 1, 2006).
  • the separation method implemented in the separation means 19 can be applied globally over the entire time-frequency plane, or at the scale of the sub-blocks defined in the detection means 5.
  • the separation can only be applied to the sub-blocks for which the coefficients of the spectro-temporal energy representation of the signal to be separated are non-zero or non-negligible.
  • the time-frequency coefficients of the source signals separated by the separation means 19 are then transmitted to an inverse transformation means similar to the means 11 described in FIG. 1.
  • the means 20 makes it possible to transform the time-frequency coefficients of the separate source signals. in time signals S'i and S ' 2 corresponding, at least partially, to the source signals Si, S 2 .
  • the decompressed characteristic quantities then supply time signals S'i and S ' 2 corresponding, at least partially, to the source signals Si, S 2 .
  • the time signals S'i and S ' 2 are thus obtained at the output of the decompression means 17.
  • the separation device 12 then does not comprise processing means 18, but only an inverse transformation means analogous to the transformation means 20, receiving at input the time-frequency coefficients of the mixed signal determined by the means 13, and delivering the time signal of the mixed signal.
  • the separation device 12 may comprise the processing means 18 with a separation means 19 mounted downstream of the inverse transformation means 20.
  • separation 19 receives the time signal of the mixed signal from the means 20 and the time signal S ' 2 corresponding, at least partially, to the source signal S 2 from the decompression means 17.
  • the separation means 19 then provides, at the output, the time signal S'i corresponding, at least partially, to the source signal Si by subtraction of the signal S ' 2 to the mixed signal.
  • FIG 3 there is shown a second embodiment of a forming device 21 according to the invention.
  • the training device 21 receives as input at least two source signals Si, S 2 and provides, at the output, a mixed signal S or t-
  • the device 21 comprises a mixing means 2 receiving the two source signals Si, S 2 , and providing an initial mixed signal S m i x .
  • the device 21 also comprises a determination means 3 receiving as input the source signals Si and S 2 , and outputting the spectro-temporal distributions or contributions of the source signals. Spectro-temporal distributions or contributions of the source signals are then transmitted to a compression means 6 capable of transforming them into bit sequences.
  • the device 21 finally comprises an insertion means 22 capable of inserting the sequences of bits determined by the compression means 6 into the initial mixed signal S m i x supplied by the mixing means 2, so as to obtain the mixed signal S or t in particular, the insertion means 22 may insert the bit sequences in one or more dedicated digital segments of the mixed signal S or t, or in one or more digital streams dedicated to transmission of the mixed signal
  • a mixed signal S or t is obtained obtained by mixing at least two source signals, and comprising a sequence of bits corresponding to the compressed spectro-temporal representations of the source signals.
  • the bit sequences are here determined so as to have a small size, and only make it possible to obtain a source signal that after decompression and combination with the mixed signal, for example by application of Wiener filters on the mixed signal.
  • the sequences of bits transmitted in the dedicated digital segments or in a dedicated digital stream are not sufficient, by themselves, to retrieve a source signal substantially corresponding to the original source signal, and are therefore considered as little or not audible.
  • FIG. 4 shows a second embodiment of a separation device 23 according to the invention.
  • the separating device 23 receives as input the mixed signal S or t and supplies, as output, two signals S'i, S ' 2 corresponding, at least in part, to the source signals of origin Si, S 2 .
  • the separation device 23 comprises a means 24 for extracting the sequences of bits.
  • the means 24 receives as input the signal S or t either having one or more dedicated digital segments comprising the sequences of bits, or having several digital streams, one of which comprises the signal resulting from the mixing of the source signals and one or more other dedicated digital streams. include the bit sequences, and outputs the bit sequences.
  • the determination of the sequences of bits can be done directly when it is inserted in one or more dedicated digital streams, or may require processing when it is inserted in one or more dedicated digital segments of the mixed signal S or t -
  • the sequences of bits determined by the extraction means 24 are then transmitted to a decompression means 17, in this case an image decompression means making it possible to obtain, at the output of the means 17, the spectro-temporal representations of the source signals.
  • the separation device 23 also comprises a transformation means 14 receiving as input the signal S or t, and outputting the time-frequency coefficients of said signal S or t-
  • the spectro-temporal representations of the source signals and the time-frequency coefficients of the signal S or t are then transmitted to a separation means 18 which comprises a processing means 21 and a inverse processing means 20.
  • the processing means 19, by application of Wiener filters for example, and the inverse transformation means 20 then make it possible to obtain the source signals S'i and S ' 2 substantially corresponding to the source signals of origin Si and S 2 .
  • FIG. 5 shows a flowchart representing the various steps of the process for forming a mixed signal according to the invention.
  • the method comprises a first step in which a characteristic quantity is determined. Then, during a step 26, the characteristic quantity is compressed to obtain a sequence of bits. Finally, in step 27, the sequence of bits corresponding to the compressed characteristic quantity is inserted into the initial mixed signal in order to obtain the final mixed signal.
  • FIG. 6 represents a flowchart of the different steps of an implementation mode of the insertion step 27 when this is done by tattooing.
  • the tattooing begins with a step 28 during which the initial mixed signal is decomposed into time-frequency coefficients.
  • the coefficients are then subjected to a first quantization during step 29, then a second quantization, during step 30, during which the sequence of bits corresponding to the characteristic quantity is inserted into the coefficients of the mixed signal.
  • time-frequency coefficients comprising the sequence of bits undergo an inverse time-frequency transformation, during a step 31 in order to obtain, at the output, the temporal representation of the mixed signal.
  • the method comprises a first step 32 during which the mixed signal is decomposed into time-frequency coefficients.
  • the time-frequency coefficients then undergo a quantization, during a step 33, making it possible to determine the tattooed sequence of bits. on the mixed signal.
  • the bit sequence is then decompressed in a step 34 so as to obtain an uncompressed character size.
  • the at least partial separation of a source signal is performed in step 35.
  • speech extraction and enhancement in communication systems may be envisioned. For example, it is possible to insert the speech signal at the transmitter (when it is produced in good conditions) before it is transmitted in a channel capable of degrading it (or to mix it with other signals), in order to be able to recover this speech signal, from its degraded or mixed form, at the receiver.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

L' invention concerne un procédé de formation d' un ou plusieurs signaux mixés numériques audio (Sout) à partir d' au moins deux signaux sources numériques audio (S1, S2), dans lequel le ou le s signaux mixés numériques audio sont formés par mixage des signaux sources numériques audio. Une grandeur caractéristique numérique d' au moins un signal source numérique audio est compressée en une suite de bits et ladite suite de bits est insérée dans ledit signal source numérique audio ou dans le ou les signaux mixés numériques audio de manière peu ou pas audible. La grandeur caractéristique numérique est la répartition temporelle, spectral e ou spectro-temporelle dudit signal source numérique audio ou la contribution temporelle, spectrale ou spectro-temporelle dudit signal source numérique audio dans le ou les signaux mixés, ou ledit signal source numérique audio. L' invention concerne également un procédé de séparation destiné à séparer, au moins partiellement, au moins un signal source numérique audio contenu dans un ou plusieurs signaux mixé s numériques audio obtenus précédemment. L' invention concerne aussi le signal mixé numérique audio ( Sout) correspondant, ainsi que les dispositifs correspondants.

Description

Procédé et dispositif de formation d' un signal mixé numérique audio, procédé et dispositif de séparation de signaux, et signal correspondant La présente invention concerne un procédé destiné à séparer au moins un des signaux sources composant un signal global numérique audio. L ' invention concerne également un procédé de formation d ' un signal global numérique audio permettant la séparation ultérieure d ' au moins un signal source le composant. Enfin, l ' invention concerne des di spositifs destinés à mettre en œuvre ces procédés.
Le mixage de signaux consiste à sommer plusieurs signaux, appelés signaux sources, pour obtenir un ou plusieurs signaux composites, appelés signaux mixés . Dans les applications audi o notamment, le mixage peut consi ster en une simple étape d ' addition des signaux sources ou peut également comprendre des étapes de filtrage des signaux avant et/ou après l ' addition. Par ailleurs, pour certaines applications telles que le compact-di sc audio, les signaux sources peuvent être mixés de manière différente pour former deux signaux mixés correspondant aux deux voies (gauche et droite) d ' un signal stéréo.
La séparation de sources consiste à estimer des signaux sources à partir de l ' ob servation d' un certain nombre de signaux mixés différents formés à partir de ces mêmes signaux sources. L ' obj ectif est généralement de rehausser, voire si possible d' extraire complètement un ou plusieurs signaux sources cibles. La séparation de sources est notamment difficile dans les cas dits « sous-déterminés » dans lesquel s on di spose d' un nombre de signaux mixés inférieur au nombre de s signaux sources présents dans les signaux mixés. L ' extraction est dans ce cas très difficile voire impossible en rai son de la faible quantité d' information di sponible dans ces signaux mixés par rapport à celle présente dans les signaux sources . Les signaux de musique sur compact-di sc audio en sont un exemple particulièrement représentatif car on ne di spose que de deux voies stéréo (c' est-à-dire deux signaux mixés gauche et droite), généralement très redondantes, pour un grand nombre potentiel de signaux sources. Il existe plusieurs types d'approches dans la séparation de signaux sources : parmi elles la séparation aveugle, l'analyse de scènes auditives computationnelle, et la séparation basée sur des modèles. La séparation aveugle est la forme la plus générale, dans laquelle aucune information sur les signaux sources ni sur la nature des signaux mixés n'est connue à priori. On fait alors un certain nombre d'hypothèses sur ces signaux sources et les signaux mixés (par exemple que les signaux sources sont statistiquement indépendants) et on estime les paramètres d'un système de séparation en maximisant un critère basé sur ces hypothèses (par exemple en maximisant l'indépendance des signaux obtenus par le dispositif de séparation). Cependant, cette méthode est utilisée généralement dans les cas où l'on dispose de nombreux signaux mixés (au moins autant que de signaux sources) et n'est donc pas applicable aux cas sous-déterminés dans lesquels le nombre de signaux mixés est inférieur au nombre de signaux sources.
L'analyse de scènes auditives computationnelle consiste en une modélisation des signaux sources en partiels harmoniques, mais le signal mixé n'est pas décomposé explicitement. Cette méthode se base sur les mécanismes du système auditif humain pour séparer les signaux sources de la même façon que le fait notre oreille. On peut notamment citer : D.P.W. Ellis, Using knowledge to organize sound: The prediction-driven approach to computational auditory scène analysis, and its application to speech/non- speech mixture (Speech Communication, 27(3), pp. 281-298, 1999), D. Godsmark et G.J.Brown, A blackboard architecture for computational auditory scène analysis (Speech Communication, 27(3), pp. 351-366, 1999), de même que T. Kinoshita, S. Sakai, et H. Tanaka, Musical sound source identification based on frequency component adaptation (In Proc. IJCAI Workshop on CASA, pp. 18-24, 1999). Cependant, l'analyse de scènes auditives computationnelle conduit généralement à de mauvais résultats sur la séparation de signaux sources, en particulier dans le cas de signaux audio.
Une autre forme de séparation repose sur une décomposition du mélange sur une base de fonctions adaptées. Il en existe deux grandes catégories : la décomposition parcimonieuse temporelle et la décomposition parcimonieuse en fréquence.
Pour la première il s'agit de décomposer la forme d'onde du mélange, et pour l'autre il s'agit de décomposer sa représentation spectrale, en une somme de fonctions élémentaires appelées « atomes » éléments d'un dictionnaire. Divers algorithmes permettent de choisir le type de dictionnaire et la décomposition correspondante la plus vraisemblable. Pour le domaine temporel, on peut citer notamment : L. Benaroya, Représentations parcimonieuses pour la séparation de sources avec un seul capteur (Proc. GRETSI, 2001), ou P.J. Wolfe et S.J. Godsill, A Gabor régression scheme for audio signal analysis (Proc. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, pp. 103-106, 2003). Dans la méthode proposée par Gribonval (R. Gribonval and E. Bacry, Harmonie Décomposition of Audio Signais With Matching Pursuit, IEEE Trans. Signal Proc, 51(1), pp. 101-112, 2003), on classe les atomes de décomposition en sous- espaces indépendants, ce qui permet d'extraire des groupes de partiels harmoniques. Une des restrictions de cette méthode est que des dictionnaires génériques d'atomes tels que les atomes de Gabor par exemple, non adaptés aux signaux, ne donnent pas de bons résultats. De plus, pour que ces décompositions soient efficaces, il faut que le dictionnaire contienne toutes les formes translatées des formes d'ondes de chaque type d'instrument. Les dictionnaires de décomposition doivent alors être extrêmement volumineux pour que la projection et donc la séparation soient efficaces.
Pour pallier à ce problème d'invariance par translation qui apparaît dans le cas temporel, il existe des approches de décomposition parcimonieuse en fréquence. On peut citer notamment M. A. Casey et A. Westner (Séparation of mixed audio sources by independent subspace analysis, Proc. Int. Computer Music Conf. , 2000) qui ont introduit l'analyse en sous-espaces indépendants (ISA). Cette analyse consiste à décomposer le spectre d'amplitude à court terme du signal mixé (calculé par transformée de Fourier à court terme (TFCT)) sur une base d'atomes, et ensuite à regrouper les atomes en sous-espaces indépendants, chaque sous-espace étant propre à une source, pour ensuite resynthéti ser les sources séparément. Cependant, cette approche est généralement limitée par plusieurs facteurs : la résolution de l ' analyse spectrale par TFCT, la superposition des sources dans ce domaine spectral, et l a restriction de la séparation spectrale à l ' amplitude (la phase des signaux resynthétisés étant celle du signal mixé) . Il est ainsi généralement difficile de représenter le signal mixé comme une somme de sous-espaces indépendants du fait de la complexité de la scène sonore dans le domaine spectral (imbrication forte des différentes composantes) et en rai son de l ' évolution, en fonction du temps, de la contribution de chaque composante dans le signal mixé. De fait, les méthodes sont souvent évaluées sur des signaux mixés « simplifiés » bien contrôlés (le s signaux sources sont des instruments MIDI ou sont des instruments relativement bien séparables, en nombre restreint).
On peut également citer également L . Benaroya, F . Bimbot et R. Gribonval Audio sources séparation with a single sensor (IEEE Trans . Audio, Speech, & Language Proc , 14( 1 ), 2006) qui utili sent des modèles statistiques des différentes sources. Cependant, les paramètres de ces modèles sont réglés à partir d' exemples de pi stes audio des différents instruments à séparer.
S .D . Teddy et E.Lai, Model-based approach to separating instrumental music from single track recordings (Int. Conf. Control, Automation, Robotics and Vi sion, Kunming, China, 2004) utili sent un réseau de neurones pour « apprendre » des caractéri stiques de divers instruments de musique. Il s extraient des caractéri stiques auditives du timbre du piano grâce à un modèle d' images auditives, pui s tentent de mettre en évidence ces caractéri stiques dans le mélange afin d' i soler le piano.
K. I. Molla et K. Hirose, Single-Mixture audio source séparation by subspace décomposition of Hilbert spectrum (IEEE Trans. Audio, Speech, & Language Proc , 1 5 (3 ), 2007) ont travaillé sur une séparation de sources par une décomposition du spectre de Hilbert du mélange en sous-espaces indépendants, la transformée de Hilbert fourni ssant de meilleurs résultats de di scrimination des différentes sources que la transformée de Fourier.
N. Cho, Y. Shiu et C . -C . J. Kuo, Audio source séparation with matching pursuit and content-adaptative dictionaries (IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2007) proposent une séparation par décomposition du mélange sur une base d' atomes de Gab or appri s pour un instrument parti culi er, et pour les différentes notes de cet instrument. Par technique de « matching pursuit », certains de ces atomes sont retenus pui s rassemblés en un sous-espace adapté à la note extraite.
Un autre type de décomposition consi ste à modéli ser l e spectrogramme de pui ssance de chaque source comme la somme de plusieurs formes spectrales non négatives. On peut citer: A. Ozerov and C . Févotte, Multichannel nonnegative matrix factorization in convolutive mixtures for audio source séparation (IEEE Trans . on Audio, Speech and Lang. Proc. Vol 1 8, no. 3 , mars 201 0) pour une présentation générale. Cette décomposition se fait par factorisation en matrices non négatives. Les principaux inconvénients d' une tell e décomposition sont que les spectrogrammes des sources doivent présenter une faible variabilité spectrale de manière à ce que la séparation soit efficace, ce qui est rarement le cas pour des signaux réel s. Pour le signal de voix par exemple, des phénomènes de vibrato provoquent constamment la violation de cette contrainte. D' autres sy stèmes tels J. -L . Durrieu, G. Richard, B . David and C . Févotte, Source/Filter Model for Main Melody Extraction From Polyphonie Audio Signais (IEEE Transactions on Audio, Speech and Language Processing, vol. 1 8 no 3 , Mars 2010) ont également été proposés .
Enfin, Y. -W. Liu, Sound source ségrégation assisted by audio watermarking (IEEE, Int. Conf. Multimedia and Expo. , pages 200-203 , 2007) propose de marquer les signaux sources avec une identification du signal source dont il s sont i ssus . En particulier, le marquage est réali sé de manière à séparer, dans le spectre fréquentiel du signal mixé, les fréquences i ssues de chaque signal source. Cependant, le nombre de sources pouvant ainsi être séparées est limité. De plus, il n' est pas envi sageable de marquer toutes les fréquences contenues dans un signal source : il peut y avoir alors superposition d ' une fréquence non-marquée d' un signal source avec une fréquence marquée de l ' autre signal source, provoquant ainsi des erreurs d' estimation se répercutant sur le résultat de la séparation.
Pour toutes ces études, les tests sont effectués sur des mélanges artificiel s peu réali stes et en conditions très contrôlées par rapport aux cas réel s auxquel s il s sont destinés à s' appliquer. Dans tous les cas, les tests ne sont général ement pas réali sés sur des signaux de plusieurs minutes. Par ailleurs, les méthodes présentées ci-dessus se concentrent sur le cas d' un seul mélange et ignorent le cas des mélanges stéréo.
D ' autre part, les méthodes de séparation basées sur des mélanges sous-déterminés présentent une efficacité limitée en rai son du manque d' informations di sponibles, autres que celles fournies par les signaux mixés eux-mêmes .
Un but de la présente invention est donc de proposer un procédé permettant de séparer un signal source compri s dans un ou plusieurs signaux mixés, de manière plus efficace. En particulier, un but de l ' invention est de proposer un procédé de séparation d' un signal source dans les cas dits « sous-déterminés » dans lesquels le nombre de signaux mixés est inférieur au nombre de signaux sources . Un but de l ' invention est de proposer un procédé permettant de séparer un signal source compri s dans un ou plusieurs signaux mixés, grâce à une information de taille réduite.
A cet effet, dans un mode de réali sation, il est proposé un procédé de formation d' un ou plusieurs signaux mixés numéri ques audio à partir d ' au moins deux signaux sources numériques audio, dans lequel le ou les signaux mixés numériques audio sont formés par mixage des signaux sources numériques audio . Une grandeur caractéri stique numérique d' au moins un signal source numéri que audio est compressée en une suite de bits, et ladite suite de bits est insérée dans ledit signal source numérique audio ou dans le ou les signaux mixés numériques audio, de manière peu ou pas audible. La grandeur caractéri stique numérique est la répartition temporelle, spectrale ou spectro-temporelle dudit signal source numérique audio ou la contribution temporelle, spectrale ou spectro-temporelle dudit signal source numérique audio dans le ou les signaux mixés, ou ledit signal source numérique audio .
II est également proposé un procédé de séparation destiné à séparer, au moins partiellement, au moins un signal source numérique audio contenu dans un ou plusieurs signaux mixés numériques audio obtenus précédemment. Selon le procédé, on extrait la suite de bits du ou des signaux mixés audio, pui s on transforme la suite de bits en une grandeur caractéri stique numérique décompressée de manière à obtenir, au moins partiellement, ledit signal source numérique audio, ou bien on extrait la suite de bits du ou des signaux mixés audio, on transforme la suite de bits en une grandeur caractéri stique numérique décompressée pui s on traite le ou les signaux mixés en fonction de ladite grandeur caractéri stique numérique décompressée de manière à obtenir, au moins partiellement, ledit signal source numérique audio . La transformation de la suite de bits en une grandeur caractéri stique numérique décompressée peut être une décompression audio ou une décompression d' image.
L ' association de procédés de compression, d' insertion et de séparation de sources permet une amélioration de l ' efficacité de séparation d' un signal source à partir d' un ou des signaux mixés, dans la mesure où il s' agit d' une séparation informée : on connaît, au moment de la séparation, des informations sur au moins un signal source avant mixage. En particulier, dans les cas dits « sous- déterminé », même avec un seul signal mixé, la séparation reste possible grâce aux informations relatives aux signaux sources eux- mêmes, qui sont insérées dans le signal mixé, et ceci même avec un nombre élevé de signaux sources .
La compression numérique, ou codage de source, consi ste à transformer une suite de bits représentant une grandeur numérique en une suite de bits plus courte, formant une grandeur compressée . La décompression (ou décodage) est l a transformation inverse permettant de retrouver (à l ' identique dans le cas sans perte, et avec une dégradation dans le cas avec pertes) la grandeur initiale décompressée à partir de la suite de bits réduite. La qualité de la compression, c' est- à-dire la fidélité de l a grandeur compressée pui s décompressée par rapport à la grandeur initiale, dépend notamment du type de compression et de la taille de la grandeur compressée. Ainsi, dans l a présente invention, la grandeur caractéri stique numérique d' au moins un signal source est compressée, c' est-à-dire est transformée en une suite de bits (en une grandeur caractéri sti que numérique compressée) comprenant moins de bits que la grandeur caractéri stique numérique initiale (non compressée) . En particulier, la suite de bits pourra présenter un nombre de bits deux foi s, préférentiellement cinq foi s, et encore plus préférentiellement dix foi s, inférieur au nombre de bits de la grandeur caractéri stique. En fonction de la taille di sponible pour insérer la grandeur caractéri stique numérique compressée dans le signal mixé et/ou de la qualité souhaitée pour la séparation de s signaux sources, la compression de la grandeur caractéristique pourra être réali sée par un algorithme sans perte ou par un algorithme avec perte . Dans ce dernier cas, différents réglages peuvent éventuellement permettre de contrôl er le compromi s entre la taille de l ' information compressée et la qualité de la fidélité de la grandeur caractéri stique numérique décompressée. La compression/décompressi on permet d' augmenter la qualité de la séparation des signaux sources, pour une même capacité d' insertion d' information dans le ou les signaux mixés. Il est alors possible d' obtenir des grandeurs compressées et des grandeurs décompressées de manière rapi de, avec des tailles contrôlables, en particulier petites, tout en conservant une séparation efficace.
La répartition temporelle, spectrale ou spectro-temporelle des signaux sources peut être en module ou en énergi e. De même, la contribution temporelle, spectrale ou spectro-temporelle des signaux sources dans le ou les signaux mixés peut être en pourcentage et représenter la contribution en énergie ou en module des signaux sources dans le ou les signaux mixés . Préférentiellement, ces grandeurs sont des valeurs réelles positives . Selon un mode de mi se en œuvre, la grandeur caractéristique numérique du signal source est ledit signal source numérique audio, et ledit signal source numérique audio est compressé par un moyen de compression audio .
Selon ce mode de mi se en œuvre, on utili se un signal source comme grandeur caractéristique . Le signal source peut alors être compressé par un algorithme apte à compresser une grandeur à une variable . En particulier, l ' étape de compression peut être mise en œuvre par un moyen de compression audio . La compression audio peut comprendre une transformation dans un plan temp s-fréquence, une quantification scalaire de la transformée (tenant compte éventuellement de la perception auditive du signal) et un codage entropique. La compression audio peut ainsi être choi sie parmi les algorithmes MP3 ou AAC .
Selon un autre mode de mi se en œuvre, la grandeur caractéri stique numérique du signal source numérique audio est la répartition spectro-temporelle du signal source ou la contribution spectro-temporelle dudit signal source audio dans le ou les signaux mixés, et ladite grandeur caractéri stique numérique est compressée par un moyen de compression d' image.
La répartition ou la contribution spectro-temporelle du signal source numérique audio est une information de type représentation temps-fréquence dudit signal source . Il s' agit ici d' une grandeur exprimée en module ou en énergie. Une telle représentation consi ste à représenter, en énergie ou en module de l ' amplitude (c ' est-à-dire la racine carrée de l ' énergie), le signal source en fonction de deux paramètres, le temps et la fréquence. Cela correspond à l ' évolution, en énergie ou en module, du contenu fréquentiel du signal source en fonction du temp s. On obtient ainsi, pour un instant donné et une fréquence donnée, une valeur positive réelle correspondant aux composantes du signal à cette fréquence et à cet instant. Des exemple s de formulations théoriques et de mi ses en œuvre pratiques de représentations temp s-fréquence sont déj à décrites (L . Cohen : Time- Frequency Distributions, a Review, Proceedings of the IEEE, vol. 77, N° 7, 1989 ; F. Hlawatsch, F. Auger : Temps-fréquence, concepts et outils, Hermès Science, Lavoisier 2005 ; P. Flandrin : Temps Fréquence , Hermès Science, 1998).
La répartition ou la contribution spectro-temporelle du signal source numérique audio fournissant des valeurs réelles positives en fonction du temps et de la fréquence, elle peut alors être compressée par un algorithme apte à compresser une grandeur à deux variables. En particulier, l'étape de compression peut être mise en œuvre par un moyen de compression d'image. En effet, la répartition ou la contribution spectro-temporelle du signal source numérique audio, constituée de valeurs réelles positives, peut être considérée comme une image, puis compressée en utilisant un algorithme de compression d'image, par exemple basé sur une quantification de coefficients de transformées en cosinus discrète ou en ondelette. La compression d'image consiste à représenter une information bidimensionnelle (les niveaux de gris ou les niveaux de couleurs des pixels d'une image) en une suite de bits présentant un nombre de bits plus petit que celui de la représentation de l'image initiale (sans compression). La compression d'image peut comprendre une transformation de l'information bidimensionnelle (par exemple : temps (en abscisse) - fréquence (en ordonnée)) vers un espace bidimensionnel en fréquence (par exemple : fréquence de l'information selon l'axe des abscisses et fréquence de l'information selon l'axe des ordonnées), une quantification scalaire des coefficients de l'espace bidimensionnel en fréquence (tenant compte éventuellement de la perception visuelle) et un codage entropique. La compression d'image peut ainsi être l'algorithme JPEG. La décompression (ou décodage) permet de retrouver la répartition ou la contribution spectro-temporelle du signal source numérique audio décompressée à partir de la suite de bits réduite. De nombreux algorithmes sont disponibles pour effectuer un tel traitement (J.
Woods : Multidimensional Signal, Image and Video Processing and Coding, Académie press 2006 ; R. Gonzales, R. Woods : Digital Image Processing, Prentice Hall, 2007). L'application d'algorithmes de compression d'image sur les valeurs bidimensionnelles de la répartition ou la contribution spectro-temporelle du signal source numérique audio peut éventuellement comprendre une renormali sation de ces valeurs dans une gamme usuellement utili sée pour la compression d' image. Lors de la décompression, la dénormali sation correspondante est alors éventuellement appliquée.
Selon un mode de réali sation, la répartition spectro-temporelle du signal source ou la contribution spectro-temporelle dudit signal source audio dans le ou les signaux mixés est transformée en échelle logarithmique avant d' être compressée par le moyen de compression audio ou d' image.
Ainsi, selon l ' invention, les algorithmes de compression d' image sont utili sés non pas pour des photographies ou des dessins, mai s sur des représentations temps-fréquence, en module ou en énergie, d' un signal audio. L' utilisation des techniques mi ses en œuvre pour l es images dans le domaine du traitement audio permet d' améliorer le traitement des signaux audio, tout en bénéficiant des performances des algorithmes de compression d' images .
La suite de bits résultant de la compression des grandeurs caractéri stiques des signaux sources audio peut être insérée par tatouage dans le ou les signaux sources avant mixage et/ou dans le ou les signaux mixés après mixage.
Le tatouage (en anglai s : « watermarking ») consi ste, en toute généralité, à insérer dans un signal numérique une information binaire .
On considère dans l a suite les techniques de tatouage audio . Le tatouage d' un signal exploite les défauts du système perceptif humain pour insérer dans un signal, en l ' occurrence un signal sonore, une information qui soit de préférence imperceptible, c' est-à-dire inaudible. Typiquement, les techniques employées sont de type étalement spectral (R. Garcia : Digital watermarking of audio signais using psychoacoustic auditory model and spread spectrum theory, 107th Convention of Audio Engineering Society (AES), 1999), (Cox, I. J. , Kilian, J. , Leighton, F . T . , Shamoon, T . : Secure spread spectrum watermarking for multimédia, IEEE Transactions on Image Processing, 6( 12), pp . 1 673 - 1687, 1997). Généralement, le tatouage audio est utilisé dans le cadre de la protection et du contrôle des droits d'auteur (« Digital Rights Management » en anglais) pour les œuvres sur support numérique, et plus généralement dans le cadre de la traçabilité d'informations sur ce type de support. On peut ainsi tatouer sur une chanson des informations permettant d'identifier l'auteur ou le propriétaire de la chanson. Dans ce cas, l'objectif est d'insérer de façon très robuste (c'est-à-dire résistante à de possibles manipulations plus ou moins licites du signal) une information de quantité relativement faible et étalée dans une large plage temps-fréquence du signal puis ajoutée à celui-ci, de sorte qu'il est très difficile de pouvoir l'isoler pour le supprimer.
Lorsqu'on connaît à l'émetteur (là où est formé le tatouage) le signal hôte, on peut parler de « tatouage informé » (« watermarking with side-information »). Le but est dans ce cas de choisir un tatouage optimal adapté au signal sur lequel il est inséré (I. J. Cox, M. L. Miller et A. L. McKellips, Watermarking as communications with side information, IEEE Proc, 87(7), pp. 1127-1141, 1999). Les contraintes à satisfaire sont d'obtenir un débit de transmission le plus élevé possible sans pour autant que le tatouage soit audible, et également d'assurer une fiabilité de transmission la meilleure possible (peu d'erreurs faites au cours de la transmission). Le tatouage pour la transmission de données est ainsi utilisé entre autre pour l'annotation de documents en vue par exemple d'une indexation dans une base de données (Ryuki Tachibana : Audio watermarking for live performance , SPIE Electronic Imaging : Security and Watermarking of Multimedia Content V, volume 5020, pp. 32-43, 2003), ou l'identification de documents dans le but d'établir des statistiques sur la diffusion de ce document par exemple (T. Nakamura, R. Tachibana & S. Kobayashi, Automatic music monitoring and boundary détection for broadcast using audio watermarking, SPIE Electronic Imaging : Security and Watermarking of Multimedia Content IV, vol 4675, pp. 170-180, 2002). Dans le cadre du tatouage pour la transmission de données, on peut citer également la technique de tatouage substitutif dans laquelle les caractéristiques du signal hôte sont remplacées par celles du tatouage. Des exemples de tatouages substitutifs sont décrits par Chen (B. Chen et C.-E. W. Sundberg : Digital audio broadcasting in the fm band by means of contiguous band insertion and precanceling techniques, IEEE Transactions on Communications, 48(10), pp. 1634- 1637, 2000), ou encore par Bourcet (P. Bourcet, D. Masse et B. Jahan : Système de diffusion de données, 1995. Brevet d'Invention 95 06727, Télédiffusion de France).
On peut utiliser, dans le cas présent, un schéma de tatouage inspiré des travaux de Chen et Wornell (B. Chen & G. Wornell, Quantization index modulation : a class of provably good methods for digital watermarking and information embedding . IEEE Trans. Information Theory, 47, pp. 1423-1443, 2001). Dans ces travaux, le tatouage est introduit par quantification. De manière simplifiée, le tatouage est porté par une modification des niveaux de quantification, dans une des représentations du signal hôte (représentation temporelle, spectrale ou spectro-temporelle). Les performances théoriques de cette technique s'approchent du modèle de Costa (M. Costa, Writing on dirty paper, IEEE Trans. Information Theory, 29, pp. 439-441, 1983) qui fixe la limite théorique de la capacité de transmission d'une chaîne de transmission si l'on connaît à priori le signal à l'émetteur.
Dans le cas présent, le tatouage est utilisé pour insérer une information compressée relative au signal lui-même, permettant la séparation des signaux sources à partir du signal mixé. L'information insérée porte ici sur les signaux sources eux-mêmes (par exemple leur répartition dans le temps, en fréquence, ou encore dans le plan temps- fréquence, ou bien le signal source lui-même), sur les signaux sources et le signal mixé (par exemple la contribution de chaque signal source dans le signal mixé). Il s'agit ainsi de grandeurs caractéristiques des signaux sources, c'est-à-dire de descripteurs caractéristiques des signaux sources au sens du traitement du signal, ces descripteurs devant permettre d'aider à la séparation des signaux. Il s'agit donc ici d'une information à la fois relativement volumineuse, avant compression, et éventuellement répartie de façon bien localisée et bien contrôlée dans le plan temps-fréquence. En revanche, le tatouage n'a pas besoin de présenter des propriétés particulières de robustesse, notamment par rapport à des manipulations illi cites que pourrait subir le signal . On peut considérer ainsi, comme méthodes de tatouage, les méthodes de type non-sécuritaire, c ' est-à-dire des méthodes peu robustes aux manipulations du signal mai s permettant de tatouer des informations en plus grande quantité.
La suite de bits (grandeur compressée) est tatouée dans le ou les signaux de manière à peu modifier le signal et de manière à ne pas modifier son format. En particulier, dans le cas de signaux audio, le signal tatoué reste compatible avec le ou les signaux non tatoués initiaux, par exemple si les deux versions tatouée et non tatouée du ou des signaux sont au format CD-audio, les deux versions peuvent être restituées par un lecteur classique de compact-di sc, et la valeur tatouée est insérée de manière à être peu ou pas audible. Il est alors possible de lire le ou les signaux tatoués selon des procédés déj à connus, même si la séparation de signaux n' est pas pri se en charge par ces procédés .
Selon un autre mode de mi se en œuvre, la suite de bits (grandeur compressée) peut être insérée dans un ou plusieurs segments numériques dédiés du ou des signaux mixés.
Dans ce cas, on utili se les segments fonctionnel s du ou des signaux mixés, c ' est-à-dire les segments transmettant des informations fonctionnelles et non l ' information en tant que signal (le ou les signaux résultant du mixage des signaux sources) . Les informations fonctionnelles renvoient aux caractéri stiques techniques du di spositif de formation et du dispositif de séparation, et pas uniquement à l ' information à transmettre en tant que signal .
Selon un autre mode de mi se en œuvre, la suite de bits (grandeur compressée) peut être insérée dans un ou plusieurs flux numériques dédiés du ou des signaux mixés . On considère dans ce cas que le ou les signaux mixés comprennent plusieurs flux numériques. Un ou plusieurs de ces flux numériques sont utili sés pour transmettre le ou les signaux résultant du mixage des signaux sources, et on peut utili ser un ou plusieurs des autres flux numériques pour transmettre les suites de bits . On peut ainsi obtenir un ou plusieurs flux de transmi ssion de l ' information en tant que signal (le ou les signaux résultant du mixage des signaux sources) et un ou plusieurs flux de transmi ssion des informations fonctionnelles (notamment les grandeurs caractéri stiques des signaux sources compressées) pour séparer un ou plusieurs signaux sources du ou des signaux mixés
Selon un autre aspect, il est proposé un di spositif de formation d' un ou plusieurs signaux mixés numériques audio à partir d' au moins deux signaux sources numériques audio, comprenant un moyen de mixage desdits signaux sources numériques audio pour former le ou les signaux mixés numériques audio . Le di spositif comprend également un moyen de compression apte à compresser une grandeur caractéri stique numérique d' au moins un signal source audio en une suite de bits, et un moyen d ' insertion de ladite suite de bits dans ledit signal source audio ou dans le ou les signaux mixés audio de manière peu ou pas audible. La grandeur caractéri stique numérique est la répartition temporelle, spectrale ou spectro-temporell e dudit signal source ou la contribution temporelle, spectrale ou spectro-temporelle dudit signal source dans le ou les signaux mixés, ou ledit signal source numérique audio .
Il est également proposé un di spositif de séparation destiné à séparer, au moins partiellement, au moins un signal source numérique contenu dans un ou plusieurs signaux mixés numériques audio sortant du di spositif précédent, comprenant un moyen d ' extraction de la suite de bits représentant la grandeur caractéri stique numérique compressée et un moyen de décompression de la suite de bits en une grandeur caractéri stique numérique décompressée apte à obtenir, au moins partiellement, ledit signal source numérique audio, ou un moyen de décompression de la suite de bits en une grandeur caractéri stique numérique décompressée et un moyen de traitement du ou des signaux mixés numériques audio en fonction de la grandeur caractéri stique numérique décompressée apte à obtenir, au moins partiellement, ledit signal source numérique audio. Le moyen de décompression peut être un moyen de décompression audio ou un moyen de décompression d' image.
Selon un mode de réali sation du di spositif de formation, l a grandeur caractéri stique numérique du signal source peut être ledit signal source numérique audio, et le moyen de compression peut être un moyen de compression audio .
Selon un autre mode de réali sation du di spositif de formation, la grandeur caractéri stique numérique du signal source numérique audio peut être la répartition énergétique spectro-temporelle dudit signal source numériques audio, ou la contribution énergétique spectro-temporell e dudit signal source numérique audio dans le ou les signaux mixés numériques audio, et le moyen de compression peut être un moyen de compression d' image.
Selon un mode de réali sation du di spositif de formation, le moyen d ' insertion est un moyen de tatouage monté en amont du moyen de mixage et est capable de tatouer la suite de bits sur l e ou les signaux sources .
Selon un autre mode de réali sation du di spositif de formation, le moyen d ' insertion est un moyen de tatouage monté en aval du moyen de mixage et est capable de tatouer la suite de bits sur le ou le s signaux mixés .
Le di spositif de formation peut également comprendre un moyen de quantification d' une représentation d' un signal, dans lequel le moyen de tatouage insère la suite de bits en utili sant des sur- niveaux de quantification de la représentation du signal . La représentation du signal peut être une représentation spectrale ou spectro-temporelle du signal.
En particulier, le moyen de quantification permet de déterminer l ' amplitude des modifications pouvant être introduites dans la représentation du signal, de manière à ce que ces modifications n' altèrent pas la qualité perçue du signal lorsque celui-ci est restitué par un di spositif de lecture classique ou par un di spositif de séparation selon l ' invention, et de mani ère à ce que ces modifications pui ssent être détectées par un di spositif de séparation selon l ' invention. Il est ainsi possible d ' obtenir un ou des signaux tatoués avec une suite de bits, tels que la qualité du contenu sonore représenté par ce ou ces signaux tatoués est peu ou pas dégradée par rapport à celle du contenu sonore représenté par le ou les signaux initiaux. La restitution du ou des signaux tatoués par un di spositif connu permettra d' obtenir une qualité du contenu sonore peu ou pas modifiée, alors que le traitement du signal tatoué par un di spositif selon l ' invention permettra de déterminer la suite de bits dans le signal .
Alternativement, le moyen d' insertion peut être capable d' insérer la suite de bits dans un ou plusieurs segments numériques dédiés du ou des signaux mixés ou dans un ou plusieurs flux numériques dédiés du ou des signaux mixés .
Selon un autre aspect, il est proposé un ou plusieurs signaux mixés numérique audio, obtenus par mixage d' au moins deux signaux sources numériques audio, comprenant une suite de bits peu ou pas audible correspondant à une grandeur caractéristique numérique d' au moins un signal source numérique audio, la grandeur caractéristique numérique étant la répartition temporelle, spectrale ou spectro- temporelle dudit signal source ou la contribution temporelle, spectrale ou spectro-temporelle dudit signal source dans le ou les signaux mixés, ou ledit signal source numérique audio . La suite de bits peu ou pas audible peut être obtenue par une compression audio ou d' image de la grandeur caractéri stique numérique d' au moins un signal source numérique audio .
II est également proposé un support d' information, notamment compact-di sc audio, comprenant le ou les signaux mixés numériques audio selon la revendication précédente.
L ' invention sera mieux compri se à l ' étude d'un mode de réali sation particulier, pri s à titre d' exemple nullement limitatif et illustré par les dessins annexés, sur lesquel s :
- la figure 1 représente schématiquement un premier mode de réali sation d' un di spositif de formation d' un signal mixé selon l ' invention ; - la figure 2 représente schématiquement un premier mode de réalisation d'un dispositif de séparation selon l'invention ;
-la figure 3 représente schématiquement un deuxième mode de réalisation d'un dispositif de formation d'un signal mixé selon l'invention ;
- la figure 4 représente schématiquement un deuxième mode de réalisation d'un dispositif de séparation selon l'invention ;
-la figure 5 est un organigramme d'un procédé de formation d'un signal mixé selon l'invention ;
- la figure 6 est un organigramme d'un procédé de tatouage, et
- la figure 7 est un organigramme d'un procédé de séparation selon l'invention.
Sur la figure 1, on a représenté schématiquement un premier mode de réalisation de dispositif de formation 1 d'un signal mixé. Le dispositif de formation 1 reçoit en entrée les signaux sources Si et S2, et délivre un signal mixé S0ut- On a limité ici, à des fins de simplification, le nombre de signaux sources à deux et le nombre de signaux mixés à un. Cependant, on comprendra que le nombre de signaux sources peut être beaucoup plus élevé, et que le nombre de signaux mixés est en général de deux. Par ailleurs, on considère dans la suite de la description, que les signaux sont des signaux audio. Le dispositif de formation 1 a pour but de délivrer un signal mixé Sout formé à partir des signaux sources Si, S2 et comprenant une suite de bits correspondant à la compression d'une grandeur caractéristique d'au moins un des signaux sources. On considère dans la suite de la description que le signal mixé Sout comprend les suites de bits correspondant à la compression des grandeurs caractéristiques des deux signaux sources Si et S2.
Le dispositif comprend un moyen de mixage 2. Le moyen de mixage reçoit également en entrée les signaux sources Si et S2, et délivre en sortie un signal mixé initial Smix résultant d'une combinaison des signaux sources. En particulier, le mixage peut consister en une simple sommation. Il peut aussi s'agir d'une sommation dont les coefficients affectés à chaque signal source varient dans le temps, ou bien encore d'une sommation associée à un ou plusieurs filtres.
Le dispositif de formation 1 comprend un moyen 3 de détermination d'une grandeur caractéristique de signal. Le moyen 3 de détermination reçoit en entrée les signaux sources pour lesquels on souhaite déterminer la valeur de la grandeur caractéristique, dans le cas présent les deux signaux Si et S2.
On choisit, dans la suite de la description, un moyen de détermination 3 capable de déterminer, comme grandeur caractéristique, la répartition spectro-temporelle de l'énergie du signal considéré. Le moyen de détermination 3 comprend ainsi un moyen de transformation 4 du signal source, de manière à obtenir la représentation du signal source dans un plan temps-fréquence. La transformation en temps-fréquence du signal peut être effectuée par une transformée de Fourier discrète à court terme (TFDCT). Le signal source est alors représenté par l'ensemble des coefficients de cette TFDCT, passés en module carré pour obtenir une représentation en énergie. On obtient alors une représentation du signal source sous la forme d'une matrice comprenant des nombres réels positifs. C'est cette représentation temps-fréquence qui va être compressée pour obtenir une suite de bits correspondant à la compression de la grandeur caractéristique du signal source. Par ailleurs, le moyen de détermination 3 peut également comprendre un moyen de détection 5 permettant de traiter la matrice obtenue, c'est-à-dire permettant d'appliquer un traitement actif sur la matrice obtenue, par exemple une segmentation ou un filtre.
Le moyen de détection 5 peut par exemple, pour chaque signal source Si, S2, ne considérer que les coefficients de la représentation temps-fréquence matricielle correspondant à un certain intervalle de temps et à un certain intervalle de fréquences. On obtient ainsi une matrice ne contenant que les coefficients considérés comme pertinents par le moyen de détection 5 pour caractériser chaque signal source. On élimine ainsi les coefficients considérés comme non-pertinents et qui augmentent inutilement la quantité d'informations à transmettre au di spositif de séparation, par exemple les coefficients correspondant aux fréquences non-audibles par l ' oreille humaine, ou les coefficients correspondant à des intervalles temporel s où le signal source correspondant est à valeurs nulles (c' est-à-dire les portions de silence du signal source) .
Plus généralement, le moyen de détection 5 peut par exempl e, pour chaque signal source S i , S2, considérer les coefficients de la représentation temp s-fréquence matrici elle en groupes de coefficients adj acents appelés, ci-après, sous-blocs . Les sous-blocs sont des matrices représentatives d' une partie uniquement de la représentation spectro-temporell e globale, par exemple des parties où les coefficient s sont non-nul s, et éventuellement des parties ou les coefficients sont nul s. La représentation spectro-temporelle est alors partagée en sous- blocs qui pourront être alors compressés conj ointement ou bien séparément de manière plus efficace (notamment avec des réglages individuali sés du moyen de compression) .
On obtient ainsi, en sortie du moyen de détermination 3 , une grandeur caractéristique du signal source S i , et une grandeur caractéri stique du signal source S2, qui sont transmi ses alors à un moyen de compression 6.
Le moyen de compression 6 permet de compresser la ou les matrices obtenues par le moyen de détermination 3 . En particulier, le moyen de compression 6 permet d' obtenir une suite de bit s correspondant à la grandeur caractéristique de chaque signal source, qui peut être leur représentation spectro-temporelle globale ou des sous-blocs de leur représentation spectro-temporelle. Le moyen de compression 6 reçoit ces représentations et les compresse par un algorithme de compression destiné aux signaux à deux variables, par exemple un algorithme de compression d' image.
Les suites de bits vont être insérées dans un premier temps sur le signal mixé initial Smix pour former le signal mixé Sout, puis vont être utili sées dans un deuxième temps pour séparer les signaux sources S i , S2 du signal mixé Sout - Alternativement, la grandeur caractéri stique d' un signal source peut être ledit signal source audio lui-même. Dans ce cas, il n' y a pas le moyen de transformation 4 et le moyen de détection 5 peut permettre par exemple de détecter et segmenter les portions temporelles où le signal source est non nul et doit être compressé . Le moyen de compression 6 reçoit l e ou les signaux sources audio éventuellement segmentés par le moyen de détection 5 , et les compresse par un algorithme de compression destiné aux signaux à une variable, par exemple audio, de manière à obtenir une suite de bits correspondant à la compression du ou des signaux sources audio.
Le di spositif de formation 1 comprend également un moyen d' insertion 7. Le moyen d' insertion 7 reçoit en entrée le signal mixé Smix et les suites de bits correspondant à la compression des grandeurs caractéri stiques des signaux sources S i , S2.
Le moyen d' insertion 7 peut être un moyen de tatouage capabl e de tatouer les suites de bits sur l e signal mixé. Afin d' améliorer le tatouage et la récupération des suites de bits, le moyen de tatouage peut comprendre un moyen de transformation 8 permettant de décomposer le signal mixé initial S mix selon une représentation temps- fréquence qui peut être la même que celle utili sée pour décomposer les signaux sources S i et S2 (une TFDCT) ou bien qui peut être une autre représentation temps-fréquence plus adaptée à la tâche de tatouage (par exemple une transformée en cosinus di screts modifiée (MDCT)) .
Le signal mixé initial décomposé est alors transmi s à un premier moyen de quantification 9. Le premier moyen de quantification 9 permet de quantifier les coefficients de la représentation temps-fréquence matricielle du signal initial mixé, avec une premi ère résolution (c' est-à-dire un intervalle minimum entre deux valeurs de quantification) choi sie de manière à restituer le signal avec la qualité voulue. L ' intervalle minimum est choi si en fonction de la perception de la quantification. Dans le cas de signaux audio, si l ' écart minimum entre deux valeurs de quantification est trop grand, le signal mixé quantifié sera perçu différemment par l ' oreille humaine que le signal mixé initial. Par contre, si l ' écart minimum entre deux valeurs est suffi samment petit, l ' oreill e humaine ne pourra pas di stinguer de différence entre le signal mixé quantifié et le signal mixé initial .
En revanche, comme le tatouage va être inséré au sein des intervalles de première quantification, ces intervalles doivent être également choi si s suffi samment larges pour pouvoir y insérer le plu s d' informations tatouées .
Le moyen de tatouage 7 comprend alors un deuxième moyen de quantification 10 qui reçoit les coeffi cients temps-fréquence quantifié s du signal mixé et les suites de bits . Le deuxième moyen de quantification 1 0 permet de quantifier les coefficients de l a représentation matricielle du signal mixé avec une deuxième résolution supérieure à la première résolution. La deuxième résolution permet de subdivi ser l ' intervalle minimum de la première quantification, avec un deuxième intervalle minimum, c ' est-à-dire qu' elle permet d' introduire entre les niveaux de première quantification des niveaux de quantification supplémentaires (sur-niveaux) .
Le principe du tatouage consiste à quantifier les coefficients temps-fréquence du signal mixé sur les sur-niveaux du deuxième moyen de quantification 10 en fonction des valeurs des suites de bits. Le tatouage des suites de bits peut comprendre leur segmentation en segments aptes à être associés aux sur-niveaux, et la quantification des coefficients temp s-fréquence du signal mixé par lesdits segments . La répartition et l ' ordonnancement du tatouage des différents segments à tatouer sur les différents coefficients temps-fréquence du signal mixé peut être définie arbitrairement.
Comme le tatouage est codé par les sur-niveaux de la deuxième quantification du moyen 10, l ' intervalle entre ces sur-niveaux doit être choisi suffi samment petit pour pouvoir tatouer le plus d' informations possible. Cependant, si cet intervalle est trop petit, la valeur tatouée lors de la deuxième quantification ne pourra pas être détectée correctement. La valeur de l ' intervalle doit assurer un compromi s entre détection et capacité d ' insertion d' information.
Enfin, le moyen de tatouage 7 comprend un moyen de transformation inverse 1 1 . Le moyen de transformation inverse 1 1 effectue la transformation inverse de celle effectuée par le moyen de transformation 8. Il peut s'agir d'une transformation par TFDCT inverse (ITFDCT) ou par MDCT inverse (IMDCT) ou autre selon le type de transformation choisie au moyen 8. On obtient alors une représentation temporelle du signal mixé tatoué, qui constitue le signal mixé S0ut- On obtient donc en sortie du dispositif de formation 1 un signal mixé de sortie Sout avec la même représentation temporelle que le signal mixé initial Smix, mais comprenant un tatouage peu ou pas audible et détectable pour la séparation de source. Le signal mixé Sout peut ensuite être transmis ou appliqué sur un support d'enregistrement. Dans le cas par exemple d'un compact-disc, le signal mixé Sout subit d'abord une quantification scalaire uniforme sur 16 bits (qui correspond au format CD audio), puis est appliqué sur compact-disc. La quantification scalaire uniforme sur 16 bits est un exemple de traitement limitant la détection de la deuxième quantification effectuée par le moyen de tatouage.
On obtient ainsi, en sortie du dispositif de formation 1, un signal mixé Sout obtenu par mixage d'au moins deux signaux sources, et comprenant une suite de bits correspondant à la compression d'une grandeur caractéristique d'au moins un des signaux sources. Le signal mixé Sout présentant la même représentation temporelle que le signal mixé initial Smix, et les suites de bits étant insérées de manière à être peu ou pas audibles, un dispositif classique pourra traiter le signal mixé Sout comme n'importe quel signal mixé, tandis qu'un dispositif de séparation selon l'invention, tel que décrit plus bas, pourra, en complément, séparer au moins partiellement un des signaux sources du signal mixé Sout-
Sur la figure 2, on a représenté schématiquement un premier mode de réalisation de dispositif de séparation d'un signal source contenu dans un signal mixé Sout tel que défini au paragraphe précédent. Le dispositif de séparation 12 reçoit en entrée le signal mixé Sout, et délivre, dans le cas présent, deux signaux sources séparés au moins partiellement S'i et S'2. Le dispositif de séparation 12 a pour but de délivrer, au moins partiellement, un ou plusieurs signaux sources contenus dans un signal mixé Sout qui comprend une valeur compressée d'une grandeur caractéristique.
Le dispositif de séparation 12 comprend un moyen 13 de détermination des suites de bits représentant les grandeurs caractéristiques des signaux à séparer. Le moyen 13 reçoit en entrée le signal mixé Sout et délivre en sortie les suites de bits correspondant à la compression des grandeurs caractéristiques. Dans le cas présent, le moyen 13 délivre la ou les matrices de représentation temps-fréquence des signaux sources à séparer compressées ou le ou les signaux sources audio à séparer compressés.
Le moyen 13 de détermination comprend un moyen de transformation 14 analogue au moyen 8 décrit à la figure 1. Le moyen de transformation 14 permet de décomposer le signal mixé Sout en matrice de coefficients temps-fréquence (par exemple TFDCT ou MDCT).
Les coefficients temps-fréquence du signal mixé sont ensuite transmis à un moyen de quantification 15 analogue au moyen 10 décrit à la figure 1. Le moyen de quantification 15 permet de quantifier les coefficients du signal Sout avec les mêmes quantificateurs que ceux utilisés au moyen 10, et de retrouver les segments des suites de bits par lecture des sur-niveaux de quantification. Ces segments sont ensuite assemblés par un moyen de concaténation 16 pour retrouver les suites de bits représentant les grandeurs caractéristiques des signaux sources compressés.
Les suites de bits sont alors transmises à un moyen de décompression 17 capable de décompresser ces suites de bits de manière à obtenir des grandeurs caractéristiques des signaux sources décompressées sensiblement égales aux grandeurs caractéristiques des signaux sources initiales.
Le dispositif de séparation 12 comprend aussi un moyen de traitement 18 recevant les grandeurs caractéristiques décompressées issues du moyen de décompression 17, ainsi que les coefficients temps-fréquence du signal mixé déterminés par le moyen 13. On considère dans la suite de la description que les grandeurs caractéri stiques sont les représentations spectro-temporelles des signaux sources en énergie.
Le moyen de traitement 1 8 comprend un premier moyen de séparation 19 capable de séparer, au moins partiellement, les signaux sources du signal mixé. En particulier, les valeurs des grandeurs caractéri stiques décompressées sont utili sées en combinaison avec les valeurs des coefficients temp s-fréquence du signal mixé pour effectuer la séparation des signaux sources . Dans la mesure où les grandeurs caractéri stiques ont été déterminées à partir d' une représentation temps-fréquence des signaux sources, il va être possible de retrouver les coefficients temp s-fréquence des signaux sources à partir des grandeurs caractéristiques des signaux sources et des coefficient s temps-fréquence du signal mixé, et donc d' opérer une séparation de s signaux sources . En particulier, si les grandeurs caractéri stiques sont les représentations spectro-temporelles des sources en énergie, il est possible de construire pour chaque signal source à séparer un filtre, de type filtre de Wiener, défini, pour chaque point du plan temp s- fréquence considéré, par le rapport de la représentation spectro- temporelle en énergie de la source à séparer avec la représentation spectro-temporelle en énergie du signal mixé . Ce filtre, une foi s appliqué sur les coefficients temps-fréquence du signal mixé, permet d' estimer les coefficients temps-fréquence correspondant du signal source.
Le filtrage de Wiener permet d' obtenir une estimation d ' un signal mélangé (dans le cas présent un signal source) à d' autres signaux interférants (dans le cas présent, les autres signaux sources), au sens du critère des moindres carrés (minimi sation de l ' écart quadratique moyen entre échantillons du signal mixé et échantillons du signal séparé souhaité). Les filtres de Wiener sont déj à décrits (N.
Wiener : Extrapolation, Interpolation, and smoothing of Stationary Time Séries : With Engineering applications, The MIT Press, 1950 ; A. Papouli s : Signal Analysis, McGraw-Hill Companies, 1977; L. Benaroya, F. Bimbot, R. Gribonval: Audio source séparation with a single sensor, Speech and Language processing, Vol.14, N°l, 2006).
Le procédé de séparation mis en œuvre dans le moyen de séparation 19 peut être appliqué globalement sur l'ensemble du plan temps-fréquence, ou à l'échelle des sous-blocs définis dans le moyen de détection 5. En particulier, la séparation peut n'être appliquée que sur les sous-blocs pour lesquels les coefficients de la représentation spectro-temporelle en énergie du signal à séparer sont non nuls ou non négligeables.
Les coefficients temps-fréquence des signaux sources séparés par le moyen 19 de séparation sont ensuite transmis à un moyen de transformation inverse 20 analogue au moyen 11 décrit sur la figure 1. Le moyen 20 permet de transformer les coefficients temps-fréquence des signaux sources séparés en signaux temporels S'i et S'2 correspondant, au moins partiellement, aux signaux sources Si, S2.
Alternativement, lorsque la suite de bits correspond aux signaux sources compressés par un algorithme audio, les grandeurs caractéristiques décompressées fournissent alors des signaux temporels S'i et S'2 correspondant, au moins partiellement, aux signaux sources Si, S2. Les signaux temporels S'i et S'2 sont donc obtenus en sortie du moyen de décompression 17. Le dispositif de séparation 12 ne comprend alors pas de moyen 18 de traitement, mais uniquement un moyen transformation inverse analogue au moyen de transformation 20, recevant en entrée les coefficients temps-fréquence du signal mixé déterminés par le moyen 13, et délivrant le signal temporel du signal mixé.
Alternativement, lorsque la suite de bits correspond uniquement au signal source S2 compressé par un algorithme audio, le dispositif de séparation 12 peut comprendre le moyen de traitement 18 avec un moyen de séparation 19 monté en aval du moyen de transformation inverse 20. Le moyen de séparation 19 reçoit le signal temporel du signal mixé issu du moyen 20 ainsi que le signal temporel S'2 correspondant, au moins partiellement, au signal source S2 issu du moyen de décompression 17. Le moyen de séparation 19 fournit alors, en sortie, le signal temporel S'i correspondant, au moins partiellement, au signal source Si par soustraction du signal S'2 au signal mixé.
Sur la figure 3, on a représenté un deuxième mode de réalisation d'un dispositif de formation 21 selon l'invention. Dans ce mode de réalisation, les éléments identiques à ceux du premier mode de réalisation sont identifiés avec les mêmes références. Le dispositif de formation 21 reçoit en entrée au moins deux signaux sources Si, S2 et fournit, en sortie, un signal mixé Sout- Le dispositif 21 comprend un moyen de mixage 2 recevant les deux signaux sources Si, S2, et fournissant un signal mixé initial Smix.
Le dispositif 21 comprend également un moyen de détermination 3 recevant en entrée les signaux sources Si et S2, et fournissant en sortie les répartitions ou contributions spectro- temporelles des signaux sources. Les répartitions ou contributions spectro-temporelles des signaux sources sont alors transmises à un moyen de compression 6 apte à les transformer en des suites de bits.
Le dispositif 21 comprend enfin un moyen d'insertion 22 capable d'insérer les suites de bits déterminées par le moyen de compression 6 dans le signal mixé initial Smix fourni par le moyen de mixage 2, de manière à obtenir le signal mixé Sout- En particulier, le moyen d'insertion 22 peut insérer les suites de bits dans un ou plusieurs segments numériques dédiés du signal mixé Sout, ou dans un ou plusieurs flux numériques dédiés de transmission du signal mixé
On obtient ainsi, en sortie du dispositif de formation 21, un signal mixé Sout obtenus par mixage d'au moins deux signaux sources, et comprenant une suite de bits correspondant aux représentations spectro-temporelles compressées des signaux sources. En particulier, contrairement à un signal multipistes où l'information transmise sur chaque piste permet d'obtenir un signal audio, les suites de bits sont ici déterminées de manière à présenter une taille petite, et ne permettent d'obtenir un signal source qu'après décompression et combinaison avec le signal mixé, par exemple par application de filtres de Wiener sur le signal mixé. Les suites de bits transmises dans les segments numériques dédiés ou dans un flux numérique dédié ne sont pas suffisantes, à elles-seules, pour retrouver un signal source correspondant sensiblement au signal source d'origine, et sont donc considérées comme peu ou pas audibles.
Sur la figure 4, on a représenté un deuxième mode de réalisation d'un dispositif de séparation 23 selon l'invention. Dans ce mode de réalisation, les éléments identiques à ceux du premier mode de réalisation sont identifiés avec les mêmes références. Le dispositif de séparation 23 reçoit en entrée le signal mixé Sout et fournit, en sortie, deux signaux S'i, S'2 correspondant, au moins en partie, aux signaux sources d'origine Si, S2.
Le dispositif de séparation 23 comprend un moyen d'extraction 24 des suites de bits. Le moyen 24 reçoit en entrée le signal Sout soit présentant un ou des segments numériques dédiés comprenant les suites de bits, soit présentant plusieurs flux numérique dont un comprend le signal résultant du mixage des signaux sources et dont un ou plusieurs autres flux numériques dédiés comprennent les suites de bits, et fournit en sortie les suites de bits. La détermination des suites de bits peut se faire de manière directe lorsque celle-ci est insérée dans un ou plusieurs flux numériques dédiés, ou peut nécessiter un traitement lorsque celle-ci est insérée dans un ou des segments numériques dédiés du signal mixé Sout-
Les suites de bits déterminées par le moyen d'extraction 24 sont alors transmises à un moyen de décompression 17, dans le cas présent un moyen de décompression d'image permettant d'obtenir, en sortie du moyen 17, les représentations spectro-temporelles des signaux sources.
Le dispositif de séparation 23 comprend également un moyen de transformation 14 recevant en entrée le signal Sout, et fournissant en sortie les coefficients temps-fréquence dudit signal Sout-
Les représentations spectro-temporelles des signaux sources et les coefficients temps-fréquence du signal Sout sont alors transmis à un moyen de séparation 18 qui comprend un moyen de traitement 21 et un moyen de transformation inverse 20. Le moyen de traitement 19, par application de filtres de Wiener par exemple, et le moyen de transformation inverse 20 permettent alors d'obtenir les signaux sources S'i et S'2 correspondant sensiblement aux signaux sources d'origine Si et S2.
Sur la figure 5, on a représenté un organigramme représentant les différentes étapes du procédé de formation d'un signal mixé selon Γ invention.
Le procédé comprend une première étape 25 au cours de laquelle une grandeur caractéristique est déterminée. Puis, au cours d'une étape 26, on effectue la compression de la grandeur caractéristique pour obtenir une suite de bits. Enfin, à l'étape 27, la suite de bits correspondant à la grandeur caractéristique compressée est insérée dans le signal mixé initial afin d'obtenir le signal mixé final.
La figure 6 représente un organigramme des différentes étapes d'un mode de mise en œuvre de l'étape d'insertion 27 lorsque celle-ci est réalisée par tatouage.
Le tatouage commence par une étape 28 au cours de laquelle le signal mixé initial est décomposé en coefficients temps-fréquence. Les coefficients sont alors soumis à une première quantification lors de l'étape 29, puis une deuxième quantification, lors de l'étape 30, au cours de laquelle la suite de bits correspondant à la grandeur caractéristique est insérée dans les coefficients du signal mixé.
Enfin, les coefficients temps-fréquence comprenant la suite de bits subissent une transformation temps-fréquence inverse, lors d'une étape 31 afin d'obtenir, en sortie, la représentation temporelle du signal mixé.
Sur la figure 7, on a représenté un organigramme représentant les différentes étapes du procédé de séparation selon l'invention.
Le procédé comprend une première étape 32 au cours de laquelle le signal mixé est décomposé en coefficients temps-fréquence. Les coefficients temps-fréquence subissent alors une quantification, lors d'une étape 33, permettant de déterminer la suite de bits tatouée sur le signal mixé. La suite de bits est ensuite décompressée dans une étape 34 de manière à obtenir une grandeur caractéri stique décompressée. Enfin, à partir de la grandeur caractéri stique décompressée déterminée à l ' étape 34, la séparation, au moins partielle, d' un signal source est effectuée à l ' étape 35.
Dans le cas de signaux audio, il est ainsi possible d' effectuer en sortie du système de séparation de l ' invention un certain nombre de contrôles maj eurs en écoute audio (volume, tonalité, effets) de façon indépendante sur les différents éléments de la scène sonore (instruments et voix obtenus par le di spositif de séparation) . De plus, un des avantages important de la technique proposée est d' être tout à fait compatible avec les formats usuel s de la musique numérique, notamment le format stéréo non compressé PCM tel qu' utili sé pour les CD-audio : un CD de musique tatouée avec le procédé proposé peut- être utili sé tel quel sur n' importe quel lecteur conventionnel (sans bénéficier des fonctionnalités de séparation) sans aucune distinction avec un CD classique grâce à un tatouage inaudible ou quasi-inaudible . Alternativement, il faut bien sûr un lecteur spécifique intégrant le procédé de séparation selon l ' invention pour pouvoir effectuer les contrôles en écoute audio .
D ' autres applications concernant l ' extraction et le rehaussement de la parole dans des systèmes de communication peuvent être envi sagées. On peut par exemple insérer le signal de parole au niveau de l ' émetteur (lorsqu ' il est produit dans de bonnes conditions) avant sa transmi ssion dans un canal pouvant le dégrader (ou le mélanger à d' autres signaux), pour pouvoir récupérer ce signal de parole, à partir de sa forme dégradée ou mélangée, au niveau du récepteur.

Claims

REVENDICATIONS
1. Procédé de formation d'un ou plusieurs signaux mixés numériques audio (Sout) à partir d'au moins deux signaux sources numériques audio (Si, S2), dans lequel le ou les signaux mixés numériques audio sont formés par mixage des signaux sources numériques audio, caractérisé en ce qu'une grandeur caractéristique numérique d'au moins un signal source numérique audio est compressée en une suite de bits, et ladite suite de bits est insérée dans ledit signal source numérique audio ou dans le ou les signaux mixés numériques audio, de manière peu ou pas audible, la grandeur caractéristique numérique étant la répartition temporelle, spectrale ou spectro-temporelle dudit signal source numérique audio ou la contribution temporelle, spectrale ou spectro-temporelle dudit signal source numérique audio dans le ou les signaux mixés numériques audio, ou ledit signal source numérique audio.
2. Procédé de formation selon la revendication 1, dans lequel la grandeur caractéristique numérique du signal source est ledit signal source numérique audio (Si, S2), et dans lequel ledit signal source numérique audio est compressé par un moyen de compression audio.
3. Procédé de formation selon la revendication 1, dans lequel la grandeur caractéristique numérique du signal source numérique audio est la répartition énergétique spectro-temporelle dudit signal source numériques audio (Si, S2), ou la contribution énergétique spectro- temporelle dudit signal source numérique audio (Si, S2) dans le ou les signaux mixés numériques audio (Sout), et dans lequel ladite grandeur caractéristique numérique est compressée par un moyen de compression d'image.
4. Procédé de formation selon l'une des revendications 1 à 3, dans lequel la suite de bits est insérée par tatouage dans ledit signal source (Si, S2) avant mixage et/ou dans le ou les signaux mixés (Sout) après mixage.
5. Procédé de formation selon la revendication 1 ou 3, dans lequel la suite de bits est insérée dans un ou plusieurs segments numériques dédiés du ou des signaux mixés (Sout) ou dans un ou plusieurs flux numériques dédiés du ou des signaux mixés (Sout)-
6. Procédé de séparation destiné à séparer, au moins partiellement, au moins un signal source numérique audio contenu dans un ou plusieurs signaux mixés numériques audio (Sout) obtenus selon l'une des revendications 1 à 5, dans lequel on extrait la suite de bits du ou des signaux mixés audio (Sout) et on transforme la suite de bits en une grandeur caractéristique numérique décompressée de manière à obtenir, au moins partiellement, ledit signal source numérique audio (S'i, S'2) ou on transforme la suite de bits en une grandeur caractéristique numérique décompressée puis on traite le ou les signaux mixés en fonction de ladite grandeur caractéristique numérique décompressée de manière à obtenir, au moins partiellement, ledit signal source numérique audio (S'i, S'2).
7. Dispositif de formation d'un ou plusieurs signaux mixés numériques audio à partir d'au moins deux signaux sources numériques audio, comprenant un moyen de mixage (2) desdits signaux sources numériques audio pour former le ou les signaux mixés numériques audio, caractérisé en ce que le dispositif comprend également un moyen de compression (6) apte à compresser une grandeur caractéristique numérique d'au moins un signal source audio en une suite de bits, et un moyen d'insertion (10) de ladite suite de bits dans ledit signal source audio ou dans le ou les signaux mixés audio de manière peu ou pas audible, la grandeur caractéristique numérique étant la répartition temporelle, spectrale ou spectro-temporelle dudit signal source ou la contribution temporelle, spectrale ou spectro- temporelle dudit signal source dans le ou les signaux mixés, ou ledit signal source numérique audio.
8. Dispositif de formation selon la revendication 7, dans lequel la grandeur caractéristique numérique du signal source est ledit signal source numérique audio, et dans lequel le moyen de compression (6) est un moyen de compression audio.
9. Dispositif de formation selon la revendication 7, dans lequel la grandeur caractéristique numérique du signal source numérique audio est la répartition énergétique spectro-temporelle dudit signal source numériques audio, ou la contribution énergétique spectro- temporelle dudit signal source numérique audio dans le ou les signaux mixés numériques audio, et dans lequel le moyen de compression (6) est un moyen de compression d'image.
10. Dispositif de formation selon l'une des revendications 7 à 9, dans lequel le moyen d'insertion (10) est capable de tatouer la suite de bits dans ledit signal source avant mixage et/ou dans le ou les signaux mixés après mixage.
11. Dispositif de formation selon la revendication 7 ou 9, dans lequel le moyen d'insertion (22) est capable d'insérer la suite de bits dans un ou plusieurs segments numériques dédiés du ou des signaux mixés ou dans un ou plusieurs flux numériques dédiés du ou des signaux mixés.
12. Dispositif de séparation destiné à séparer, au moins partiellement, au moins un signal source numérique contenu dans un ou plusieurs signaux mixés numériques audio sortant du dispositif selon la revendication 7 à 11, comprenant un moyen d'extraction de la suite de bits et un moyen de décompression (17) de la suite de bits en une grandeur caractéristique numérique décompressée apte à obtenir, au moins partiellement, ledit signal source numérique audio (S'i, S'2), ou un moyen de décompression (17) de la suite de bits en une grandeur caractéristique numérique décompressée et un moyen de traitement (19) du ou des signaux mixés numériques audio en fonction de la grandeur caractéristique numérique décompressée apte à obtenir, au moins partiellement, ledit signal source numérique audio (S'i, S'2).
13. Signal mixé numérique audio (Sout), obtenu par mixage d'au moins deux signaux sources numériques audio, comprenant une suite de bits, insérée de façon peu ou pas audible, correspondant à une grandeur caractéristique numérique d'au moins un signal source numérique audio, la grandeur caractéristique numérique étant la répartition temporelle, spectrale ou spectro-temporelle dudit signal source ou la contribution temporelle, spectrale ou spectro-temporelle dudit signal source dans le ou les signaux mixés, ou ledit signal source numérique audio .
14. Support d' information, notamment compact-disc audio, comprenant le signal mixé numérique audio (Sout) selon la revendication précédente.
EP11767267.5A 2010-10-13 2011-10-11 Procédé et dispositif de formation d'un signal mixé numérique audio, procédé et dispositif de séparation de signaux, et signal correspondant. Ceased EP2628154A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1058348A FR2966277B1 (fr) 2010-10-13 2010-10-13 Procede et dispositif de formation d'un signal mixe numerique audio, procede et dispositif de separation de signaux, et signal correspondant
PCT/EP2011/067730 WO2012049176A1 (fr) 2010-10-13 2011-10-11 Procédé et dispositif de formation d'un signal mixé numérique audio, procédé et dispositif de séparation de signaux, et signal correspondant.

Publications (1)

Publication Number Publication Date
EP2628154A1 true EP2628154A1 (fr) 2013-08-21

Family

ID=44022054

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11767267.5A Ceased EP2628154A1 (fr) 2010-10-13 2011-10-11 Procédé et dispositif de formation d'un signal mixé numérique audio, procédé et dispositif de séparation de signaux, et signal correspondant.

Country Status (4)

Country Link
US (1) US20140037110A1 (fr)
EP (1) EP2628154A1 (fr)
FR (1) FR2966277B1 (fr)
WO (1) WO2012049176A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9812150B2 (en) * 2013-08-28 2017-11-07 Accusonus, Inc. Methods and systems for improved signal decomposition
US20150264505A1 (en) 2014-03-13 2015-09-17 Accusonus S.A. Wireless exchange of data between devices in live events
US10468036B2 (en) 2014-04-30 2019-11-05 Accusonus, Inc. Methods and systems for processing and mixing signals using signal decomposition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US20080008323A1 (en) * 2006-07-07 2008-01-10 Johannes Hilpert Concept for Combining Multiple Parametrically Coded Audio Sources
US20090055196A1 (en) * 2005-05-26 2009-02-26 Lg Electronics Method of Encoding and Decoding an Audio Signal

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002039714A2 (fr) * 2000-11-08 2002-05-16 Digimarc Corporation Authentification et recuperation de contenu a l'aide de filigranes numeriques
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
WO2008039045A1 (fr) * 2006-09-29 2008-04-03 Lg Electronics Inc., Procédé permettant de traiter des signaux de mixage et procédé correspondant
KR101444102B1 (ko) * 2008-02-20 2014-09-26 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US20090055196A1 (en) * 2005-05-26 2009-02-26 Lg Electronics Method of Encoding and Decoding an Audio Signal
US20080008323A1 (en) * 2006-07-07 2008-01-10 Johannes Hilpert Concept for Combining Multiple Parametrically Coded Audio Sources

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BREEBAART JEROEN ET AL: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", AES CONVENTION 124; MAY 2008, AES, 60 EAST 42ND STREET, ROOM 2520 NEW YORK 10165-2520, USA, 1 May 2008 (2008-05-01), XP040508593 *
MATHIEU PARVAIX ET AL: "An audio watermarking method based on molecular matching pursuit", ACOUSTICS, SPEECH AND SIGNAL PROCESSING, 2008. ICASSP 2008. IEEE INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 31 March 2008 (2008-03-31), pages 1721 - 1724, XP031250903, ISBN: 978-1-4244-1483-3 *
See also references of WO2012049176A1 *
YI-WEN LIU ED - ANONYMOUS: "Sound Source Segregation Assisted by Audio Watermarking", MULTIMEDIA AND EXPO, 2007 IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 July 2007 (2007-07-01), pages 200 - 203, XP031123596, ISBN: 978-1-4244-1016-3 *

Also Published As

Publication number Publication date
WO2012049176A1 (fr) 2012-04-19
FR2966277A1 (fr) 2012-04-20
US20140037110A1 (en) 2014-02-06
FR2966277B1 (fr) 2017-03-31

Similar Documents

Publication Publication Date Title
Biswas et al. Audio codec enhancement with generative adversarial networks
TWI480855B (zh) 聲音訊號之特徵指紋擷取與匹配
Al-Haj et al. DWT-based audio watermarking.
Liu et al. Detection of double MP3 compression
CN1636240A (zh) 利用音频内容标识来销售产品的系统
FR2785426A1 (fr) Procede et dispositif d'insertion et de detection d'une marque dans des donnees numeriques
EP2417597A1 (fr) Procede et dispositif de formation d'un signal mixe, procede et dispositif de separation de signaux, et signal correspondant
Umapathy et al. Audio signal processing using time-frequency approaches: coding, classification, fingerprinting, and watermarking
Hu et al. FFT-based dual-mode blind watermarking for hiding binary logos and color images in audio
Wang et al. A new audio watermarking based on modified discrete cosine transform of MPEG/audio layer III
EP2628154A1 (fr) Procédé et dispositif de formation d'un signal mixé numérique audio, procédé et dispositif de séparation de signaux, et signal correspondant.
Wang et al. EMD and psychoacoustic model based watermarking for audio
Kumsawat A genetic algorithm optimization technique for multiwavelet-based digital audio watermarking
Yan et al. Compression history detection for MP3 audio.
Sheikhan et al. Improvement of embedding capacity and quality of DWT-based audio steganography systems
Cao et al. Bit replacement audio watermarking using stereo signals
WO2013053631A1 (fr) Procédé et dispositif pour séparer des signaux par filtrage spatial itératif
Xu et al. Robust and efficient content-based digital audio watermarking
Wei et al. Controlling bitrate steganography on AAC audio
Kirbiz et al. Decode-time forensic watermarking of AAC bitstreams
Xu et al. Content-based digital watermarking for compressed audio
EP2901447B1 (fr) Procédé et dispositif pour séparer des signaux par filtrage spatial à variance minimum sous contrainte linéaire
Quiñonez-Carbajal et al. Speech signal authentication and self-recovery based on DTWT and ADPCM
Guerchi et al. Narrowband speech hiding using vector quantization
Cichowski et al. Low-level music feature vectors embedded as watermarks

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130527

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20141223

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20151202