EP1280138A1 - Method for audio signals analysis - Google Patents
Method for audio signals analysis Download PDFInfo
- Publication number
- EP1280138A1 EP1280138A1 EP01117957A EP01117957A EP1280138A1 EP 1280138 A1 EP1280138 A1 EP 1280138A1 EP 01117957 A EP01117957 A EP 01117957A EP 01117957 A EP01117957 A EP 01117957A EP 1280138 A1 EP1280138 A1 EP 1280138A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- frequency
- pel
- events
- currents
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000005236 sound signal Effects 0.000 title claims abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000033764 rhythmic process Effects 0.000 claims abstract description 12
- 230000001427 coherent effect Effects 0.000 claims abstract description 10
- 230000005284 excitation Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000023886 lateral inhibition Effects 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000002592 echocardiography Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 238000009527 percussion Methods 0.000 claims description 2
- 230000000638 stimulation Effects 0.000 abstract description 4
- 238000000844 transformation Methods 0.000 abstract description 4
- 239000011295 pitch Substances 0.000 description 30
- 210000004556 brain Anatomy 0.000 description 8
- 230000008447 perception Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000478 neocortex Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000023321 rhythmic excitation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Definitions
- the invention relates to a method for analyzing audio signals. Analogous to the way the human brain works, the present method examines the audio signals for frequency and time coherence. By extracting these coherences, data streams of the signals can be separated.
- the human brain reduces data streams that are supplied by the cochlea, the retina or other sensors. Acoustic information, for example, is reduced to less than 0.1 percent on the way to the neocortex.
- Neural networks try to maximize signal entropy. This process is extremely complicated and can hardly be described analytically, and can actually only be modeled through learning networks.
- the object of the invention is therefore to provide a method with which acoustic data streams (audio signals) can be analyzed and decomposed with little computation effort so that the separated signals can on the one hand be very well compressed or otherwise processed, but on the other hand as small as possible Have loss of information.
- a short-term spectrum of a signal a (t) is a two-dimensional representation S (f, t) in phase space with the coordinates f (frequency) and t (time).
- Filters are defined by their effect in the frequency domain.
- e i arg ( H ( f )) : G ( f ) e I ⁇ ( f )
- the frequency-dependent real quantities g (f) and ⁇ ( f ) are referred to as the amplitude and phase response.
- Phase space Parts of the phase space that have the same type of coherence and are connected are summarized in streams and events .
- Currents relate to frequency coherence, events to temporal coherence.
- An example of a current is a unison melody line of an instrument that is not interrupted.
- An event can be a drum beat, but also the consonants in a vocal line.
- the method according to the invention is based on the coherence analysis of audio signals.
- a distinction is made between two coherent situations in the signals: firstly, temporal coherence in the form of simultaneity and rhythm, and secondly, coherence in the frequency domain, which is represented by overtone spectra and leads to the perception of a certain pitch. This reduces the complex audio data to rhythm and tonality, which significantly reduces the need for control data.
- the separated streams can be excellently compressed due to their low entropy.
- a compression rate of over 1: 100 can be achieved without losses being audible.
- a possible compression process is described after the separation process.
- the short-term spectra are advantageously generated by means of short-term Fourier transformation, wavelet transformation or by means of a hybrid method from wavelet transformation and Fourier transformation.
- the window function significantly influences the bandwidth of the individual filters, which has a constant value regardless of f .
- the frequency resolution is therefore the same across the entire frequency axis.
- the generation of a short-term spectrum by means of Fourier transform offers the advantage that fast algorithms (FFT, fast Fourier transform) are known for the discrete Fourier transform.
- the frequency axis is divided logarithmically homogeneously, so that log ( f ) is usefully considered as a new frequency axis.
- the wavelet transformation is equivalent to a bank of filters with , Because of its logarithmic division, this transformation has the great advantage of simulating the frequency resolution of the human ear.
- Fast wavelet transformations are based on the evaluation of a general WT on a dyadic phase space grating.
- a dyadic WT is first performed by recursively halving the frequency spectrum with complementary high and low pass filters.
- a signal a ( n ⁇ t ), n ⁇ is required for implementation , on a discrete time grid, as it is present in the computer after digitization.
- H and T which correspond to the two filters.
- the signal rate In order to apply the method recursively, the signal rate must be halved, which the operator D ⁇ achieves by removing all odd n .
- ⁇ inserts a zero after each discrete signal value to double the signal rate.
- the high computing speed is due to the recursive evaluation of the band B m over B m -1 .
- the scaling of the frequency axis is logarithmic.
- each band signal B m ( n ) can be subdivided further linearly with a discrete Fourier transformation.
- the individual Fourier spectra must be mirrored in their frequency axis, because the operator D ⁇ to ⁇ flips the upper part of the spectrum down.
- the result is a piecewise linear approximation of a logarithmically resolved spectrum.
- the resolution can reach very high values.
- the pitch is defined by the frequency perceived by the brain of a tonal event as being in accordance with a sine wave offered for comparison, its frequency f .
- the pitch scale is advantageously logarithmized to the frequency resolution to do justice to human hearing. Such a scale can be mapped linearly on musical note numbers.
- PEL polyphonic
- neural networks come into question.
- neural networks with a feedback element and detection inertia of the ART (Adaptive Resonance Theory) type can be used.
- One such model for expectation-driven current separation is in a simple form in Pitch-based Streaming in Auditory Perception, Stephen Grossberg, in: Musical Networks - Parallel Distributed Perception and Performance, Niall Griffith, Peter M. Todd (Editors), 1999 MIT Press, Cambridge , have been described.
- the second figure consists of different parts. First, the correlation of L ( t, f ) with an ideal overtone spectrum is calculated. Then spectral echoes of a tone are suppressed in the PEL, which correspond to the position of possible overtones.
- This lateral inhibition can be calculated after L ( t, f ), after correlation or after
- Echo cancellation can be performed.
- a non-linear mapping can be used, based on nature.
- a first matrix H carries out the lateral inhibition; the contrast of the spectrum is increased in order to provide an optimal starting basis for the following correlation matrix K.
- the correlation matrix is a matrix that contains all possible overtone positions and thus produces a correspondingly large output at the point with maximum agreement of the overtone spectrum.
- lateral inhibition is performed again.
- the spectral echoes of a tone in the PEL are suppressed, which correspond to the position of possible overtones.
- lateral inhibition is carried out again.
- the matrices can have the following shape.
- the size of the correlation matrix K i j corresponds to the length of the discrete spectrum and is designated N.
- the entries can have the form where the ⁇ j are chosen so that If the short-term spectra were determined using pure Fourier or wavelet transformations, a, b are to be selected according to the spectral section to be analyzed, P is the number of overtones to be correlated.
- the constants used result from the position of the interesting data in the spectrum and can be chosen relatively freely.
- the number of overtones should be between about 5 and 20, since this corresponds to the number of overtones that actually occur.
- the constant p is determined empirically. It compensates for the width of the spectral bands.
- the correlation matrix can be constructed piece by piece.
- the spectral echoes which correspond to the position of possible overtones, can be measured with the matrix U i j can be suppressed: with ⁇ 0 l the Kronecker symbol; the ⁇ j are chosen so that
- the matrix H i j can be used for lateral inhibition choose, whereby the constants s > 0 and ⁇ 1 > ⁇ 2 are to be determined empirically; the ⁇ j are chosen so that
- the spectral vector must be free of mean values for the above matrices to work correctly.
- the pitch spectrum generated in this way shows clear characteristics for all tonal events occurring in the audio signal.
- a large number of such pitch spectra can be generated at the same time, all of which inhibit one another, so that a different coherence current is manifested in each spectrum. If you assign each of these Pitch spectra to a copy of his frequency spectrum, you can even generate an expectation-controlled excitation in the pitch spectrum via a feedback in these.
- Such an ART stream network is ideally suited to model properties of human perception.
- transients Sudden changes on the timeline of the short-term spectrum, so-called transients, are the basis for rhythmic sensations and represent the most striking temporal coherence within a short time window.
- rhythmic excitation should react to events with strong temporal coherence with low frequency resolution and relatively high time resolution. It is advisable to recalculate a second spectrum with a lower frequency resolution for this purpose.
- the frequency components are averaged in order to obtain a better signal / noise ratio.
- the matrix R i j the shape for frequency noise suppression
- the constants a, b are to be selected according to the spectral section to be analyzed as above, in order to be able to compare the PEL with the REL.
- the constant ⁇ controls the frequency smear and thus the noise suppression.
- the amount of RL provides information about the occurrence and frequency range of transients.
- a filter structure is used to separate the stream from the rest of the data from the audio stream.
- a filter with a variable center frequency is advantageously used for this. It is particularly advantageous if the pitch information from the PEL level is converted into a frequency trajectory and thus the center frequency of the bandpass filter is controlled. A signal of low bandwidth is thus generated for each overtone, which can then be processed by adding to the total current, but can also be described by means of an amplitude envelope for each overtone and pitch curve.
- phase shift can be introduced through the filter. In this case it is necessary perform a phase adjustment after the extraction. This is advantageously achieved by multiplying the extracted signal by a complex value envelope of the amount 1.
- the envelope is used to achieve phase compensation by means of optimization, for example by minimizing the quadratic error.
- the pitch information is known from the PEL, so that a corresponding sinusoid can be synthesized which, apart from the missing amplitude information and a certain phase deviation, exactly describes the partial tone of the current.
- the sinusoid S ( t ) can have the following form: where f ( t ) denotes the frequency response from the PEL and n the number of the harmonic component.
- This envelope must now both adjust the amplitude and compensate for the phase shift.
- the original signal can be used as a reference to measure and minimize the error of the adjustment. It is sufficient to reduce the error locally and work through the entire envelope step by step.
- the required frequency weighting B ( f, t ) for the entire overtone structure can be calculated at any time from the known frequency curve f ( t ). From the known frequency responses h n ( f ), the coefficients can be calculated from which the current S ( t ) can be extracted: with B n ( t ) the complex frequency response of the nth filter. In this case, S ( t ) represents the complete extracted current and has no phase shift, since this has already been corrected by the complex coefficients.
- the above formula applies only for approximately orthogonal h n ( f ), in the general case a correction element must be added.
- the REL events are poorly localized in the frequency domain, but are rather sharply defined in the period.
- the extraction strategy should be chosen accordingly.
- a rough frequency evaluation takes place, which is derived from the event blur in the REL. Since no particular precision is required here, it is advantageous to use FFT filters, analysis filter banks or similar tools for the evaluation, but where there should be no dispersion in the pass band.
- the next step accordingly requires a period evaluation.
- the event is advantageously separated by multiplication with a window function.
- the choice of window function must be determined empirically and can also be done adaptively. This allows the extracted event to go through be preserved; the signal a ( t ) is weighted with H ( f ) and cut out with W ( t ).
- the residual signal (residuals) of the audio stream no longer contains any parts that have coherences that can be recognized by the ear, only the frequency distribution is still perceived. It is therefore advantageous to statistically model these parts. Two methods prove to be particularly advantageous for this.
- a frequency analysis of the residual signal provides the mixing ratio; the synthesis then consists of a time-dependent weighted addition of the bands.
- the signal is described by its statistical moments.
- the development over time of these moments is recorded and can be used for resynthesis.
- the individual statistical moments are at certain time intervals calculated.
- the interval windows overlap by 50% in the analysis and are then added with a triangular window evaluated in the resynthesis in order to compensate for the overlap.
- the distribution function of the random sequence can be calculated from the moments and then an equivalent sequence can be generated again.
- the number of moments analyzed should be significantly smaller than the length K of the sequence. Exact values are revealed through listening experiments.
- the method described above can advantageously be used for compressing audio data.
- a method according to the invention is provided with the steps according to claim 20.
- the streams and events separated by the extraction have low entropy and can therefore advantageously be compressed very efficiently. It is advantageous to first transform the signals into a representation suitable for compression.
- an adaptive differential coding of the PEL currents can take place. From the extraction of the currents, a frequency trajectory is obtained for each stream and an amplitude envelope for each harmonic component present.
- a double differential scheme is advantageously used to effectively store this data.
- the data are sampled at regular intervals. A sampling rate of approximately 20 Hz is preferably used.
- the frequency trajectory is logarithmized to do justice to the tonal resolution of the hearing and quantized on this logarithmic scale. In a preferred embodiment, the resolution is approximately 1/100 halftone.
- the value of the start frequency and then only the differences from the previous value are advantageously stored explicitly.
- a dynamic bit adaptation can be used, which generates practically no data at stable frequency positions, such as long tones.
- the envelopes can be coded similarly.
- the amplitude information is interpreted logarithmically in order to achieve a higher adapted resolution.
- the events extracted from the REL layer have little temporal coherence due to their temporal location. It is therefore advantageous to use a time-localized coding and to save the events in their period representation.
- the events are often very similar to one another. It is therefore advantageous to determine a set of base vectors (transients) by analyzing typical audio data, in which the events can be described by a few coefficients. These coefficients can be quantized and then provide an efficient representation of the data.
- the basis vectors are preferably determined using neural networks, in particular vector quantization networks, as are known, for example, from Neural Networks, Rüdiger Brause, 1995 BG Teubner Stuttgart.
- the residuals can be modeled, as described above, by a time series of moments or by amplitude profiles of band noise. A low sampling rate is sufficient for this type of data. Analogous to the coding of the PEL streams, differential coding with adaptive bit depth adjustment can also be used here, with which the residuals contribute only minimally to the data stream.
- the signals separated according to the above procedure are also very suitable for manipulating the time base (time stretching), the key (pitch shifting) or the formant structure, whereby formant is to be understood as the range of the sound spectrum in which sound energy is concentrated regardless of the pitch.
- the synthesis parameters have to be changed in a suitable manner during the resynthesis of the audio data.
- methods are provided according to the invention with the steps according to claims 25-28.
- the PEL streams are advantageously adapted to a new time base by adapting the time markings of their envelope points or their trajectory points from the PEL in accordance with the new time base. All other parameters can remain unchanged.
- the logarithmic frequency trajectory is shifted along the frequency axis.
- a frequency envelope is interpolated from the overtone amplitudes of the PEL currents. This interpolation can preferably be done by averaging over time. This gives a spectrum whose frequency envelope gives the formant structure. This frequency envelope can be shifted independently of the base frequency.
- the events of the REL layer remain invariant when the key and formant structure change. If the time base is changed, the time of the events is adjusted accordingly.
- the global residuals remain invariant when the key changes. If the time base is manipulated, the synthesis window length can be adapted in the case of moment encoding. If the residuals are modeled with noise bands, the envelope base points for the noise bands can be adjusted accordingly if the time base is manipulated.
- the noise band display is preferably used for formant correction. In this case, the band frequency can be adjusted in accordance with the formant shift.
- a method according to the invention is provided with the steps according to claim 29.
- the PEL currents are first grouped according to their overtone characteristics.
- the group criterion is provided by a trainable vector quantizer that learns from given examples.
- a group generated in this way can then be converted into a notation by the frequency trajectories.
- the pitches can be quantized, for example, in the twelve-tone system and with properties such as vibrato, legato or the like. be provided.
- Claim 30 provides, according to the invention, a method with which track separation of audio signals can be carried out in an advantageous manner.
- the PEL currents are grouped according to their overtone characteristics and then synthesized separately. To do this, however, certain correlations between REL events, PEL currents and residuals must be recognized, since these are to be combined into a resynthesized track corresponding to the instrument. This relationship can only be determined deterministically to a limited extent; it is therefore preferred to use neural networks as mentioned above for this pattern recognition.
- the relative position and type i.e. to compare the internal structure, the currents and events.
- the inner structure of the melody line for example, means features such as intervals and long-lasting tones.
- the method according to the invention for analyzing audio data can advantageously be used to identify a singing voice in an audio signal.
- a method according to the invention is provided with the steps according to claim 33.
- To identify the singer of a piece of music one advantageously characterizes his voice via the formant structure.
- the typical formant layer can be interpolated from the PEL streams.
- the method according to the invention for analyzing audio signals can also be used for the restoration of old or technically poor audio data.
- Typical problems of such recordings are noise, crackling, hum, poor mixing ratios, missing highs or basses.
- To suppress noise one identifies (usually manually) the undesired components in the residual level, which are then deleted without falsifying the other data. Crackling is eliminated in an analog way from the REL level and hum from the PEL level.
- the mixing ratios can be edited by track separation, treble and bass can be re-synthesized with the PEL, REL and residual information.
- FIG. 1 shows a short-term spectrum of a constant Q filter bank, which corresponds to a wavelet transformation. Fourier transforms offer an alternative; FIG. 2 shows a short-term Fourier spectrum that was generated using a fast Fourier transformation.
- the contrast of the spectrum with lateral inhibition is increased to excite the pitch layer. Then a correlation with an ideal overtone spectrum takes place. The resulting spectrum is again laterally inhibited. Subsequently, the pitch layer is freed from weak echoes of the overtones with a decision matrix and laterally inhibited again.
- This mapping can be chosen linearly.
- FIG. 3 contains a possible mapping matrix from the Fourier spectrum from FIG. 2 to the PEL.
- frequency noise suppression can be carried out first and then a time correlation can be carried out. If this excitation is carried out for FIG. 2, an excitation in the REL as in FIG. 5 can be obtained.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren zur Analyse von Audiosignalen. Analog zur Funktionsweise des menschlichen Gehirns werden in dem vorliegenden Verfahren die Audiosignale auf Frequenz- und Zeitkohärenz untersucht. Durch Extraktion dieser Kohärenzen lassen sich Datenströme der Signale separieren.The invention relates to a method for analyzing audio signals. Analogous to the way the human brain works, the present method examines the audio signals for frequency and time coherence. By extracting these coherences, data streams of the signals can be separated.
Das menschliche Gehirn reduziert Datenströmen, die von der Cochlea, der Retina oder anderen Sensoren geliefert werden. Akustische Information wird zum Beispiel auf dem Weg zum Neocortex auf weniger als 0.1 Prozent reduziert.The human brain reduces data streams that are supplied by the cochlea, the retina or other sensors. Acoustic information, for example, is reduced to less than 0.1 percent on the way to the neocortex.
Eine Datenreduktion in Analogie zum menschlichen Gehirn bietet daher zwei Vorteile. Einerseits kann man eine starke Komprimierung erhalten, andererseits geht bei der Reduzierung der Datenströme nur Information verloren, die im Gehirn sowieso entfernt worden wäre und somit unhörbar ist.Data reduction in analogy to the human brain therefore offers two advantages. On the one hand, you can get a strong compression, on the other hand, when data streams are reduced, only information that would have been removed in the brain and is therefore inaudible is lost.
Psychoakustische Modelle versuchen die Phänomene dieser Reduktion zu imitieren, vgl. Auditory Perception - A New Analysis and Synthesis, Richard M. Warren, 1999 Cambridge University Press, liefern aber prinzipbedingt im direkten Vergleich nur sehr schlechte Resultate.Psychoacoustic models try to imitate the phenomena of this reduction, cf. Auditory Perception - A New Analysis and Synthesis, Richard M. Warren, 1999 Cambridge University Press, but due to the principle, in principle make very poor results in direct comparison.
Die Art der Datenreduktion läßt sich mit Hilfe der Informationstheorie erklären. Neuronale Netzwerke versuchen die Signalentropie zu maximieren. Dieser Prozeß ist äußerst kompliziert und kaum analytisch beschreibbar, und kann eigentlich nur durch lernende Netze modelliert werden.The type of data reduction can be explained with the help of information theory. Neural networks try to maximize signal entropy. This process is extremely complicated and can hardly be described analytically, and can actually only be modeled through learning networks.
Ein wesentlicher Nachteil dieses bekannten Verfahren besteht in der sehr langsamen Konvergenz, so daß es selbst auf modernen Rechnern nicht zufriedenstellend realisiert werden kann.A major disadvantage of this known method is the very slow convergence, so that it cannot be implemented satisfactorily even on modern computers.
Aufgabe der Erfindung ist es daher, ein Verfahren zur Verfügung zu stellen, mit dem akustische Datenströme (Audiosignale) mit geringem Rechenaufwand so analysiert und zerlegt werden können, daß die separierten Signale einerseits sehr gut komprimiert oder anderweitig weiterverarbeitet werden können, andererseits aber einen möglichst geringen Informationsverlust aufweisen.The object of the invention is therefore to provide a method with which acoustic data streams (audio signals) can be analyzed and decomposed with little computation effort so that the separated signals can on the one hand be very well compressed or otherwise processed, but on the other hand as small as possible Have loss of information.
Gelöst wird diese Aufgabe durch ein Verfahren zur Analyse von Audiosignalen gemäß Anspruch 1.This object is achieved by a method for analyzing audio signals according to claim 1.
In der Beschreibung der Erfindung werden folgende Begriffe verwendet.The following terms are used in the description of the invention.
Ein Kurzzeitspektrum eines Signals a(t) ist eine zweidimensionale Darstellung S(f,t) im Phasenraum mit den Koordinaten f (Frequenz) und t (Zeit).A short-term spectrum of a signal a (t) is a two-dimensional representation S (f, t) in phase space with the coordinates f (frequency) and t (time).
Die verwendete Definition von Kohärenz bezieht sich auf charakteristische Eigenschaften der Autokorrelationsfunktion A s von Kurzzeitspektren S :
Filter werden durch ihre Wirkung im Frequenzraum definiert. Der Filteroperator F̂ wirkt auf die Fouriertransformierte als frequenzabhängige komplexwertige Bewertung h(f), die man als Frequenzantwort bezeichnet:
Die frequenzabhängigen reellen Grössen g(f) und φ(f) werden als Amplituden- bzw. Phasenantwort bezeichnet.The frequency-dependent real quantities g (f) and φ ( f ) are referred to as the amplitude and phase response.
Anwendung der inversen Fouriertransformation auf die Operatordefinition zeigt, daß der Filter im Ortsraum als Faltung mit F̂ -1[h(f)] wirkt. Diese Faltung läßt sich als Skalarprodukt mit translationssymmetrischen Vektoren V(t) beschreiben. Ein Satz von Filtern mit verschiedenen h n (f) liefert damit ein Kurzzeitspektrum nach der obigen Definition. Im Falle von Bandpaßfiltern, bei denen h(f) bis auf ein endliches Intervall praktisch verschwindet, kann eine Bank von Filtern zur Darstellung von Kurzzeit-Fourierspektren oder Waveletspektren verwendet werden. Im ersten Fall entstehen die unterschiedlichen h n (f) durch Verschiebung eines vorgebenen h(f), im zweiten Fall durch Skalierung der Frequenzachse. Bei Fourierspektren haben die h n (f) eine konstante Bandbreite, bei Waveletspektren dagegen konstante Güte (constant Q).Applying the inverse Fourier transform to the operator definition shows that the filter acts as a convolution in space with F̂ -1 [ h ( f )]. This convolution can be described as a scalar product with translationally symmetric vectors V ( t ). A set of filters with different h n ( f ) thus provides a short-term spectrum according to the definition above. In the case of bandpass filters in which h ( f ) practically disappears to a finite interval, a bank of filters can be used to display short-term Fourier spectra or wavelet spectra. In the first case, the different h n ( f ) arise by shifting a predetermined h ( f ), in the second case by scaling the frequency axis. With Fourier spectra, the h n ( f ) have a constant bandwidth, whereas with Wavelet spectra, they have constant quality (constant Q).
In Strömen und Ereignissen werden Teile des Phasenraumes zusammengefaßt, die die gleiche Art von Kohärenz aufweisen und zusammenhängend sind. Ströme beziehen sich dabei auf Frequenzkohärenz, Ereignisse auf zeitliche Kohärenz. Ein Beispiel für einen Strom ist also eine einstimmige Melodielinie eines Instruments, die nicht unterbrochen ist. Ein Ereignis kann dagegen ein Trommelschlag sein, aber auch die Konsonanten in einer Gesangslinie.Parts of the phase space that have the same type of coherence and are connected are summarized in streams and events . Currents relate to frequency coherence, events to temporal coherence. An example of a current is a unison melody line of an instrument that is not interrupted. An event can be a drum beat, but also the consonants in a vocal line.
Das erfindungsgemäße Verfahren beruht auf der Kohärenzanalyse von Audiosignalen. Wie im menschlichen Gehirn werden dabei zwei kohärente Situationen in den Signalen unterschieden: zum einen zeitliche Kohärenz in Form von Gleichzeitigkeit und Rhythmik und zum anderen Kohärenz im Frequenzraum, die sich durch Obertonspektren darstellt und zur Wahrnehmung einer bestimmten Tonhöhe führt. Damit wird eine Reduktion der komplexen Audiodaten auf Rhythmik und Tonalität durchgeführt, wodurch sich der Bedarf an Steuerdaten wesentlich reduziert.The method according to the invention is based on the coherence analysis of audio signals. As in the human brain, a distinction is made between two coherent situations in the signals: firstly, temporal coherence in the form of simultaneity and rhythm, and secondly, coherence in the frequency domain, which is represented by overtone spectra and leads to the perception of a certain pitch. This reduces the complex audio data to rhythm and tonality, which significantly reduces the need for control data.
Um die Datenverarbeitung zu beginnen, muß zunächst eine Serie von Kurzzeitspektren erstellt werden, die zur weiteren Analyse benötigt werden. Anschließend wird mit einer nichtlinearen Abbildung die Anregung der Tonhöhenschicht erzeugt; eine weitere nichtlineare Abbildung ergibt die Anregung der Rhythmusschicht. Dann erfolgt die Extraktion der kohärenten Frequenzströme und der kohärenten zeitlichen Ereignisse. Zuletzt wird das verbleibende Restsignal modelliert.In order to start the data processing, a series of short-term spectra must first be created, which are required for further analysis. The excitation of the pitch layer is then generated with a non-linear image; Another nonlinear mapping shows the excitation of the rhythm layer. Then the coherent extraction takes place Frequency currents and the coherent temporal events. Finally, the remaining signal is modeled.
Die getrennten Ströme können aufgrund ihrer geringen Entropie hervorragend komprimiert werden. Im optimalen Fall kann eine Kompressionsrate von über 1:100 erzielt werden, ohne daß Verluste hörbar wären. Ein mögliches Kompressionsverfahren wird anschließend an das Separationsverfahren beschrieben.The separated streams can be excellently compressed due to their low entropy. In the optimal case, a compression rate of over 1: 100 can be achieved without losses being audible. A possible compression process is described after the separation process.
Im folgenden werden die Schritte des erfindungsgemäßen Verfahrens und vorteilhafte Ausführungsformen sowie verschiedene Anwendungen beschrieben.The steps of the method according to the invention and advantageous embodiments and various applications are described below.
Erzeugung der KurzzeitspektrenGeneration of short-term spectra
Die Kurzzeitspektren werden vorteilhafterweise mittels Kurzzeit-Fouriertransformation, Wavelettransformation oder mittels einer Hybridmethode aus Wavelettransformation und Fouriertransformation erzeugt.The short-term spectra are advantageously generated by means of short-term Fourier transformation, wavelet transformation or by means of a hybrid method from wavelet transformation and Fourier transformation.
Die Fouriertransformation kann durch Verwendung einer zeitlich um t 0 = 0 lokalisierten Fensterfunktion w(t) zur Erzeugung eines Kurzzeitspektrums verwendet werden :
Die Fensterfunktion beeinflußt dabei wesentlich die Bandbreite der einzelnen Filter, die unabhängig von f einen konstanten Wert besitzt. Die Frequenzauflösung ist damit über die ganze Frequenzachse gleich. Die Erzeugung eines Kurzzeitspektrums mittels Fouriertransformation bietet den Vorteil, daß schnelle Algorithmen (FFT, fast fourier transform) für die diskrete Fouriertransformation bekannt sind.The window function significantly influences the bandwidth of the individual filters, which has a constant value regardless of f . The frequency resolution is therefore the same across the entire frequency axis. The generation of a short-term spectrum by means of Fourier transform offers the advantage that fast algorithms (FFT, fast Fourier transform) are known for the discrete Fourier transform.
Die Wavelettransformation (WT) erhält man durch die Definition eines Mutter-Wavelets M(t) mit den Eigenschaften
Die Frequenzachse wird dabei logarithmisch homogen unterteilt, so daß man sinnvollerweise log(f) als neue Frequenzachse betrachtet. Die Wavelettransformation ist äquivalent zu einer Bank von Filtern mit
Die Vorteile von Fourier- und Wavelettransformation lassen sich zusammenführen, indem man hybride Methoden verwendet. Hierbei wird zunächst eine dyadische WT durch rekursive Halbierung des Frequenzspektrums mit komplementären Hoch- und Tiefpaßfiltern durchgeführt. Zur Realisation benötigt man ein Signal a(nΔt), n ∈ , auf einem diskreten Zeitraster, wie es nach der Digitalisierung im Rechner vorliegt. Außerdem verwendet man die Operationen Ĥ und T̂, die den beiden Filtern entsprechen. Um das Verfahren rekursiv anzuwenden, muß die Signalrate halbiert werden, was der Operator D̂ durch entfernen aller ungeraden n erreicht. Umgekehrt fügt Û nach jedem diskreten Signalwert eine Null ein, um die Signalrate zu verdoppeln. Man kann dann die von der dyadischen WT erzeugten Bänder von der größten Frequenz an durchnumerieren :
Die große Rechengeschwindigkeit ist in der rekursiven Auswertbarkeit des Bandes B m über B m -1 begründet. Die Skalierung der Frequenzachse ist logarithmisch. Um die Auflösung der Transformation zu erhöhen, kann jedes Bandsignal B m (n) mit einer diskreten Fouriertransformation weiter linear unterteilt werden. Die einzelnen Fourierspektren müssen dabei in ihrer Frequenzachse gespiegelt werden, da durch den Operator D̂ nach Ĥ der obere Teil des Spektrums nach unten umklappt. Als Ergebnis erhält man eine stückweise lineare Approximation eines logarithmisch aufgelösten Spektrums. Die Auflösung kann dabei je nach verwendetem Fenster für die diskrete Fouriertransformation sehr hohe Werte erreichen.The high computing speed is due to the recursive evaluation of the band B m over B m -1 . The scaling of the frequency axis is logarithmic. In order to increase the resolution of the transformation, each band signal B m ( n ) can be subdivided further linearly with a discrete Fourier transformation. The individual Fourier spectra must be mirrored in their frequency axis, because the operator D̂ to Ĥ flips the upper part of the spectrum down. The result is a piecewise linear approximation of a logarithmically resolved spectrum. Depending on the window used for the discrete Fourier transformation, the resolution can reach very high values.
Als Tonhöhe (Pitch) wird bei vom Gehirn empfundener Frequenzübereinstimmung eines tonalen Ereignisses mit einer zum Vergleich angebotenen Sinusschwingung deren Frequenz f definiert. Die Tonhöhenskala wird vorteilhafterweise logarithmisiert, um der Frequenzauflösung des menschlichen Gehörs gerecht zu werden. Eine solche Skala kann linear auf musikalische Notennummern abgebildet werden.The pitch (pitch) is defined by the frequency perceived by the brain of a tonal event as being in accordance with a sine wave offered for comparison, its frequency f . The pitch scale is advantageously logarithmized to the frequency resolution to do justice to human hearing. Such a scale can be mapped linearly on musical note numbers.
Die Tonhöhenanregungsschicht (PEL, Pitch Excitation Layer) stellt einen zeitabhängigen Zustand PEL t (p) ∈ mit p = a log(f)+b und a, b Abbildungskonstanten dar, der sein Maximum bei p max annimmt. Das Maximum gibt die zum Zeitpunkt t dominante Tonhöhe an.The pitch excitation layer (PEL) represents a time-dependent state PEL t ( p ) ∈ with p = a log ( f ) + b and a , b represent imaging constants that assume their maximum at p max . The maximum indicates the dominant pitch at time t .
Weitere lokale Maxima zeigen bei mehrstimmigen (polyphonen) Signalen ebenfalls vorhandene Tonhöhen an. Die PEL imitiert die Tonhöhenanregung im Cortex des menschlichen Gehirns, indem Frequenzkohärenzen analysiert werden.Further local maxima also show existing pitches for polyphonic (polyphonic) signals. The PEL mimics pitch excitation in the cortex of the human brain by analyzing frequency coherence.
Zur Erzeugung der Tonhöhenanregung bieten sich verschiedene Möglichkeiten an. In Frage kommen unter anderem neuronale Netze. Beispielsweise lassen sich neuronale Netze mit Rückkopplungsglied und Erkennungsträgheit vom Typ ART (Adaptive Resonance Theory) verwenden. Ein solches Modell zur erwartungsgesteuerten Stromseparation ist in einer einfachen Form in Pitch-based Streaming in Auditory Perception, Stephen Grossberg, in: Musical Networks - Parallel Distributed Perception and Performance, Niall Griffith, Peter M. Todd (Editors), 1999 MIT Press, Cambridge, beschrieben worden.There are various possibilities for generating the pitch excitation. Among other things, neural networks come into question. For example, neural networks with a feedback element and detection inertia of the ART (Adaptive Resonance Theory) type can be used. One such model for expectation-driven current separation is in a simple form in Pitch-based Streaming in Auditory Perception, Stephen Grossberg, in: Musical Networks - Parallel Distributed Perception and Performance, Niall Griffith, Peter M. Todd (Editors), 1999 MIT Press, Cambridge , have been described.
Eine einfachere und daher besonders geeignete Möglichkeit ist die Verwendung einer deterministischen Abbildung vom Kurzzeitspektrum in den PEL. Dabei ist es von Vorteil, diese Abbildung in zwei Teilabbildungen aufzuspalten. In einer ersten Abbildung wird der Logarithmus des Spektralbetrags genommen:
Die zweite Abbildung besteht wiederum aus verschiedenen Teilen. Als erstes wird die Korrelation von L(t,f) mit einem idealen Obertonspektrum berechnet. Anschließend werden spektrale Echos eines Tons im PEL unterdrückt, die der Lage möglicher Obertöne entsprechen.The second figure consists of different parts. First, the correlation of L ( t, f ) with an ideal overtone spectrum is calculated. Then spectral echoes of a tone are suppressed in the PEL, which correspond to the position of possible overtones.
Um den Kontrast zu erhöhen und weniger ausgeprägte Anteile des Spektrums zu unterdrücken, ist es von Vorteil, das Spektrum lateral zu hemmen. Diese laterale Hemmung kann nach der Berechnung von L(t,f), nach der Korrelierung oder auch nach derIn order to increase the contrast and suppress less pronounced parts of the spectrum, it is advantageous to inhibit the spectrum laterally. This lateral inhibition can be calculated after L ( t, f ), after correlation or after
Echounterdrückung durchgeführt werden. Für die laterale Hemmung kann, nach Vorbild der Natur, eine nichtlineare Abbildung verwendet werden.Echo cancellation can be performed. For lateral inhibition, a non-linear mapping can be used, based on nature.
Um den Aufwand zu erniedrigen, ist es von Vorteil, die laterale Hemmung mit einer linearen Abbildung durchzuführen. Damit wird die gesamte zweite Abbildung der Tonhöhenanregung eine lineare Abbildung und kann als Produkt von Matrizen geschrieben werden. In einer bevorzugten Ausführungsform führt eine erste Matrix H die laterale Hemmung durch; dabei wird der Kontrast des Spektrums erhöht, um für die folgende Korrelationsmatrix K eine optimale Ausgangsbasis zu liefern. Bei der Korrelationsmatrix handelt es sich um eine Matrix, die alle möglichen Obertonpositionen enthält und so an der Stelle mit maximaler Übereinstimmung des Obertonspektrums eine entsprechend große Ausgabe erzeugt. Anschließend wird wieder eine laterale Hemmung durchgeführt. Danach werden mit einer "Entscheidungsmatrix" U die spektralen Echos eines Tons im PEL unterdrückt, die der Lage möglicher Obertöne entsprechen. Zuletzt wird nochmals eine laterale Hemmung durchgeführt. Je nach Form der einzelnen Abbildungen ist es nötig, jeweils eine Matrix M vor- bzw. nachzuschalten, um den Spektralvektor vom Mittelwert zu befreien.In order to reduce the effort, it is advantageous to carry out the lateral inhibition using a linear image. The entire second mapping of pitch excitation thus becomes a linear mapping and can be written as a product of matrices. In a preferred embodiment, a first matrix H carries out the lateral inhibition; the contrast of the spectrum is increased in order to provide an optimal starting basis for the following correlation matrix K. The correlation matrix is a matrix that contains all possible overtone positions and thus produces a correspondingly large output at the point with maximum agreement of the overtone spectrum. Then lateral inhibition is performed again. Then, with a "decision matrix" U, the spectral echoes of a tone in the PEL are suppressed, which correspond to the position of possible overtones. Finally, lateral inhibition is carried out again. Depending on the shape of the individual images, it is necessary to connect a matrix M upstream or downstream in order to free the spectral vector from the mean.
In einer bevorzugten Auführungsform können die Matrizen die folgende Gestalt haben. Die Größe der Korrelationsmatrix K i j entspricht der Länge des diskreten Spektrums und wird mit N bezeichnet. Dann können die Einträge die Form haben
Die spektralen Echos, die der Lage möglicher Obertöne entsprechen, können mit der Matrix U
Für die laterale Hemmung kann man die Matrix H i j mit
Für die korrekte Funktionsweise obiger Matrizen muß der Spektralvektor mittelwertfrei sein.The spectral vector must be free of mean values for the above matrices to work correctly.
Dazu kann man die Matrix M
Um die Anregungsschicht zu berechnen ist das logarithmische Spektrum mit A abzubilden:
Das so erzeugte Pitchspektrum zeigt deutliche Ausprägungen für alle im Audiosignal vorkommenden tonalen Ereignisse. Um die Ereignisse zu trennen, kann eine Vielzahl solcher Pitchspektren gleichzeitig erzeugt werden, die sich alle untereinander hemmen, so daß sich in jedem Spektrum ein anderer Kohärenzstrom manifestiert. Ordnet man jedem dieser Pitchspektren eine Kopie seines Frequenzspektrums zu, so kann man über ein Feedback in diese sogar eine erwartungsgesteuerte Anregung im Pitchspektrum erzeugen. Ein solches ART-Stream Netzwerk eignet sich hervorragend, um Eigenschaften der menschlichen Wahrnehmung zu modellieren.The pitch spectrum generated in this way shows clear characteristics for all tonal events occurring in the audio signal. In order to separate the events, a large number of such pitch spectra can be generated at the same time, all of which inhibit one another, so that a different coherence current is manifested in each spectrum. If you assign each of these Pitch spectra to a copy of his frequency spectrum, you can even generate an expectation-controlled excitation in the pitch spectrum via a feedback in these. Such an ART stream network is ideally suited to model properties of human perception.
Es ist vorteilhaft, die Ströme durch Suche von zeitlich zusammenhängenden lokalen Maxima auf der Pitchachse zu erkennen und die Tonhöhendaten daraus als Zeitreihe zu berechnen. Diese Stromdaten werden später dazu verwendet, die kohärenten Daten zu extrahieren.It is advantageous to recognize the currents by searching temporally related local maxima on the pitch axis and to calculate the pitch data therefrom as a time series. This stream data will later be used to extract the coherent data.
Plötzliche Änderungen auf der Zeitachse des Kurzzeitspektrums, sogenannte Transienten, sind die Grundlage für rhythmischen Empfinden und stellen die auffälligste zeitliche Kohärenz innerhalb eines kurzen Zeitfensters dar.Sudden changes on the timeline of the short-term spectrum, so-called transients, are the basis for rhythmic sensations and represent the most striking temporal coherence within a short time window.
Die rhythmische Anregung soll bei geringer Frequenzauflösung und relativ hoher Zeitauflösung auf Ereignisse mit starker zeitlicher Kohärenz reagieren. Es bietet sich an, für diesen Zweck ein zweites Spektrum mit geringerer Frequenzauflösung neu zu berechnen.The rhythmic excitation should react to events with strong temporal coherence with low frequency resolution and relatively high time resolution. It is advisable to recalculate a second spectrum with a lower frequency resolution for this purpose.
Um den Aufwand zu reduzieren, ist es von Vorteil, das bereits vorhandene Spektrum für diesen Zweck zu nutzen. Grundlage für die lineare Abbildung in die Rhythmusanregungsschicht (REL, Rhythm Excitation Layer) ist dann das logarithmische Spektrum L(t,f). Die anzuwendende Abbildung kann durch zwei Schritte beschrieben werden.To reduce the effort, it is advantageous to use the existing spectrum for this purpose. The basis for the linear mapping into the rhythm excitation layer (REL, rhythm excitation layer) is then the logarithmic spectrum L ( t, f ). The illustration to be applied can be described in two steps.
In einem ersten Schritt werden die Frequenzkomponenten gemittelt, um ein besseres Signal/Rausch-Verhältnis zu erhalten. In einer bevorzugten Ausführungsform, die an die oben beschriebenen Matrizen angepaßt ist, hat die Matrix R
Die Konstanten a,b sind nach dem zu analysierenden Spektralausschnitt wie oben zu wählen, um die PEL mit der REL vergleichen zu können. Die Konstante σ steuert die Frequenzverschmierung und damit die Rauschunterdrückung.The constants a, b are to be selected according to the spectral section to be analyzed as above, in order to be able to compare the PEL with the REL. The constant σ controls the frequency smear and thus the noise suppression.
Im menschlichen Gehirn kann nur eine zeitliche Korrelation auf einem sehr kurzen Intervall erfolgen. Man kann daher im zweiten Schritt der Rhythmusanregung eine differentielle Korrelation vornehmen, ohne wesentliche Informationen zu verlieren. Der Operator Ĉ für diese Abbildung wird hier analytisch kontininuierlich wiedergegeben, kann aber mit Standardmethoden diskretisiert werden.
Die beiden Operatoren kommutieren, so daß die zusammengesetzte Abbildung in die Rhythmusschicht durch
Da die PEL-Ströme im Frequenzraum gut lokalisiert sind, verwendet man eine Filterstruktur um den Strom von den restlichen Daten des Audiostroms zu trennen. Vorteilhafterweise benutzt man hierfür einen Filter mit variabler Mittenfrequenz. Von besonderem Vorteil ist es, wenn die Tonhöheninformation aus der PEL-Ebene in eine Frequenztrajektorie umgewandelt wird und damit die Mittenfrequenz des Bandpassfilters gesteuert wird. Somit wird für jeden Oberton ein Signal geringer Bandbreite erzeugt, das anschließend durch Addition zum Gesamtstrom verarbeitet werden kann, aber auch mittels Amplitudenhüllkurve für jeden Oberton und Tonhöhenverlauf beschrieben werden kann.Since the PEL streams are well localized in the frequency domain, a filter structure is used to separate the stream from the rest of the data from the audio stream. A filter with a variable center frequency is advantageously used for this. It is particularly advantageous if the pitch information from the PEL level is converted into a frequency trajectory and thus the center frequency of the bandpass filter is controlled. A signal of low bandwidth is thus generated for each overtone, which can then be processed by adding to the total current, but can also be described by means of an amplitude envelope for each overtone and pitch curve.
Um das Signal aus dem Datenstrom zu löschen, muß es abgezogen werden. Dabei kann durch den Filter eine Phasenverschiebung eingeführt werden. In diesem Fall ist es notwendig, nach der Extraktion eine Phasenanpassug durchzuführen. Das wird vorteilhafterweise erreicht, indem das extrahierte Signal mit einer komplexwertigen Hüllkurve vom Betrag 1 multipliziert wird. Die Hüllkurve wird verwendet, um mittels Optimierung, beispielsweise durch Minimierung des quadratischen Fehlers, den Phasenausgleich zu erreichen.To delete the signal from the data stream, it must be subtracted. A phase shift can be introduced through the filter. In this case it is necessary perform a phase adjustment after the extraction. This is advantageously achieved by multiplying the extracted signal by a complex value envelope of the amount 1. The envelope is used to achieve phase compensation by means of optimization, for example by minimizing the quadratic error.
Es ist von Vorteil, mit der Hüllkurve auch die Amplitudenanpassung des extrahierten Signals vorzunehmen. Die Tonhöheninformation ist aus der PEL bekannt, so daß man eine entsprechende Sinusoide synthetisieren kann, die bis auf die fehlende Amplitudeninformation und eine gewisse Phasenabweichung den Teilton des Stromes exakt beschreibt.It is advantageous to also use the envelope curve to adjust the amplitude of the extracted signal. The pitch information is known from the PEL, so that a corresponding sinusoid can be synthesized which, apart from the missing amplitude information and a certain phase deviation, exactly describes the partial tone of the current.
In einer bevorzugten Ausführungsform kann die Sinusoide S(t) die folgende Form haben:
Wurde zur Erzeugung der PEL bereits eine Filterbank verwendet, so eröffnet sich eine andere vorteilhafte Möglichkeit zur Frequenzselektion der Ströme. Aus dem bekannten Frequenzverlauf f(t) läßt sich zu jedem Zeitpunkt die benötigte Frequenzbewertung B(f,t) für die gesamte Obertonstruktur berechnen. Aus den bekannten Frequenzantworten h n (f) lassen sich daraus die Koeffizienten berechnen, mit deren Hilfe man den Strom S(t) extrahieren kann:
Im Gegensatz zu den PEL-Strömen sind die REL-Ereignisse im Frequenzraum schlecht lokalisiert, dafür aber im Zeitraum recht scharf definiert. Entsprechend ist die Strategie zur Extraktion zu wählen. Zunächst findet eine grobe Frequenzbewertung statt, die aus der Ereignisunschärfe in der REL abgeleitet wird. Da hier keine besondere Exaktheit erforderlich ist, ist es von Vorteil, für die Bewertung FFT-Filter, Analysefilterbänke oder ähnliche Werzeuge zu verwenden, bei denen jedoch Dispersionsfreiheit im Durchlaßband herrschen sollte. Der nächste Schritt erfordert entsprechend eine Zeitraumbewertung. Vorteilhafterweise trennt man das Ereignis durch Multiplikation mit einer Fensterfunktion ab. Die Wahl der Fensterfunktion muss empirisch bestimmt werden und kann auch adaptiv geschehen. Damit kann das extrahierte Ereignis durch
Nach Extraktion der kohärenten Frequenzströme und zeitlichen Ereignisse enthält das Restsignal (Residuen) des Audiostroms keine Anteile mehr, die vom Gehör erkennbare Kohärenzen aufweisen, lediglich die Frequenzverteilung wird noch wahrgenommen. Es ist daher von Vorteil, diese Anteile statistisch zu modellieren. Hierfür erweisen sich zwei Verfahren als besonders vorteilhaft.After extraction of the coherent frequency currents and temporal events, the residual signal (residuals) of the audio stream no longer contains any parts that have coherences that can be recognized by the ear, only the frequency distribution is still perceived. It is therefore advantageous to statistically model these parts. Two methods prove to be particularly advantageous for this.
In einem ersten Verfahren verwendet man mehrere Bänder, die frequenzlokalisiertes Rauschen enthalten. Eine Frequenzanalyse des Restsignals liefert das Mischungsverhältnis; die Synthese besteht dann aus einer zeitabhängigen gewichteten Addition der Bänder.In a first method, several bands are used that contain frequency-localized noise. A frequency analysis of the residual signal provides the mixing ratio; the synthesis then consists of a time-dependent weighted addition of the bands.
In einem zweiten Verfahren beschreibt man das Signal durch seine statistischen Momente. Die zeitliche Entwicklung dieser Momente wird aufgezeichnet und kann zur Resynthese verwendet werden. Die einzelnen statistischen Momente werden auf bestimmten Zeitintervallen berechnet. Vorteilhafterweise überlappen sich die Intervallfenster bei der Analyse zu 50% und werden dann bei der Resynthese mit einem Dreiecksfenster bewertet addiert, um die Überlappung zu kompensieren. Mit
Das oben beschriebene Verfahren kann in vorteilhafter Weise zur Kompression von Audiodaten verwendet werden. Hierzu wird erfindungsgemäß ein Verfahren mit den Schritten nach Anspruch 20 zur Verfügung gestellt.The method described above can advantageously be used for compressing audio data. For this purpose, a method according to the invention is provided with the steps according to
Die durch die Extraktion separierten Ströme und Ereignisse weisen geringe Entropie auf und lassen sich daher vorteilhafterweise sehr effizient komprimieren. Es ist von Vorteil, die Signale zunächst in eine für die Kompression geeignete Darstellung zu transformiert.The streams and events separated by the extraction have low entropy and can therefore advantageously be compressed very efficiently. It is advantageous to first transform the signals into a representation suitable for compression.
Als erstes kann eine adaptive differentielle Kodierung der PEL-Ströme erfolgen. Aus der Extraktion der Ströme erhält man pro Strom eine Frequenztrajektorie und für jeden vorhanden harmonischen Anteil eine Amplitudenhüllkurve. Zur effektiven Speicherung dieser Daten wird vorteilhafterweise ein zweifach differentielles Schema angewendet. Die Daten werden in gleichmäßigen Abständen abgetastet. Bevorzugt wird dabei eine Abtastrate von etwa 20 Hz verwendet. Die Frequenztrajektorie wird logarithmisiert, um der tonalen Auflösung des Gehörs gerecht zu werden, und auf dieser logarithmischen Skala quantisiert. In einer bevorzugten Ausführungsform beträgt die Auflösung etwa 1/100 Halbton. Explizit gespeichert wird vorteilhafterweise der Wert der Startfrequenz und danach nur noch die Differenzen zum vorangegangenen Wert. Dabei kann eine dynamische Bitanpassung verwendet werden, die bei stabilen Frequenzlagen, wie bei lange gehaltenen Tönen, praktisch keine Daten erzeugt.First, an adaptive differential coding of the PEL currents can take place. From the extraction of the currents, a frequency trajectory is obtained for each stream and an amplitude envelope for each harmonic component present. A double differential scheme is advantageously used to effectively store this data. The data are sampled at regular intervals. A sampling rate of approximately 20 Hz is preferably used. The frequency trajectory is logarithmized to do justice to the tonal resolution of the hearing and quantized on this logarithmic scale. In a preferred embodiment, the resolution is approximately 1/100 halftone. The value of the start frequency and then only the differences from the previous value are advantageously stored explicitly. A dynamic bit adaptation can be used, which generates practically no data at stable frequency positions, such as long tones.
Die Hüllkurven können ähnlich kodiert werden. Auch hier wird die Amplitudeninformation logarithmisch interpretiert, um eine höhere angepaßte Auflösung zu erreichen. Nachdem die Hüllkurve der Grundfrequenz analog zur Frequenztrajektorie kodiert wurde, wird zu jedem Oberton der Amplitudenstartwert abgelegt. Da der Verlauf der Obertonamplituden stark mit den Grundtonamplituden korreliert ist, wird vorteilhafterweise die Differenzinformation der Grundtonamplitude als Änderung der Obertonamplitude angenommen und nur noch die Differenz zu diesem geschätzten Wert gespeichert. Dadurch entstehen bei Obertonhüllkurven nur dann nennenswerte Datenvolumen, falls sich die Obertoncharakteristik stark ändert. Dadurch wird die Informationsdichte weiter erhöht.The envelopes can be coded similarly. Here too, the amplitude information is interpreted logarithmically in order to achieve a higher adapted resolution. After the envelope of the fundamental frequency has been coded analogously to the frequency trajectory, everyone becomes Overtone the amplitude start value stored. Since the course of the overtone amplitudes is strongly correlated with the fundamental tone amplitudes, the difference information of the fundamental tone amplitude is advantageously assumed as a change in the overtone amplitude and only the difference to this estimated value is stored. In the case of overtone envelopes, this means that there is only significant data volume if the overtone characteristics change significantly. This further increases the density of information.
Die aus der REL-Schicht extrahierten Ereignisse besitzen aufgrund ihrer zeitlichen Lokalisierung eine geringe zeitliche Kohärenz. Es ist daher von Vorteil, eine zeitlokalisierte Kodierung zu verwenden und die Ereignisse in ihrer Zeitraumdarstellung zu speichern. Häufig sind sich die Ereignisse untereinander sehr ähnlich. Vorteilhafterweise ermittelt man daher durch Analyse typischer Audiodaten einen Satz von Basisvektoren (Transienten), in dem sich die Ereignisse durch wenige Koeffizienten beschreiben lassen. Diese Koeffizienten können quantisiert werden und liefern dann eine effiziente Darstellung der Daten. Die Ermittlung der Basisvektoren erfolgt bevorzugt mit neuronalen Netzwerken, insbesondere Vektorquantisierungsnetzwerken, wie man sie beispielsweise aus Neuronale Netzwerke, Rüdiger Brause, 1995 B.G. Teubner Stuttgart, kennt.The events extracted from the REL layer have little temporal coherence due to their temporal location. It is therefore advantageous to use a time-localized coding and to save the events in their period representation. The events are often very similar to one another. It is therefore advantageous to determine a set of base vectors (transients) by analyzing typical audio data, in which the events can be described by a few coefficients. These coefficients can be quantized and then provide an efficient representation of the data. The basis vectors are preferably determined using neural networks, in particular vector quantization networks, as are known, for example, from Neural Networks, Rüdiger Brause, 1995 BG Teubner Stuttgart.
Aufgrund ihres statistischen Charakters können die Residuen, wie oben beschrieben, durch eine Zeitreihe von Momenten oder durch Amplitudenverläufe von Bandrauschen modelliert werden. Für diese Art von Daten ist eine geringe Abtastrate ausreichend. Analog zur Kodierung der PEL-Ströme kann auch hier eine differentielle Kodierung mit adaptiver Bittiefenanpassung verwendet werden, mit der die Residuen nur minimal zum Datenstrom beitragen.Because of their statistical character, the residuals can be modeled, as described above, by a time series of moments or by amplitude profiles of band noise. A low sampling rate is sufficient for this type of data. Analogous to the coding of the PEL streams, differential coding with adaptive bit depth adjustment can also be used here, with which the residuals contribute only minimally to the data stream.
Sobald die Daten in eine geeignete Darstellung transformiert wurden, kann eine statistische Datenkomprimierung durch Entropiemaximierung erfolgen. Besonders geeignet sind dabei LZW- oder Huffmann-Verfahren.As soon as the data has been transformed into a suitable representation, statistical data compression can be carried out by maximizing entropy. LZW or Huffmann processes are particularly suitable.
Die nach obigem Verfahren separierten Signale eignen sich ebenfalls sehr gut für Manipulationen der Zeitbasis (Timestretching), der Tonart (Pitchshifting) oder der Formantstruktur, wobei unter Formant der Bereich des Klangspektrums zu verstehen ist, in dem sich unabhängig von der Tonhöhe Schallenergie konzentriert. Für diese Manipulationen sind bei der Resynthese der Audiodaten die Syntheseparameter in geeigneter Weise zu ändern. Hierfür werden erfindungsgemäß Verfahren mit den Schritten nach den Ansprüchen 25 - 28 zur Verfügung gestellt.The signals separated according to the above procedure are also very suitable for manipulating the time base (time stretching), the key (pitch shifting) or the formant structure, whereby formant is to be understood as the range of the sound spectrum in which sound energy is concentrated regardless of the pitch. For these manipulations, the synthesis parameters have to be changed in a suitable manner during the resynthesis of the audio data. For this purpose, methods are provided according to the invention with the steps according to claims 25-28.
Die PEL-Ströme werden vorteilhafterweise an eine neue Zeitbasis angepaßt, indem die Zeitmarkierungen ihrer Hüllkurven- bzw. ihrer Trajektorienpunkte aus der PEL gemäß der neuen Zeitbasis angepaßt werden. Alle anderen Parameter können unverändert bleiben. Zur Änderung der Tonart wird die logarithmische Frequenztrajektorie entlang der Frequenzachse verschoben. Um die Formantstruktur zu ändern, wird aus den Obertonamplituden der PEL-Ströme eine Frequenzhülle interpoliert. Diese Interpolation kann vorzugsweise durch zeitliche Mittelung erfolgen. Dadurch erhält man ein Spektrum, dessen Frequenzhüllkurve die Formantstruktur ergibt. Diese Frequenzhülle kann unabhängig von der Basisfrequenz verschoben werden.The PEL streams are advantageously adapted to a new time base by adapting the time markings of their envelope points or their trajectory points from the PEL in accordance with the new time base. All other parameters can remain unchanged. To change the key, the logarithmic frequency trajectory is shifted along the frequency axis. In order to change the formant structure, a frequency envelope is interpolated from the overtone amplitudes of the PEL currents. This interpolation can preferably be done by averaging over time. This gives a spectrum whose frequency envelope gives the formant structure. This frequency envelope can be shifted independently of the base frequency.
Die Ereignisse der REL-Schicht bleiben bei Tonart- und Formantstrukturänderung invariant. Bei Änderung der Zeitbasis paßt man den Zeitpunkt der Ereignisse entsprechend an.The events of the REL layer remain invariant when the key and formant structure change. If the time base is changed, the time of the events is adjusted accordingly.
Wie die REL-Ereignisse bleiben die globalen Residuen bei Tonartänderungen invariant. Bei einer Manipulation der Zeitbasis kann im Falle der Momentkodierung die Synthesefensterlänge angepaßt werden. Werden die Residuen mit Rauschbändern modelliert, können bei Manipulation der Zeitbasis die Hüllkurvenstützpunkte für die Rauschbänder entsprechend angepaßt werden. Bei der Formantkorrektur wird vorzugsweise die Rauschbanddarstellung verwendet. In diesem Fall kann eine Anpassung der Bandfrequenz entsprechend der Formantverschiebung vorgenommen werden.Like the REL events, the global residuals remain invariant when the key changes. If the time base is manipulated, the synthesis window length can be adapted in the case of moment encoding. If the residuals are modeled with noise bands, the envelope base points for the noise bands can be adjusted accordingly if the time base is manipulated. The noise band display is preferably used for formant correction. In this case, the band frequency can be adjusted in accordance with the formant shift.
Als weitere vorteilhafte Anwendung ergibt sich die Notation der Audiodaten in Notenschrift. Dazu wird erfindungsgemäß ein Verfahren mit den Schritten nach Anspruch 29 bereitgestellt. Bei dem Verfahren werden zunächst die PEL-Ströme nach ihrer Obertoncharakteristik gruppiert. Das Gruppenkriterium liefert ein trainierbarer Vektorquantisierer, der aus ihm vorgegebenen Beispielen lernt. Eine so erzeugte Gruppe kann dann durch die Frequenztrajektorien in eine Notation umgewandelt werden. Dabei können die Tonhöhen beispielsweise in das Zwölftonsystem quantisiert und mit Eigenschaften wie Vibrato, Legato o.ä. versehen werden.Another notable application is the notation of the audio data in notation. For this purpose, a method according to the invention is provided with the steps according to claim 29. In the process, the PEL currents are first grouped according to their overtone characteristics. The group criterion is provided by a trainable vector quantizer that learns from given examples. A group generated in this way can then be converted into a notation by the frequency trajectories. The pitches can be quantized, for example, in the twelve-tone system and with properties such as vibrato, legato or the like. be provided.
Zur Notation der perkussiven Instrumente müssen Koinzidenzen von REL-Ereignissen mit tieffrequenten PEL-Ereignissen oder Residuen erkannt werden. Dazu werden vorzugsweise für Mustererkennungsaufgaben übliche neuronale Netze verwendet, wie sie beispielsweise auch in Neuronale Netzwerke, Rüdiger Brause, 1995 B.G. Teubner Stuttgart, beschrieben werden. Die so identifizierten Perkussionsschläge werden dann in die Notation eingefügt.To notate the percussive instruments, coincidences of REL events with low-frequency PEL events or residuals must be recognized. For this purpose, conventional neural networks are preferably used for pattern recognition tasks, as are also described, for example, in Neural Networks, Rüdiger Brause, 1995 BG Teubner Stuttgart. The percussion beats identified in this way are then inserted into the notation.
Anspruch 30 stellt erfindungsgemäß ein Verfahren zur Verfügung, mit dem in vorteilhafter Weise eine Spurseparation von Audiosignalen durchgeführt werden kann. Die PEL-Stöme werden dabei nach ihrer Obertoncharakteristik gruppiert und dann separat synthetisiert. Dazu müssen allerdings noch gewisse Zusammengehörigkeiten von REL-Ereignissen, PEL-Strömen und Residuen erkannt werden, da diese in eine dem Instrument entsprechende resynthetisierte Spur zusammengefaßt werden sollen. Diese Zusammengehörigkeit kann nur begrenzt deterministisch bestimmt werden; vorzugsweise verwendet man daher für diese Mustererkennung neuronale Netze, wie sie oben genannt wurden.Claim 30 provides, according to the invention, a method with which track separation of audio signals can be carried out in an advantageous manner. The PEL currents are grouped according to their overtone characteristics and then synthesized separately. To do this, however, certain correlations between REL events, PEL currents and residuals must be recognized, since these are to be combined into a resynthesized track corresponding to the instrument. This relationship can only be determined deterministically to a limited extent; it is therefore preferred to use neural networks as mentioned above for this pattern recognition.
Sobald die Spuren separiert wurden, können sie getrennt bearbeitet und neu zusammengemischt werden. Neben vielen anderen Möglichkeiten können auch einzelne Instrumente analysiert oder ersetzt und Stimmen ausgeblendet oder verstärkt werden.Once the tracks have been separated, they can be edited separately and mixed again. In addition to many other options, individual instruments can be analyzed or replaced, and voices can be hidden or amplified.
Es ist von Vorteil, das Verfahren zur Analyse von Audiosignalen für die globale und lokale Identifikation von Audiosignalen zu verwenden, wofür erfindungsgemäß ein Verfahren mit den Schritten nach Anspruch 31 oder 32 zur Verfügung gestellt wird. Diese Identifikation stützt sich auf Merkmale, die auch menschlicher Wahmehmung als Wiedererkennungsmerkmale zur Verfügung stehen. Mit verschiedenen Kriterien lassen sich verschiedene Arten der Wiedererkennung erhalten.It is advantageous to use the method for analyzing audio signals for the global and local identification of audio signals, for which, according to the invention, a method with the steps according to claim 31 or 32 is provided. This identification is based on features that are also available to human perception as recognition features. Different types of recognition can be obtained with different criteria.
Um ein Musikstück eindeutig als ein in einer Datenbank gespeichertes Stück zu identifizieren, sind die relative Position und die Art, d.h. die innere Struktur, der Ströme und Ereignisse zu vergleichen. Unter der inneren Struktur der Melodielinie beispielsweise versteht man Merkmale, wie Intervalle und langanhaltende Töne. Dieser Vergleich mit einer Datenbank kann deterministisch erfolgen und sich vorteilhafterweise zunächst auf die Intervallabfolgen beschränken. Falls damit noch keine eindeutige Identifizierung möglich ist, kann man zusätzliche Kriterien hinzuziehen.In order to uniquely identify a piece of music as a piece stored in a database, the relative position and type, i.e. to compare the internal structure, the currents and events. The inner structure of the melody line, for example, means features such as intervals and long-lasting tones. This comparison with a database can be carried out deterministically and advantageously initially limited to the interval sequences. If there is still no clear identification, additional criteria can be used.
Um den Titel eines Musikstückes unabhängig von Interpreten oder Aufnahmeumständen zu ermitteln, muß man dominante Strukturen in dem Material finden. Diese Strukturen lassen sich durch häufige Wiederholungen oder besonders hohe Signalanteile deterministisch identifizieren. Je mehr solcher Merkmale mit einem Vergleichs- oder Referenzstück übereinstimmen, wobei Änderungen der Zeitbasis, Tonart oder Phrasierung zulässig sind, desto gößer ist die Wahrscheinlichkeit, daß das untersuchte Musikstück mit dem Vergleichsstück übereinstimmt. Der Vergleich von Melodielinien kann sich dabei vorteilhafterweise auf die Abfolge von den länger ausgehaltenen Tönen konzentrieren und auch hier nur auf die Abfolge der Intervalle. Es reicht häufig aus, die rhythmische Information nur sehr grob zu bewerten und einzubeziehen, da diese Information stark vom Interpreten abhängen kann.In order to determine the title of a piece of music regardless of the artist or recording circumstances, one has to find dominant structures in the material. These structures can be identified deterministically by frequent repetitions or particularly high signal components. The more such features match a comparison or reference piece, whereby changes in the time base, key or phrasing are permissible, the greater the likelihood that the piece of music examined matches the comparison piece. The comparison of melody lines can advantageously focus on the sequence of the sustained tones and also here only on the sequence the intervals. It is often sufficient to only roughly evaluate and include the rhythmic information, since this information can depend heavily on the interpreter.
Das erfindungsgemäße Verfahren zur Analyse von Audiodaten kann in vorteilhafter Weise zur Identifikation einer Gesangsstimme in einem Audiosignal verwendet werden. Hierfür wird erfindungsgemäß ein Verfahren mit den Schritten nach Anspruch 33 zur Verfügung gestellt. Um den Sänger eines Musikstückes zu identifizieren, charakterisiert man vorteilhafterweise seine Stimme über die Formantstruktur. Die typische Formantlage kann, wie oben beschrieben, aus den PEL-Strömen interpoliert werden. Beim Vergleich der Formantstrukturen mit einer Datenbank kann man somit die Auswahl an möglichen Sängern stark einschränken, im Idealfall sogar den Sänger eindeutig identifizieren.The method according to the invention for analyzing audio data can advantageously be used to identify a singing voice in an audio signal. For this, a method according to the invention is provided with the steps according to claim 33. To identify the singer of a piece of music, one advantageously characterizes his voice via the formant structure. As described above, the typical formant layer can be interpolated from the PEL streams. When comparing the formant structures with a database, the selection of possible singers can be greatly restricted, ideally even the singer can be clearly identified.
Bei allen oben genannten Identifikationsverfahren ist es von Vorteil, zu Beginn ein Hashing-Schema anzuwenden, um durch einen Prüfsummenvergleich mit der Datenbank die Auswahl einzuschränken und erst anschließend die Detailprüfung vorzunehmen.With all of the identification methods mentioned above, it is advantageous to use a hashing scheme at the beginning in order to limit the selection by means of a checksum comparison with the database and only then to carry out the detailed check.
Das erfindungsgemäße Verfahren zur Analyse von Audiosignalen kann auch zur Restauration von alten oder technisch schlechten Audiodaten verwendet werden. Typische Probleme solcher Aufnahmen sind Rauschen, Knacksen, Brummen, schlechte Mischungsverhältnisse, fehlende Höhen oder Bässe. Zur Unterdrückung von Rauschen identifiziert man (in der Regel manuell) die unerwünschten Anteile in der Residuenebene, die dann gelöscht werden, ohne die anderen Daten zu verfälschen. Knacksen wird in analoger Weise aus der REL-Ebene und Brummen aus der PEL-Ebene eliminiert. Die Mischungsverhältnisse lassen sich durch Spurseparation bearbeiten, Höhen und Bässe lassen sich mit der PEL-, RELund Residueninformation nachsynthetisieren.The method according to the invention for analyzing audio signals can also be used for the restoration of old or technically poor audio data. Typical problems of such recordings are noise, crackling, hum, poor mixing ratios, missing highs or basses. To suppress noise, one identifies (usually manually) the undesired components in the residual level, which are then deleted without falsifying the other data. Crackling is eliminated in an analog way from the REL level and hum from the PEL level. The mixing ratios can be edited by track separation, treble and bass can be re-synthesized with the PEL, REL and residual information.
Im folgenden wird das erfindungsgemäße Verfahren zur Analyse von Audiodaten anhand des in den Figuren dargestellten Ausführungsbeispiels erläutert. Dabei zeigt
- Figur 1
- ein Wavelet-Filterbankspektrum einer Gesangslinie,
- Figur 2
- ein Kurzzeit-Fourierspektrum der Gesangslinie aus Figur 1,
- Figur 3
- eine Matrix der linearen Abbildung vom Fourierspektrum zum PEL,
- Figur 4
- eine Anregung der Tonhöhe im PEL, berechnet aus Figur 2,
- Figur 5
- eine Anregung im REL, berechnet aus Figur 2.
- Figure 1
- a wavelet filter bank spectrum of a vocal line,
- Figure 2
- a short-term Fourier spectrum of the vocal line from Figure 1,
- Figure 3
- a matrix of the linear mapping from the Fourier spectrum to the PEL,
- Figure 4
- an excitation of the pitch in the PEL, calculated from FIG. 2,
- Figure 5
- a suggestion in the REL, calculated from FIG. 2.
Zur Erzeugung der Kurzzeitspektren bieten sich mehrere Möglichkeiten an. In Figur 1 sieht man ein ein Kurzzeitspektrum einer constant-Q-Fllterbank, das einer Wavelettransformation entspricht. Eine Alternative bieten Fouriertransformationen; in Figur 2 ist ein Kurzzeit-Fourierspektrum zu sehen, das mit schneller Fouriertransformation erzeugt wurde.There are several options for generating the short-term spectra. FIG. 1 shows a short-term spectrum of a constant Q filter bank, which corresponds to a wavelet transformation. Fourier transforms offer an alternative; FIG. 2 shows a short-term Fourier spectrum that was generated using a fast Fourier transformation.
Zur Anregung der Tonhöhenschicht wird in einer bevorzugten Ausführungsform der Kontrast des Spektrums mit lateraler Hemmung erhöht. Dann findet eine Korrelierung mit einem idealen Obertonspektrum statt. Das resultierende Spektrum wird wiederum lateral gehemmt. Anschließend wird mit einer Entscheidungsmatrix die Tonhöhenschicht von schwachen Echos der Obertöne befreit und zum Schluß wieder lateral gehemmt. Diese Abbildung kann linear gewählt werden. Eine mögliche Abbildungsmatrix vom Fourierspektrum aus Figur 2 zum PEL enthält Figur 3.In a preferred embodiment, the contrast of the spectrum with lateral inhibition is increased to excite the pitch layer. Then a correlation with an ideal overtone spectrum takes place. The resulting spectrum is again laterally inhibited. Subsequently, the pitch layer is freed from weak echoes of the overtones with a decision matrix and laterally inhibited again. This mapping can be chosen linearly. FIG. 3 contains a possible mapping matrix from the Fourier spectrum from FIG. 2 to the PEL.
Nach der Anregung der Tonhöhenschicht, können verschiedene dominierende Tonhöhen erkennbar sein, wie beispielsweise in Figur 4.After the excitation of the pitch layer, different dominant pitches can be seen, as for example in FIG. 4.
Um die Rhythmusschicht anzuregen, kann zunächst eine Frequenzrauschunterdrückung und anschließend eine zeitliche Korrelierung durchgeführt werden. Führt man diese Anregung für Figur 2 durch, kann eine Anregung im REL wie in Figur 5 erhalten werden.In order to stimulate the rhythm layer, frequency noise suppression can be carried out first and then a time correlation can be carried out. If this excitation is carried out for FIG. 2, an excitation in the REL as in FIG. 5 can be obtained.
Claims (34)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01117957A EP1280138A1 (en) | 2001-07-24 | 2001-07-24 | Method for audio signals analysis |
PCT/EP2002/008256 WO2003012779A1 (en) | 2001-07-24 | 2002-07-24 | Method for analysing audio signals |
US10/484,983 US20050065781A1 (en) | 2001-07-24 | 2002-07-24 | Method for analysing audio signals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01117957A EP1280138A1 (en) | 2001-07-24 | 2001-07-24 | Method for audio signals analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
EP1280138A1 true EP1280138A1 (en) | 2003-01-29 |
Family
ID=8178126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP01117957A Withdrawn EP1280138A1 (en) | 2001-07-24 | 2001-07-24 | Method for audio signals analysis |
Country Status (3)
Country | Link |
---|---|
US (1) | US20050065781A1 (en) |
EP (1) | EP1280138A1 (en) |
WO (1) | WO2003012779A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004047353B3 (en) * | 2004-09-29 | 2005-05-25 | Siemens Ag | Tone recognition, e.g. for protection signal transmission for controlling, monitoring technical plant, involves digital Fourier transformation to compute/display frequency values in digitized tone signal, overlapping computation processes |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7626110B2 (en) * | 2004-06-02 | 2009-12-01 | Stmicroelectronics Asia Pacific Pte. Ltd. | Energy-based audio pattern recognition |
US7563971B2 (en) * | 2004-06-02 | 2009-07-21 | Stmicroelectronics Asia Pacific Pte. Ltd. | Energy-based audio pattern recognition with weighting of energy matches |
US8990073B2 (en) * | 2007-06-22 | 2015-03-24 | Voiceage Corporation | Method and device for sound activity detection and sound signal classification |
EP2232700B1 (en) | 2007-12-21 | 2014-08-13 | Dts Llc | System for adjusting perceived loudness of audio signals |
US8359195B2 (en) * | 2009-03-26 | 2013-01-22 | LI Creative Technologies, Inc. | Method and apparatus for processing audio and speech signals |
US8620643B1 (en) * | 2009-07-31 | 2013-12-31 | Lester F. Ludwig | Auditory eigenfunction systems and methods |
US8538042B2 (en) * | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
US8204742B2 (en) * | 2009-09-14 | 2012-06-19 | Srs Labs, Inc. | System for processing an audio signal to enhance speech intelligibility |
US8311812B2 (en) * | 2009-12-01 | 2012-11-13 | Eliza Corporation | Fast and accurate extraction of formants for speech recognition using a plurality of complex filters in parallel |
WO2013019562A2 (en) | 2011-07-29 | 2013-02-07 | Dts Llc. | Adaptive voice intelligibility processor |
US9312829B2 (en) | 2012-04-12 | 2016-04-12 | Dts Llc | System for adjusting loudness of audio signals in real time |
US9305570B2 (en) | 2012-06-13 | 2016-04-05 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for pitch trajectory analysis |
JP6036141B2 (en) * | 2012-10-11 | 2016-11-30 | ヤマハ株式会社 | Sound processor |
US11271993B2 (en) | 2013-03-14 | 2022-03-08 | Aperture Investments, Llc | Streaming music categorization using rhythm, texture and pitch |
US10225328B2 (en) | 2013-03-14 | 2019-03-05 | Aperture Investments, Llc | Music selection and organization using audio fingerprints |
US10623480B2 (en) | 2013-03-14 | 2020-04-14 | Aperture Investments, Llc | Music categorization using rhythm, texture and pitch |
US10061476B2 (en) | 2013-03-14 | 2018-08-28 | Aperture Investments, Llc | Systems and methods for identifying, searching, organizing, selecting and distributing content based on mood |
US10242097B2 (en) * | 2013-03-14 | 2019-03-26 | Aperture Investments, Llc | Music selection and organization using rhythm, texture and pitch |
US20220147562A1 (en) | 2014-03-27 | 2022-05-12 | Aperture Investments, Llc | Music streaming, playlist creation and streaming architecture |
CN104299621B (en) * | 2014-10-08 | 2017-09-22 | 北京音之邦文化科技有限公司 | The timing intensity acquisition methods and device of a kind of audio file |
CN105590633A (en) * | 2015-11-16 | 2016-05-18 | 福建省百利亨信息科技有限公司 | Method and device for generation of labeled melody for song scoring |
JP6733644B2 (en) * | 2017-11-29 | 2020-08-05 | ヤマハ株式会社 | Speech synthesis method, speech synthesis system and program |
CN112685000A (en) * | 2020-12-30 | 2021-04-20 | 广州酷狗计算机科技有限公司 | Audio processing method and device, computer equipment and storage medium |
CN116528099A (en) * | 2022-01-24 | 2023-08-01 | Oppo广东移动通信有限公司 | Audio signal processing method and device, earphone device and storage medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK46493D0 (en) * | 1993-04-22 | 1993-04-22 | Frank Uldall Leonhard | METHOD OF SIGNAL TREATMENT FOR DETERMINING TRANSIT CONDITIONS IN AUDITIVE SIGNALS |
GB2319379A (en) * | 1996-11-18 | 1998-05-20 | Secr Defence | Speech processing system |
US6041297A (en) * | 1997-03-10 | 2000-03-21 | At&T Corp | Vocoder for coding speech by using a correlation between spectral magnitudes and candidate excitations |
US6073100A (en) * | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
US6298322B1 (en) * | 1999-05-06 | 2001-10-02 | Eric Lindemann | Encoding and synthesis of tonal audio signals using dominant sinusoids and a vector-quantized residual tonal signal |
US6370500B1 (en) * | 1999-09-30 | 2002-04-09 | Motorola, Inc. | Method and apparatus for non-speech activity reduction of a low bit rate digital voice message |
-
2001
- 2001-07-24 EP EP01117957A patent/EP1280138A1/en not_active Withdrawn
-
2002
- 2002-07-24 WO PCT/EP2002/008256 patent/WO2003012779A1/en not_active Application Discontinuation
- 2002-07-24 US US10/484,983 patent/US20050065781A1/en not_active Abandoned
Non-Patent Citations (2)
Title |
---|
GROSSBERG S: "Pitch Based Streaming in Auditory Perception", TECHNICAL REPORT CAS/CNS-TR-96-007, February 1996 (1996-02-01) - July 1997 (1997-07-01), Boston University MA, XP002187320 * |
HAMDY K N ET AL: "Time-scale modification of audio signals with combined harmonic and wavelet representations", ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 1997. ICASSP-97., 1997 IEEE INTERNATIONAL CONFERENCE ON MUNICH, GERMANY 21-24 APRIL 1997, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 21 April 1997 (1997-04-21), pages 439 - 442, XP010226229, ISBN: 0-8186-7919-0 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004047353B3 (en) * | 2004-09-29 | 2005-05-25 | Siemens Ag | Tone recognition, e.g. for protection signal transmission for controlling, monitoring technical plant, involves digital Fourier transformation to compute/display frequency values in digitized tone signal, overlapping computation processes |
Also Published As
Publication number | Publication date |
---|---|
US20050065781A1 (en) | 2005-03-24 |
WO2003012779A1 (en) | 2003-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1280138A1 (en) | Method for audio signals analysis | |
EP1371055B1 (en) | Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function | |
DE60024501T2 (en) | Improvement of Perceptual Quality of SBR (Spectral Band Replication) AND HFR (Radio Frequency Reconstruction) Coding method by adaptively adding noise floor and limiting the noise substitution | |
DE60103086T2 (en) | IMPROVEMENT OF SOURCE DELIVERY SYSTEMS BY ADAPTIVE TRANSPOSITION | |
EP1979901B1 (en) | Method and arrangements for audio signal encoding | |
DE2818204C2 (en) | Signal processing system for deriving an output signal with reduced interference | |
DE69901606T2 (en) | BROADBAND VOICE SYNTHESIS OF NARROW-BAND VOICE SIGNALS | |
EP2099024B1 (en) | Method for acoustic object-oriented analysis and note object-oriented processing of polyphonic sound recordings | |
DE69719246T2 (en) | Spectral implementation of a digital audio signal | |
DE69607223T2 (en) | Pitch recognition methods, especially for plucking or percussion instruments | |
DE69013738T2 (en) | Speech coding device. | |
EP1523719A2 (en) | Device and method for characterising an information signal | |
DE69425808T2 (en) | Device for compressing and expanding the bandwidth of a speech signal, method for transmitting a compressed speech signal and method for its reproduction | |
EP1388145B1 (en) | Device and method for analysing an audio signal in view of obtaining rhythm information | |
WO2005122135A1 (en) | Device and method for converting an information signal into a spectral representation with variable resolution | |
DE69629934T2 (en) | REVERSED TRANSFORM NARROW / BROADBAND TONSYNTHESIS | |
DE19743662A1 (en) | Bit rate scalable audio data stream generation method | |
DE3228757A1 (en) | METHOD AND DEVICE FOR PERIODIC COMPRESSION AND SYNTHESIS OF AUDIBLE SIGNALS | |
DE102004028693B4 (en) | Apparatus and method for determining a chord type underlying a test signal | |
EP1239455A2 (en) | Method and system for implementing a Fourier transformation which is adapted to the transfer function of human sensory organs, and systems for noise reduction and speech recognition based thereon | |
DE4218623C2 (en) | Speech synthesizer | |
DE69525508T2 (en) | Basic frequency estimation system | |
EP1377924A2 (en) | Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal | |
DE69609592T2 (en) | METHOD AND DEVICE FOR SIGNAL PREPARATION FOR A VOICE ENCODER | |
EP1062659A1 (en) | Method and device for processing a sound signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
AX | Request for extension of the european patent |
Extension state: AL LT LV MK RO SI |
|
17P | Request for examination filed |
Effective date: 20030725 |
|
AKX | Designation fees paid |
Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: BRAINSTREAM AUDIO LTD. |
|
17Q | First examination report despatched |
Effective date: 20090924 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20100202 |