EP1371055A2 - Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function - Google Patents

Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function

Info

Publication number
EP1371055A2
EP1371055A2 EP02742987A EP02742987A EP1371055A2 EP 1371055 A2 EP1371055 A2 EP 1371055A2 EP 02742987 A EP02742987 A EP 02742987A EP 02742987 A EP02742987 A EP 02742987A EP 1371055 A2 EP1371055 A2 EP 1371055A2
Authority
EP
European Patent Office
Prior art keywords
rhythm information
audio signal
raw
signal
subband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP02742987A
Other languages
German (de)
French (fr)
Other versions
EP1371055B1 (en
Inventor
Jürgen HERRE
Jan Rohden
Christian Uhle
Markus Cremer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1371055A2 publication Critical patent/EP1371055A2/en
Application granted granted Critical
Publication of EP1371055B1 publication Critical patent/EP1371055B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/135—Autocorrelation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

A device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function, comprises a filter bank for splitting the audio signal into at least two partial-band signals. The partial band signals are analysed for periodicity by means of an auto-correlation function (106a), in order to obtain raw rhythm information for the at least two partial-band signals. The raw rhythm information is processed (121), to give processed raw rhythm information for the partial-band signal, in order to reduce or eliminate the ambiguity of the auto-correlation function for periodic signals. The rhythm information for the audio signal is determined (122) on the basis of the processed rhythm raw information. Auto-correlation function ambiguity is eliminated at the point of appearance, or rhythm components at double beat, not normally produced by an auto-correlation function processing are added by means of the auto-correlation function processing of partial bands, such that a more robust determination of the rhythm information in the audio signal results.

Description

Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Apparatus for analyzing an audio signal for rhythm information of the audio signal using a
AutokorrelationsfunktionAutocorrelation function
Beschreibungdescription
Die vorliegende Erfindung bezieht sich auf Signalverarbeitungskonzepte und insbesondere auf die Analyse von Audiosignalen hinsichtlich von Rhythmus Informationen .The present invention relates to signal processing concepts and in particular to the analysis of audio signals with regard to rhythm information.
In den letzten Jahren ist die Verfügbarkeit multimedialen Datenmaterials, wie z . B . Audio- oder Video-Daten, stark gestiegen . Dies ist auf eine Reihe von technischen Faktoren zurückzuführen, welche sich insbesondere auf die breite Verfügbarkeit des Internets, von leistungsfähiger Rechnerhard- und Software sowie von leistungsfähigen Verfahren zur Datenkompression, d. h. Quellcodierung, von Audio- und Videoverfahren stützen .In recent years, the availability of multimedia data such as B. Audio or video data, increased significantly. This is due to a number of technical factors, which are particularly due to the wide availability of the Internet, powerful computer hardware and software, as well as powerful methods for data compression, i. H. Support source coding, audio and video processes.
Die riesigen Mengen audiovisueller Daten, die beispielsweise auf dem Internet weltweit verfügbar sind, verlangen nach Konzepten, die es ermöglichen, diese Daten nach inhaltlichen Kriterien beurteilen, katalogisieren usw. zu können . Es besteht der Wunsch, in der Lage zu sein, multimediale Daten gezielt durch Angabe sinnvoller Kriterien zu suchen und aufzufinden .The huge amounts of audiovisual data that are available worldwide, for example on the Internet, call for concepts that enable this data to be assessed, cataloged, etc. based on content criteria. There is a desire to be able to search for and locate multimedia data by specifying meaningful criteria.
Dies erfordert sogenannte „inhaltsbasierter" Techniken, die aus den audiovisuellen Daten sogenannte Merkmale, die in Fachkreisen auch als „Features" bezeichnet werden, extrahieren, welche wichtige charakteristische Eigenschaften des Signals repräsentieren . Basierend auf solchen Merkmalen bzw . Kombinationen dieser Merkmale können Ähnlichkeitsbeziehungen bzw. Gemeinsamkeiten zwischen Audio- oder Videosignalen hergeleitet werden . Dieser Vorgang erfolgt durch Vergleich bzw. In-Beziehung-Setzen der extrahierten Merkmalswerte aus den verschiedenen Signalen, welche auch einfach als „Stücke" bezeichnet werden . Von besonderem Interesse ist die Bestimmung bzw. Extraktion von Merkmalen, die nicht nur signaltheoretische, sondern möglichst unmittelbare semantische Bedeutung haben, d. h. vom Hörer unmittelbar empfundene Eigenschaften repräsentieren.This requires so-called “content-based” techniques, which extract so-called features from the audiovisual data, which are also referred to as “features” in specialist circles, which represent important characteristic properties of the signal. Based on such features or. Combinations of these features can be used to derive similarity relationships or similarities between audio or video signals. This process takes place by comparing or relating the extracted feature values from the various signals, which are also simply referred to as “pieces”. Of particular interest is the determination or extraction of features that are not only signal-theoretical, but also have the most immediate semantic meaning, ie represent properties that are directly felt by the listener.
Dies ermöglicht es dem Benutzer, auf einfache und intuitive Weise Suchanfragen zu formulieren, um Stücke aus dem gesamten vorhandenen Datenbestand einer Audiosignal-Datenbank zu finden. Ebenso erlauben es semantisch relevante Merkmale, Ähnlichkeitsbeziehungen zwischen Stücken zu modellieren, die der menschlichen Empfindung nahe kommen. Die Verwendung von Merkmalen, die semantische Bedeutung haben, ermöglicht auch beispielsweise ein automatisches Vorschlagen von für einen bestimmten Benutzer interessanten Stücken, wenn seine Vorlieben bekannt sind.This enables the user to formulate search queries in a simple and intuitive manner in order to find pieces from the entire existing database of an audio signal database. Likewise, semantically relevant features make it possible to model similarity relationships between pieces that come close to human perception. The use of features that have semantic meaning also makes it possible, for example, to automatically propose pieces that are of interest to a particular user if his preferences are known.
Im Bereich der Musikanalyse ist das Tempo ein wichtiger musikalischer Parameter, der semantische Bedeutung hat. Das Tempo wird üblicherweise in „Beats per Minute" (BPM) gemessen. Die automatische Extraktion des Tempos sowie der Taktschwerpunkte des „Beats" bzw. allgemein gesagt die automatische Extraktion von Rhythmusinformationen, ist ein Beispiel für die Gewinnung eines semantisch wichtigen Merkmals eines Musikstücks.In the field of music analysis, the tempo is an important musical parameter that has semantic meaning. The tempo is usually measured in "beats per minute" (BPM). The automatic extraction of the tempo as well as the beats of the "beat" or generally speaking the automatic extraction of rhythm information is an example of obtaining a semantically important feature of a piece of music.
Weiterhin besteht ein Wunsch dahingehend, dass die Merkmalsex¬ traktion, d. h. das Extrahieren von Rhythmusinformationen aus einem Audiosignal, robust und recheneffizient stattfinden kann. Robustheit bedeutet, dass es keine Rolle spielen darf, ob das Stück quellcodiert und wieder decodiert worden ist, ob das Stück über einen Lautsprecher abgespielt und von einem Mikrophon emp¬ fangen worden ist, oder ob es von einem Instrument oder einer Mehrzahl von Instrumenten gespielt wird.Furthermore, there is a desire in that the Merkmalsex ¬ traction, ie extracting rhythm information from an audio signal, rugged and can take place computationally efficient. Robustness means that it may not matter whether the piece of source encoded and is decoded again, whether the piece played through a speaker and has been from a microphone emp ¬ catch, or whether it is played by an instrument or a plurality of tools ,
Für die Bestimmung der Taktschwerpunkte und damit auch des Tempos, d. h. für die Bestimmung von Rhythmusinformationen, hat sich in den Fachkreisen auch der Begriff „Beat Tracking" etabliert. Aus dem Stand der Technik ist es bereits bekannt, ein Beat Tracking auf der Basis einer notenartigen bzw. transkribierten Signaldarstellung, z. B. im Midi-Format, durchzuführen. Ziel ist es jedoch, keine solchen Metadarstellungen zu benötigen, sondern eine Analyse direkt mit einem z. B. PCM-codierten oder allgemein gesagt digital vorliegenden Audiosignal vorzunehmen.For the determination of the center of gravity and thus also the tempo, ie for the determination of rhythm information The term “beat tracking” has also established itself in the specialist circles. It is already known from the prior art to carry out beat tracking on the basis of a note-like or transcribed signal representation, for example in midi format however, not to need such a meta representation, but to carry out an analysis directly with, for example, a PCM-coded or generally speaking digitally available audio signal.
Die Fachveröffentlichung „Tempo and Beat Analysis of Acoustic Musical Signals" von Eric D. Scheirer, J. Acoust. Soc. Am. 103:1, (Jan 1998), Seiten 588 - 601, offenbart ein Verfahren zur automatischen Extraktion eines rhythmischen Pulses aus musikalischen Exzerpten. Das Eingangssignal wird mittels einer Filterbank in eine Reihe von Teilbändern aufgespalten, beispielsweise in 6 Teilbänder mit Übergangsfrequenzen von 200 Hz, 400 Hz, 800 Hz, 1600 Hz und 3200 Hz. Für das erste Teilband wird eine Tiefpassfilterung durchgeführt. Für das letzte Teilband wird eine Hochpassfilterung durchgeführt, für die restlichen, dazwischen liegenden Teilbände wird eine Bandpassfilterung beschrieben. Jedes Teilband wird folgendermaßen verarbeitet. Das Teilbandsignal wird zunächst gleichgerichtet. In anderen Worten ausgedrückt wird der Absolutbetrag der Abtastwerte bestimmt. Die resultierenden n Werte werden dann geglättet, beispielsweise mit einer Mittelung über ein geeignetes Fenster, um ein Hüllkurvensignal zu erhalten. Zur Senkung der Rechenkomplexität kann das Hüllkurvensignal unterabgetastet werden. Die Hüllkurvensignale werden differenziert, d. h. plötzliche Änderungen der Signalamplitude werden durch das Differenzierungsfilter bevorzugt weitergeleitet. Das Resultat wird dann auf nicht-negative Werte begrenzt. Jedes Hüllkurvensignal wird dann in eine Bank resonanter Filter, d. h. Oszillatoren, gegeben, die jeweils ein Filter für jeden Tempobereich enthalten, so dass das zum musikalischen Tempo passende Filter am stärksten angeregt wird. Für jedes Filter wird die Energie des Ausgangssignals als Maß für die Übereinstimmung des Tempos des Eingangssignals mit dem zum Filter gehörigen Tempo berechnet. Die Energien für jedes Tempo werden schließlich über alle Teilbänder aufsummiert, wobei die größte Energiesumme das als Resultat gelieferte Tempo, d. h. die Rhythmusinformationen, kennzeichnet. Im Gegensatz zu Autokorrelationsverfahren wird als vorteilhaft herausgestellt, daß die Oszillatorbank auch mit Ausgangssignalen bei dem doppelten, dreifachen, etc. des Tempos oder auch bei rationalen Vielfachen (z. B. 2/3, 4/3) des Tempos auf einen Stimulus reagiert. Eine Autokorrelationsfunktion hat diese Eigenschaft nicht, sie liefert nur Ausgangssignale bei dem halbierten, gedrittelten, etc. Tempo.The professional publication "Tempo and Beat Analysis of Acoustic Musical Signals" by Eric D. Scheirer, J. Acoust. Soc. Am. 103: 1, (Jan 1998), pages 588-601, discloses a method for the automatic extraction of a rhythmic pulse The input signal is split up into a series of subbands by means of a filter bank, for example into 6 subbands with crossover frequencies of 200 Hz, 400 Hz, 800 Hz, 1600 Hz and 3200 Hz. Low pass filtering is carried out for the first subband. For the last one Sub-band is high-pass filtered, band-pass filtering is described for the remaining sub-bands in between. Each sub-band is processed as follows. The sub-band signal is first rectified. In other words, the absolute value of the samples is determined. The resulting n values are then smoothed, for example with an averaging over a suitable window to a Obtain envelope signal. The envelope signal can be subsampled to reduce the computational complexity. The envelope signals are differentiated, ie sudden changes in the signal amplitude are preferably passed on through the differentiation filter. The result is then limited to non-negative values. Each envelope signal is then placed in a bank of resonant filters, ie oscillators, each containing a filter for each tempo range, so that the filter that matches the musical tempo is most strongly stimulated. For each filter, the energy of the output signal is used as a measure of the match the tempo of the input signal with the tempo associated with the filter. The energies for each tempo are finally summed up over all subbands, the largest energy sum identifying the tempo supplied as the result, ie the rhythm information. In contrast to autocorrelation methods, it is found to be advantageous that the oscillator bank also responds to a stimulus with output signals at double, triple, etc. of the tempo, or even at rational multiples (e.g. 2/3, 4/3) of the tempo. An autocorrelation function does not have this property, it only provides output signals at the halved, third, etc. tempo.
Ein wesentlicher Nachteil dieses Verfahrens besteht in der großen Rechen- und Speicherkomplexität insbesondere zur Realisierung der großen Zahl von parallelschwingenden „Oszillatoren", von denen letztlich nur ein einziger ausgewählt wird. Dies macht eine effiziente Implementierung beispielsweise für Echtzeitanwendungen nahezu unmöglich.A major disadvantage of this method is the great computation and storage complexity, in particular for realizing the large number of parallel-oscillating “oscillators”, of which only one is ultimately selected. This makes efficient implementation, for example for real-time applications, almost impossible.
Die Fachveröffentlichung „Pulse Tracking with a Pitch Tracker" von Eric D. Scheirer, Proc. 1997 Workshop on Applications of Signal Processing to Audio and Acoustics, Mohonk, NY, Oct 1997, beschreibt einen Vergleich des oben beschriebenen „Oszillatorkonzeptes" mit einem Alternativkonzept, das auf der Verwendung von Autokorrelationsfunktionen zur Extraktion der Periodizität aus einem Audiosignal, d. h. der RhythmusInformationen eines Signals, aufbaut. Ein Algorithmus zur Modellierung der menschlichen Tonhöhenwahrnehmung, d. h. des Pitch, wird für das „Beat Tracking" eingesetzt.The specialist publication "Pulse Tracking with a Pitch Tracker" by Eric D. Scheirer, Proc. 1997 Workshop on Applications of Signal Processing to Audio and Acoustics, Mohonk, NY, Oct 1997, describes a comparison of the "oscillator concept" described above with an alternative concept, based on the use of autocorrelation functions to extract periodicity from an audio signal, d. H. the rhythm information of a signal. An algorithm for modeling human pitch perception, i.e. H. the pitch, is used for "beat tracking".
Der bekannte Algorithmus ist in Fig. 3 als Blockdiagramm dargestellt. Das Audiosignal wird über einen Audioeingang 300 einer Analyse-Filterbank 302 zugeführt. Die Analyse-Filterbank erzeugt aus dem Audioeingang eine Anzahl n von Kanälen, d. h. von einzelnen Teilbandsignalen. Jedes Teilbandsignal enthält einen bestimmten Bereich an Frequenzen des Audiosignals. Die Filter der Analyse-Filterbank sind so ausgewählt, dass sie die Selektionscharakteristik des menschlichen Innenohrs annähern. Eine solche Analyse-Filterbank wird auch als Gamma-Ton- Filterbank bezeichnet.The known algorithm is shown in Fig. 3 as a block diagram. The audio signal is fed via an audio input 300 to an analysis filter bank 302. The analysis filter bank generates a number n of channels, ie individual subband signals, from the audio input. Each subband signal contains a certain range of frequencies of the audio signal. The filters of the analysis filter bank are selected so that they approximate the selection characteristics of the human inner ear. Such an analysis filter bank is also referred to as a gamma-tone filter bank.
In den Einrichtungen 304a bis 304c werden die Rhythmus- Informationen jedes Teilbandsignals ausgewertet. Für jedes Eingangssignal wird zunächst ein hüllkurvenartiges Ausgangssignal berechnet (entsprechend einer sogenannten „Inner Hair Cell"- Verarbeitung im Ohr) und unterabgetastet. Aus diesem Resultat wird eine Autokorrelationsfunktion (AKF) berechnet, um die Peri- odizität des Signals als Funktion der Verzögerung, d. h. des „Lag" zu erhalten.The rhythm information of each subband signal is evaluated in the devices 304a to 304c. For each input signal, an envelope-like output signal is first calculated (corresponding to what is known as "inner hair cell" processing in the ear) and subsampled. An autocorrelation function (AKF) is calculated from this result in order to determine the periodicity of the signal as a function of the delay, ie of the "lag".
Am Ausgang der Einrichtungen 304a bis 304c liegt dann für jedes Teilbandsignal eine Autokorrelationsfunktion vor, welche die Rhythmus-Informationen jedes Teilbandsignals darstellt.An autocorrelation function is then available at the output of the devices 304a to 304c for each subband signal, which function represents the rhythm information of each subband signal.
Die einzelnen Autokorrelationsfunktionen der Teilbandsignale werden dann in einer Einrichtung 306 durch Summation kombiniert, um eine Summenautokorrelationsfunktion (SAKF) zu erhalten, welche Aspekte der Rhythmus-Informationen des Signals am Audio- Eingang 300 wiedergibt. Diese Informationen können an einem Tempo-Ausgang 308 ausgegeben werden. Große Werte in der Summenauto- korrelation zeigen an, dass für eine einer Spitze der SAKF zugeordneten Verzögerung (Lag) eine hohe Periodizität der Notenanfänge vorliegt. Daher wird beispielsweise der größte Wert der Summenautokorrelationsfunktion innerhalb der musikalisch sinn¬ vollen Verzögerungen gesucht.The individual autocorrelation functions of the subband signals are then combined in a device 306 by summation in order to obtain a sum autocorrelation function (SAKF) which reproduces aspects of the rhythm information of the signal at the audio input 300. This information can be output at a tempo output 308. Large values in the total auto-correlation indicate that there is a high periodicity of the beginning of notes for a delay (lag) assigned to a peak of the SAKF. Therefore, the largest value of the sum autocorrelation function, for example, searched for within the musically ¬ full delays.
Musikalisch sinnvolle Verzögerungen sind beispielsweise der Tempobereich zwischen 60 bpm und 200 bpm. Die Einrichtung 306 kann ferner angeordnet sein, um eine Verzögerungszeit in Tempoinformationen umzusetzen. So entspricht beispielsweise eine Spitze einer Verzögerung von einer Sekunde einem Tempo von 60 Schlägen pro Minute. Kleinere Verzögerungen deuten auf höhere Tempos hin, während größere Verzögerungen auf kleinere Tempos als 60 bpm hinweisen.Musically sensible delays include the tempo range between 60 bpm and 200 bpm. Means 306 may also be arranged to convert a delay time into tempo information. For example, a tip corresponds a one second delay at a rate of 60 beats per minute. Smaller delays indicate higher speeds, while larger delays indicate lower speeds than 60 bpm.
Dieses Verfahren hat gegenüber dem zuerst genannten Verfahren einen Vorteil dahingehend, dass keine Oszillatoren mit großem Rechen- und Speicheraufwand implementiert werden müssen. Andererseits ist das Konzept dahingehend nachteilhaft, dass die Qualität der Ergebnisse sehr stark von der Art des Audiosignals abhängt. Ist aus einem Audiosignal beispielsweise ein dominantes Rhythmusinstrument herauszuhören, so wird das in Fig. 3 beschriebene Konzept gut funktionieren. Ist dagegen die Stimme dominant, welche keine besonders eindeutigen Rhythmusinformationen liefern wird, so wird die Rhythmusbestimmung mehrdeutig sein. In dem Audiosignal könnte durchaus auch ein Band vorkommen, das lediglich Rhythmusinformationen enthält, wie z. B. ein höheres Frequenzband, in dem beispielsweise ein Hihat eines Schlagzeugs positioniert ist, oder ein niedriges Frequenzband, in dem die große Trommel eines Schlagzeugs auf der Frequenzskala positioniert ist. Aufgrund der Kombination der Einzelinformationen werden jedoch die einigermaßen eindeutigen Informationen dieser speziellen Teilbänder von den mehrdeutigen Informationen der anderen Teilbänder überlagert bzw. „verwässert".This method has an advantage over the first-mentioned method in that no oscillators need to be implemented with a large amount of computation and memory. On the other hand, the concept is disadvantageous in that the quality of the results depends very much on the type of audio signal. If, for example, a dominant rhythm instrument can be heard from an audio signal, the concept described in FIG. 3 will work well. If, on the other hand, the voice is dominant, which will not provide particularly clear rhythm information, the rhythm determination will be ambiguous. In the audio signal there could also be a band that only contains rhythm information, such as B. a higher frequency band in which, for example, a hi-hat of a drum kit is positioned, or a low frequency band in which the bass drum of a drum kit is positioned on the frequency scale. Due to the combination of the individual information, however, the somewhat unambiguous information of these special subbands is overlaid or "watered down" by the ambiguous information of the other subbands.
Ein weiteres Problem bei der Verwendung von Autokorrelationsfunktionen zum Extrahieren der Periodizität eines Teilbandsignals besteht darin, dass die Summen-Autokorrelationsfunktion, die durch die Einrichtung 306 gewonnen wird, mehrdeutig ist. Die Summen-Autokorrelationsfunktion am Ausgang 306 ist dahingehend mehrdeutig, dass auch beim Vielfachen einer Verzögerung eine Au- tokorrelationsfunktions-Spitze erzeugt wird. Dies ist daraus verständlich, dass eine Sinuskomponente mit einer Periode von tO, wenn sie einer Autokorrelationsfunktionverarbeitung unterzo- gen wird, neben dem gewünschten Maximum bei tO auch Maxima bei Vielfachen der Verzögerungen, d. h. bei 2t0, 3t0, usw. erzeugt.Another problem with using autocorrelation functions to extract the periodicity of a subband signal is that the sum autocorrelation function obtained by means 306 is ambiguous. The total auto-correlation function at output 306 is ambiguous in that an auto-correlation function peak is generated even when a delay is multiplied. This is understandable from the fact that a sine component with a period of tO when subjected to autocorrelation function processing. In addition to the desired maximum at tO, maxima are also generated at multiples of the delays, ie at 2t0, 3t0, etc.
Die Fachveröffentlichung „A Computationally Efficient Multipitch Analysis Model", von Tolonen und Karjalainen, IEEE Transactions on Speech and Audio Processing, Band 8, Nr. 6, Nov. 2000, offenbart ein rechenzeiteffizientes Modell für eine Periodizitätsana- lyse von komplexen Audiosignalen. Das Rechenmodell teilt das Signal in zwei Kanäle auf, und zwar in einen Kanal unter 1000 Hz und einen Kanal über 1000 Hz. Hieraus wird eine Autokorrelation des unteren Kanals und eine Autokorrelation der Hüllkurve des oberen Kanals berechnet. Schließlich werden die beiden Autokorrelationsfunktionen summiert. Um die Mehrdeutigkeiten der Summenautokorrelationsfunktion zu eliminieren, wird die Summenautokorrelationsfunktion weiterverarbeitet, um eine sogenannte En- hanced Summary Autocorrelation Function (ESACF) (Weiterentwik- kelte Summenautokorrelationsfunktion) zu erhalten. Diese Nachbearbeitung der Summenautokorrelationsfunktion beinhaltet ein wiederholtes Abziehen von mit ganzzahligen Faktoren gespreizten Versionen der Autokorrelationsfunktion von der Summenautokorrelationsfunktion mit nachfolgender Begrenzung auf nicht-negative Werte.The specialist publication "A Computationally Efficient Multipitch Analysis Model", by Tolonen and Karjalainen, IEEE Transactions on Speech and Audio Processing, Volume 8, No. 6, Nov. 2000, discloses a computationally time-efficient model for periodicity analysis of complex audio signals divides the signal into two channels, a channel below 1000 Hz and a channel above 1000 Hz. This is used to calculate an autocorrelation of the lower channel and an autocorrelation of the envelope curve of the upper channel. Finally, the two autocorrelation functions are summed up To eliminate the sum autocorrelation function, the sum autocorrelation function is processed further in order to obtain a so-called enhanced summary autocorrelation function (ESACF) .This postprocessing of the sum autocorrelation function includes a repeated subtraction of with integer fact oren spread versions of the autocorrelation function from the sum autocorrelation function with subsequent limitation to non-negative values.
Nachteilig an diesem Konzept ist die Tatsache, dass die durch die Autokorrelationsfunktionen in den Teilbändern pro Teilband erhaltenen Mehrdeutigkeiten erst in der Summenautokorrelationsfunktion eliminiert werden, jedoch nicht unmittelbar dort, wo sie auftreten, nämlich in den einzelnen Teilbändern.A disadvantage of this concept is the fact that the ambiguities obtained by the autocorrelation functions in the subbands per subband are only eliminated in the total autocorrelation function, but not immediately where they occur, namely in the individual subbands.
Ein weiterer Nachteil dieses Konzepts ist die Tatsache, daß die Autokorrelationsfunktion an sich keinen Hinweis auf das doppelte, dreifache, ... des Tempos liefert, dem eine Autokorrelationsspitze zugeordnet ist. Die Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung und ein Verfahren zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen unter Verwendung einer Autokorrelationsfunktion zu schaffen, das robust und rechenzeiteffizient ist.Another disadvantage of this concept is the fact that the autocorrelation function itself does not provide information on double, triple, ... of the tempo to which an autocorrelation peak is assigned. The object of the present invention is to provide a device and a method for analyzing an audio signal for rhythm information using an autocorrelation function which is robust and computationally time-efficient.
Diese Aufgabe wird durch eine Vorrichtung zum Analysieren eines Audiosignals nach Patentanspruch 1, 8 oder 9, oder durch ein Verfahren zum Analysieren eines Audiosignals nach Patentanspruch 7, 10, 11 gelöst.This object is achieved by a device for analyzing an audio signal according to patent claim 1, 8 or 9, or by a method for analyzing an audio signal according to patent claim 7, 10, 11.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß eine Nachbearbeitung einer Autokorrelationsfunktion teilbandwei- se durchgeführt werden kann, um die Mehrdeutigkeiten der Autokorrelationsfunktion für periodische Signale zu eliminieren bzw. Tempoinformationen, die eine Autokorrelationsverarbeitung nicht liefert, den durch eine Autokorrelationsfunktion erhaltenen Informationen hinzugefügt werden. Gemäß einem Aspekt der vorliegenden Erfindung wird eine Autokorrelationsfunktion-Nachbearbeitung der Teilbandsignale verwendet, um die Mehrdeutigkeiten bereits „an der Wurzel" zu beseitigen, bzw. „fehlende" Rhythmusinformationen hinzuzufügen.The present invention is based on the finding that postprocessing of an autocorrelation function can be carried out on a sub-band basis in order to eliminate the ambiguities of the autocorrelation function for periodic signals or tempo information which autocorrelation processing does not provide is added to the information obtained by an autocorrelation function. According to one aspect of the present invention, an autocorrelation function postprocessing of the subband signals is used in order to eliminate the ambiguities “at the root” or to add “missing” rhythm information.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Nachbearbeitung der Summenautokorrelationsfunktion durchgeführt, um nachbearbeitete Rhythmus-Rohinformationen für das Audiosignal zu erhalten, so daß in den nachbearbeiteten Rhythmus- Rohinformationen ein Signalanteil bei einem ganzzahligen Bruchteil einer Verzögerung, der eine Autokorrelationsfunktionsspitze zugeordnet ist, hinzugefügt ist. Hierdurch ist es möglich, die durch eine Autokorrelationsfunktion nicht erhaltenen Rhythmusinformationen bei doppelten, dreifachen etc. Tempi bzw. bei rationalen Vielfachen durch Berechnen von um einen ganzzahligen Faktor oder um einen rationalen Faktor gestauchten Versionen der Autokorrelationsfunktion und durch Addieren dieser Versionen zur ursprünglichen Autokorrelationsfunktion zu erzeugen. Im Gegensatz zum Stand der Technik, bei dem hierzu eine aufwendige Oszillatorenbank benötigt wird, geschieht dies erfindungsgemäß mit einfach zu implementierenden Gewichtungs- und Additionsroutinen.According to a further aspect of the present invention, postprocessing of the sum autocorrelation function is carried out in order to obtain postprocessed raw rhythm information for the audio signal, so that in the postprocessed raw rhythm information a signal component is added at an integer fraction of a delay which is associated with an auto-correlation function peak , This enables the rhythm information not obtained by an autocorrelation function to be used at double, triple, etc. tempos or, in the case of rational multiples, by calculating versions of the autocorrelation function that are compressed by an integer factor or by a rational factor and by adding these versions to generate the original autocorrelation function. In contrast to the prior art, in which a complex oscillator bank is required, this is done according to the invention with easy-to-implement weighting and addition routines.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Summenautokorrelationsfunktion ferner nachbearbeitet, indem eine mit einem Faktor, der größer als Null und kleiner als Eins ist, gewichtete, um einen ganzzahligen Faktor größer als Eins gespreizte Version der Rhythmus-Rohinformationen zu der Autokorrelationsfunktion subtrahiert wird. Dies hat den Vorteil einer Elimination der AKF-Mehrdeutigkeiten bei den ganzzahligen Vielfachen der Verzögerung, der eine Autokorrelationsspitze zugeordnet ist. Während im Stand der Technik keine Gewichtung der gespreizten Versionen der Autokorrelationsfunktion vor der Subtraktion durchgeführt wird, und eine Elimination der Mehrdeutigkeiten somit nur im theoretisch optimalen Fall erreicht wird, bei dem der Rhythmus sich ideal zyklisch wiederholt, liefert die gewichtete Subtraktion die Möglichkeit, durch geeignete Wahl der Gewichtungsfaktoren, die beispielsweise empirisch erfolgen kann, Rhythmusinformationen, die sich nicht ideal zyklisch wiederholen, zu berücksichtigen.According to a further aspect of the present invention, the sum autocorrelation function is further postprocessed by subtracting a version of the raw rhythm information spread by a factor that is greater than zero and less than one by an integer factor greater than one to the autocorrelation function. This has the advantage of eliminating the AKF ambiguities in the integral multiples of the delay to which an auto-correlation peak is assigned. While in the prior art no weighting of the spread versions of the autocorrelation function is carried out before the subtraction, and an elimination of the ambiguities is only achieved in the theoretically optimal case in which the rhythm repeats ideally cyclically, the weighted subtraction provides the possibility of using suitable ones Choice of weighting factors, which can be done empirically, for example, to take rhythm information into account that does not ideally repeat itself cyclically.
Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird eine Autokorrelationsfunktion-Nachverarbeitung durchgeführt, indem die mittels einer Autokorrelationsfunktion bestimmten Rhythmus-Rohinformationen mit gestauchten und/oder gespreizten Versionen derselben kombiniert werden. Im Falle der Verwendung von gespreizten Versionen der Rhythmus- Rohinformationen werden die gespreizten Versionen von den Rhythmus-Rohinformationen subtrahiert, während im Falle von um ganzzahlige Faktoren gestauchten Versionen der Autokorrelationsfunktion diese gestauchten Versionen zu den Rhythmus- Rohinformationen hinzuaddiert werden. Bei einem bevorzugten Ausführungsbeispiel der Erfindung wird die gestauchte/gespreizte Version vor dem Addieren bzw. Subtrahieren mit einem Faktor zwischen Null und Eins gewichtet.According to a preferred exemplary embodiment of the present invention, an autocorrelation function postprocessing is carried out by combining the raw rhythm information determined by means of an autocorrelation function with compressed and / or spread versions thereof. In the case of using spread versions of the raw rhythm information, the spread versions are subtracted from the raw rhythm information, while in the case of versions of the autocorrelation function that are compressed by integer factors, these compressed versions are added to the raw rhythm information. In a preferred embodiment of the invention, the compressed / spread version is weighted with a factor between zero and one before adding or subtracting.
Gemäß einem weiteren bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird eine Qualitätsbeurteilung der Rhythmus- Rohinformationen, um ein Signifikanzmaß zu erhalten, auf der Basis der nachverarbeiteten Rhythmus-Rohinformationen durchgeführt, derart, daß die Qualitätsbeurteilung nicht mehr durch Au- tokorrelationsfunktions-Artefakte beeinflußt wird. Damit wird eine sichere Qualitätsbeurteilung möglich, wodurch die Robustheit des Bestimmens von RhythmusInformationen des Audiosignals weiter gesteigert werden kann.According to a further preferred exemplary embodiment of the present invention, a quality assessment of the raw rhythm information in order to obtain a significance measure is carried out on the basis of the postprocessed raw rhythm information such that the quality assessment is no longer influenced by auto-correlation function artifacts. This enables a reliable quality assessment, which further increases the robustness of determining rhythm information of the audio signal.
Alternativ kann die Qualitätsbeurteilung bereits vor der AKF- Nachverarbeitung stattfinden. Dies hat den Vorteil, daß, wenn ein flacher Verlauf der Rhythmus-Rohinformationen festgestellt wird, d.h. keine ausgeprägten Rhythmusinformationen, auf die AKF-Nachverarbeitung für dieses Teilbandsignal verzichtet werden kann, da dieses Teilband aufgrund seiner wenig aussagekräftigen Rhythmus-Informationen beim Ermitteln der Rhythmusinformationen des Audiosignals ohnehin keine Rolle spielen wird. Auf diese Art und Weise kann der Rechen- und Speicheraufwand weiter reduziert werden.Alternatively, the quality assessment can take place before AKF post-processing. This has the advantage that if a flat course of the raw rhythm information is found, i.e. no pronounced rhythm information, which means that AKF postprocessing for this subband signal can be dispensed with, since this subband will not play a role anyway in determining the rhythm information of the audio signal due to its less meaningful rhythm information. In this way, the computing and storage effort can be further reduced.
In den einzelnen Frequenzbändern, d. h. den Teilbändern, liegen oftmals unterschiedlich günstige Bedingungen für das Auffinden von rhythmischen Periodizitäten vor. Während beispielsweise bei Popmusik oftmals im Bereich der Mitte, beispielsweise um 1 kHz, das Signal von nicht mit dem Beat korrespondierenden Gesang dominiert wird, sind in den höheren Frequenzbereichen oftmals vor allem Perkussionsklänge präsent, wie z. B. das Hihat des Schlagzeugs, welche eine sehr gute Extraktion rhythmischer Regelmäßigkeiten erlauben. Anders ausgedrückt beinhalten unterschiedliche Frequenzbänder je nach Audiosignal eine unterschiedliche Menge an rhythmischer Information bzw. haben eine unterschiedliche Qualität oder Signifikanz für die Rhythmusinformationen des Audiosignals .The individual frequency bands, ie the sub-bands, often have differently favorable conditions for finding rhythmic periodicities. While in pop music, for example, the signal is often dominated in the middle range, for example around 1 kHz, by vocals that do not correspond to the beat, percussion sounds are often present in the higher frequency ranges. B. the hi-hat of the drums, which allow a very good extraction of rhythmic regularities. In other words, different frequency bands contain a different amount depending on the audio signal of rhythmic information or have a different quality or significance for the rhythm information of the audio signal.
Das Audiosignal wird daher zunächst in Teilbandsignale zerlegt. Jedes Teilbandsignal wird hinsichtlich seiner Periodizität untersucht, um Rhythmus-Rohinformationen für jedes Teilbandsignal zu erhalten. Hierauf wird gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung eine Bewertung der Qualität der Periodizität jedes Teilbandsignals durchgeführt, um ein Signifikanzmaß für jedes Teilbandsignal zu erhalten. Ein hohes Signifikanzmaß deutet darauf hin, dass in diesem Teilbandsignal deutliche RhythmusInformationen vorliegen, während ein niedriges Signifikanzmaß darauf hindeutet, dass in diesem Teilbandsignal weniger eindeutige Rhythmusinformationen vorliegen.The audio signal is therefore first broken down into subband signals. Each subband signal is examined for its periodicity to obtain raw rhythm information for each subband signal. An evaluation of the quality of the periodicity of each subband signal is then carried out in accordance with a preferred exemplary embodiment of the present invention in order to obtain a measure of significance for each subband signal. A high level of significance indicates that there is clear rhythm information in this subband signal, while a low level of significance indicates that there is less clear rhythm information in this subband signal.
Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird bei der Untersuchung eines Teilbandsignals hinsichtlich seiner Periodizitäten zunächst eine modifizierte Hüllkurve des Teilbandsignals berechnet und dann eine Autokorrelationsfunktion der Hüllkurve berechnet. Die Autokorrelationsfunktion der Hüllkurve stellt die Rhythmus-Rohinformationen dar. Eindeutige RhythmusInformationen liegen vor, wenn die Autokorrelationsfunktion deutliche Maxima aufweist, während weniger eindeutige Rhythmusinformationen vorliegen, wenn die Autokorrelationsfunktion der Hüllkurve des Teilbandsignals weniger ausgeprägte Signalspitzen oder überhaupt keine Signalspitzen hat. Eine Autokorrelationsfunktion, die deutliche Signalspitzen hat, wird daher ein hohes Signifikanzmaß erhalten, während eine Autokorrelationsfunktion, die einen relativ flachen Verlauf hat, ein niedriges Signifikanzmaß erhalten wird. Die Artefakte der Autokorrelationsfunktionen werden, wie oben ausgeführt, erfindungsgemäß eliminiert. Die einzelnen Rhythmus-Rohinformationen der einzelnen Teilbandsignale werden also nicht einfach „blind" kombiniert, sondern unter Berücksichtigung des Signifikanzmaßes für jedes Teilbandsignal verwendet, um die RhythmusInformationen des Audiosignals zu erhalten. Hat ein Teilbandsignal ein hohes Signifikanzmaß, so wird es bei der Ermittlung der RhythmusInformationen bevorzugt, während ein Teilbandsignal, das ein niedriges Signifikanzmaß hat, d. h. das eine niedrige Qualität hinsichtlich der Rhythmusinformationen aufweist, bei der Ermittlung der Rhythmusinformationen des Audiosignals kaum oder im Extremfall überhaupt nicht berücksichtigt wird.According to a preferred exemplary embodiment of the present invention, when examining a subband signal with regard to its periodicities, a modified envelope curve of the subband signal is first calculated and then an autocorrelation function of the envelope curve is calculated. The envelope's autocorrelation function represents the raw rhythm information. Clear rhythm information is available when the autocorrelation function has clear maxima, while rhythm information is less clear when the envelope signal's autocorrelation function has fewer pronounced signal peaks or no signal peaks at all. An autocorrelation function that has significant signal peaks is therefore given a high level of significance, while an autocorrelation function that has a relatively flat profile is obtained a low level of significance. As explained above, the artifacts of the autocorrelation functions are eliminated according to the invention. The individual raw rhythm information of the individual subband signals are therefore not simply combined “blindly”, but are used, taking into account the significance measure for each subband signal, in order to obtain the rhythm information of the audio signal. If a subband signal has a high significance measure, it becomes so when determining the rhythm information Preferably, while a subband signal that has a low degree of significance, ie that has a low quality with regard to the rhythm information, is hardly taken into account when determining the rhythm information of the audio signal, or in the extreme case not at all.
Dies kann rechenzeiteffizient gut durch einen Gewichtungsfaktor implementiert werden, der von dem Signifikanzmaß abhängt. Während ein Teilbandsignal, das eine gute Qualität für die Rhythmusinformationen hat, d. h. das ein hohes Signifikanzmaß hat, einen Gewichtungsfaktor von 1 erhalten könnte, wird ein anderes Teilbandsignal, das ein kleineres Signifikanzmaß hat, einen Gewichtungsfaktor kleiner als 1 erhalten. Im Extremfall wird ein Teilbandsignal, das eine vollkommen flache Autokorrelationsfunktion hat, einen Gewichtungsfaktor von 0 haben. Die gewichteten Autokorrelationsfunktionen, d. h. die gewichteten Rhythmus- Rohinformationen werden dann einfach aufsummiert. Wenn lediglich ein Teilbandsignal sämtlicher Teilbandsignale gute Rhythmusinformationen liefert, während die anderen Teilbandsignale Autokorrelationsfunktionen mit einem flachen Verlauf aufweisen, kann diese Gewichtung im Extremfall dazu führen, dass alle Teilbandsignale außer dem einen Teilbandsignal einen Gewichtungsfaktor von 0 erhalten, d. h. bei der Ermittlung der Rhythmusinformationen überhaupt nicht berücksichtigt werden, so dass die Rhythmusinformationen des Audiosignals lediglich aus einem einzigen Teilbandsignal ermittelt werden.This can be implemented in a computationally efficient manner by means of a weighting factor which depends on the significance measure. While a subband signal that is of good quality for the rhythm information, i. H. that has a high degree of significance could receive a weighting factor of 1, another subband signal that has a smaller degree of significance will receive a weighting factor less than 1. In extreme cases, a subband signal that has a completely flat autocorrelation function will have a weighting factor of 0. The weighted autocorrelation functions, i.e. H. the raw weighted rhythm information is then simply added up. In extreme cases, if only one subband signal of all subband signals provides good rhythm information while the other subband signals have autocorrelation functions with a flat profile, this weighting can result in all subband signals except the one subband signal receiving a weighting factor of 0, i. H. are not taken into account at all when determining the rhythm information, so that the rhythm information of the audio signal is only determined from a single subband signal.
Das erfindungsgemäße Konzept ist dahingehend vorteilhaft, dass es eine robuste Bestimmung der Rhythmusinformationen ermöglicht, da Teilbandsignale mit keinen eindeutigen bzw. sogar abweichenden Rhythmusinformationen, d. h. wenn der Gesang einen anderen Rhythmus aufweist als der eigentliche Beat des Stücks, die Rhythmusinformationen des Audiosignals nicht „verwässern" bzw. „verfälschen". Darüber hinaus werden sehr rauschartige Teilbandsignale, welche eine Systemautokorrelationsfunktion mit vollständig flachem Verlauf liefern, das Signal/Rausch-Verhältnis bei der Bestimmung der Rhythmusinformationen nicht verschlechtern. Genau dies würde jedoch auftreten, wenn, wie im Stand der Technik, einfach alle Autokorrelationsfunktionen der Teilbandsignale mit gleichem Gewicht aufsummiert werden.The concept according to the invention is advantageous in that it enables a robust determination of the rhythm information, since subband signals with no clear or even deviating rhythm information, ie if the vocals have a different rhythm than the actual beat of the piece, the rhythm information of the audio signal does not "water down" or "falsify". In addition, very noise-like subband signals, which provide a system autocorrelation function with a completely flat profile, will not deteriorate the signal / noise ratio when determining the rhythm information. Exactly this would occur, however, if, as in the prior art, all the autocorrelation functions of the subband signals were simply added up with the same weight.
Ein weiterer Vorteil des beschriebenen Verfahrens besteht darin, dass mit einem kleinen zusätzlichen Rechenaufwand ein Signifikanzmaß bestimmt werden kann, und dass die Bewertung der Rhythmus-Rohinformationen mit dem Signifikanzmaß und die anschließende Summierung ohne großen Speicher- und Rechenzeitaufwand effizient durchgeführt werden können, was das erfindungsgemäße Konzept insbesondere auch für Echtzeitanwendungen empfiehlt.Another advantage of the described method is that a significance measure can be determined with a small additional computational effort, and that the evaluation of the raw rhythm information with the significance measure and the subsequent summation can be carried out efficiently without a large amount of memory and computation time, which is what the inventive method Concept especially recommended for real-time applications.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:Preferred embodiments of the present invention are explained in detail below with reference to the accompanying drawings. Show it:
Fig. 1 ein Blockschaltbild einer Vorrichtung zum Analysieren eines Audiosignals mit einer Qualitätsbewertung der Rhythmus-Rohinformationen;1 shows a block diagram of a device for analyzing an audio signal with a quality evaluation of the raw rhythm information;
Fig. 2 ein Blockschaltbild einer Vorrichtung zum Analysieren eines Audiosignals unter Verwendung von Gewichtungsfak- toren auf der Basis der Signifikanzmaße;2 shows a block diagram of a device for analyzing an audio signal using weighting factors on the basis of the significance measures;
Fig. 3 ein Blockschaltbild einer bekannten Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen; Fig. 4 ein Blockschaltbild einer Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen unter Verwendung einer Autokorrelationsfunktion mit einer teilbandweisen Nachbearbeitung der Rhythmus- Rohinformationen; und3 shows a block diagram of a known device for analyzing an audio signal with regard to rhythm information; FIG. 4 shows a block diagram of a device for analyzing an audio signal with regard to rhythm information using an autocorrelation function with a subband-wise postprocessing of the rhythm raw information; FIG. and
Fig. 5 ein detailliertes Blockschaltbild der Einrichtung zum Nachbearbeiten von Fig. 4.FIG. 5 shows a detailed block diagram of the device for post-processing from FIG. 4.
Fig. 1 zeigt ein Blockschaltbild einer Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen. Das Audiosignal wird über einen Eingang 100 einer Einrichtung 102 zum Zerlegen des Audiosignals in zumindest zwei Teilbandsignale 104a und 104b zugeführt. Jedes Teilbandsignal 104a, 104b wird in eine Einrichtung 106a bzw. 106b zum Untersuchen desselben hinsichtlich von Periodizitäten in dem Teilbandsignal zugeführt, um Rhythmus-Rohinformationen 108a bzw. 108b für jedes Teilbandsignal zu erhalten. Die Rhythmus-Rohinformationen werden dann einer Einrichtung 110a bzw. 110b zum Bewerten einer Qualität der Periodizität jedes der zumindest zwei Teilbandsignale zugeführt, um ein Signifikanzmaß 112a, 112b für jedes der zumindest zwei Teilbandsignale zu erhalten. Sowohl die Rhythmus- Rohinformationen 108a, 108b als auch die Signifikanzmaße 112a, 112b werden einer Einrichtung 114 zum Ermitteln der Rhythmusinformationen des Audiosignals zugeführt. Die Einrichtung 114 berücksichtigt beim Ermitteln der Rhythmusinformationen des Audiosignals die Signifikanzmaße 112a, 112b für die Teilbandsignale sowie die Rhythmus-Rohinformationen 108a, 108b von zumindest ei¬ nem Teilbandsignal.1 shows a block diagram of a device for analyzing an audio signal with regard to rhythm information. The audio signal is fed via an input 100 to a device 102 for splitting the audio signal into at least two subband signals 104a and 104b. Each subband signal 104a, 104b is fed into means 106a and 106b for examining it for periodicities in the subband signal to obtain raw rhythm information 108a and 108b for each subband signal. The raw rhythm information is then fed to a device 110a or 110b for evaluating a quality of the periodicity of each of the at least two subband signals in order to obtain a significance measure 112a, 112b for each of the at least two subband signals. Both the raw rhythm information 108a, 108b and the significance measures 112a, 112b are supplied to a device 114 for determining the rhythm information of the audio signal. The device 114 taken into account when determining the rhythm information of the audio signal, the significance dimensions 112a, 112b of the sub-band signals and the rhythm raw-information 108a, 108b of at least ei ¬ nem subband signal.
Hat die Einrichtung 110a zur Qualitätsbewertung beispielsweise festgestellt, dass in dem Teilbandsignal 104a keine besondere Periodizität vorliegt, so wird das Signifikanzmaß 112a sehr klein, bzw. gleich 0 sein. In diesem Fall stellt die Einrichtung 114 zum Ermitteln der Rhythmusinformationen fest, dass das Signifikanzmaß 112a gleich Null ist, so dass die Rhythmus- Rohinformationen 108a des Teilbandsignals 104a bei der Ermittlung der Rhythmusinformationen des Audiosignals überhaupt nicht mehr berücksichtigt werden müssen. Die RhythmusInformationen des Audiosignals werden dann allein und ausschließlich auf der Basis der Rhythmus-Rohinformationen 108b des Teilbandsignals 104b bestimmt .If the device 110a for quality assessment has determined, for example, that there is no particular periodicity in the subband signal 104a, the significance measure 112a will be very small or equal to 0. In this case, the facility provides 114 to determine the rhythm information that the significance measure 112a is equal to zero, so that the raw rhythm information 108a of the subband signal 104a no longer needs to be taken into account when determining the rhythm information of the audio signal. The rhythm information of the audio signal is then determined solely and exclusively on the basis of the raw rhythm information 108b of the subband signal 104b.
Im nachfolgenden wird auf Fig. 2 hinsichtlich einer speziellen Ausführungsform der Vorrichtung von Fig. 1 eingegangen. Als Einrichtung 102 zum Zerlegen des Audiosignals kann eine übliche Analyse-Filterbank verwendet werden, die ausgangsseitig eine von einem Benutzer wählbare Anzahl von Teilbandsignalen liefert. Jedes Teilbandsignal wird dann der Verarbeitung der Einrichtungen 106a, 106b bzw. 106c unterzogen, woraufhin dann durch die Einrichtungen 110a bis 110c von jeden Rhythmus-Rohinformationen Signifikanzmaße ermittelt werden. Die Einrichtung 114 umfaßt bei der in Fig. 2 dargestellten bevorzugten Ausführungsform eine Einrichtung 114a zum Berechnen von Gewichtungsfaktoren für jedes Teilbandsignal auf der Basis des Signifikanzmaßes für dieses Teilbandsignal und optional auch der anderen Teilbandsignale. In der Einrichtung 114b findet dann eine Gewichtung der Rhythmus- Rohinformationen 108a bis 108c mit dem Gewichtungsfaktor für dieses Teilbandsignal statt, woraufhin dann, ebenfalls in der Einrichtung 114b, die gewichteten Rhythmus-Rohinformationen kombiniert, z. B. aufsummiert, werden, um an dem Tempo-Ausgang 116 die Rhythmusinformationen des Audiosignals zu erhalten.In the following, FIG. 2 is discussed with regard to a special embodiment of the device from FIG. 1. A conventional analysis filter bank can be used as the device 102 for decomposing the audio signal, which delivers a number of subband signals that can be selected by a user on the output side. Each subband signal is then subjected to the processing of the devices 106a, 106b and 106c, whereupon the devices 110a to 110c then determine significance measures of each raw rhythm information. In the preferred embodiment shown in FIG. 2, the device 114 comprises a device 114a for calculating weighting factors for each subband signal on the basis of the significance measure for this subband signal and optionally also for the other subband signals. A weighting of the raw rhythm information 108a to 108c then takes place in the device 114b with the weighting factor for this subband signal, whereupon, also in the device 114b, the weighted raw rhythm information is combined, e.g. B. summed up, in order to obtain the rhythm information of the audio signal at the tempo output 116.
Das erfindungsgemäße Konzept stellt sich somit folgendermaßen dar. Nach der Evaluierung der rhythmischen Informationen der Einzelbänder, welche beispielsweise durch Hüllkurvenbildung, Glättung, Differenzieren, Begrenzen auf positive Werte und Bilden der Autokorrelationsfunktion stattfinden kann (Einrichtungen 106a bis 106c) , findet eine Bewertung der Wertigkeit bzw. der Qualität dieser Zwischenergebnisse in den Einrichtungen 110a bis 110c statt. Dies wird mit Hilfe einer Bewertungsfunktion erreicht, welche die Verlässlichkeit der jeweiligen Einzelergebnisse mit einem Signifikanzmaß bewertet. Aus den Signifikanzmaßen aller Teilbandsignale wird ein Gewichtungsfaktor für jedes Band für die Extraktion der Rhythmus-Informationen hergeleitet. Das Gesamtergebnis der Rhythmusextraktion wird dann in der Einrichtung 114b durch Kombination der bandweisen Einzelergebnisse unter Berücksichtigung ihrer jeweiligen Gewichtungsfaktoren erreicht.The concept according to the invention is thus represented as follows. After evaluating the rhythmic information of the individual bands, which can take place, for example, by forming envelopes, smoothing, differentiating, limiting to positive values and forming the autocorrelation function (devices 106a to 106c), an evaluation of the value or . the Quality of these intermediate results takes place in the facilities 110a to 110c. This is achieved with the help of an evaluation function, which evaluates the reliability of the individual results with a significance measure. A weighting factor for each band for the extraction of the rhythm information is derived from the significance measures of all subband signals. The overall result of the rhythm extraction is then achieved in the device 114b by combining the band-wise individual results, taking into account their respective weighting factors.
Als Resultat zeigt ein solchermaßen implementierter Algorithmus zur Rhythmusanalyse eine gute Fähigkeit, rhythmische Informationen in einem Signal auch unter ungünstigen Bedingungen zuverlässig zu finden. Das erfindungsgemäße Konzept zeichnet sich daher durch eine hohe Robustheit aus .As a result, an algorithm for rhythm analysis implemented in this way shows a good ability to reliably find rhythmic information in a signal even under unfavorable conditions. The concept according to the invention is therefore characterized by a high level of robustness.
Bei einer bevorzugten Ausführungsform werden die Rhythmus- Rohinformationen 108a, 108b, 108c, die die Periodizität des jeweiligen Teilbandsignals darstellen, mittels einer Autokorrelationsfunktion bestimmt. In diesem Fall wird es bevorzugt, das Signifikanzmaß zu bestimmen, indem ein Maximum der Autokorrelationsfunktion durch einen Mittelwert der Autokorrelationsfunktion geteilt wird, und dann der Wert 1 subtrahiert wird. Es sei darauf hingewiesen, daß jede Autokorrelationsfunktion immer bei einer Verzögerung von 0 ein lokales Maximum, d. h. eine Spitze, liefert, die die Energie des Signals repräsentiert. Dieses loka¬ le Maximum sollte unberücksichtigt bleiben, damit die Qualitätsbestimmung nicht verfälscht wird.In a preferred embodiment, the raw rhythm information 108a, 108b, 108c, which represent the periodicity of the respective subband signal, is determined by means of an autocorrelation function. In this case, it is preferred to determine the significance measure by dividing a maximum of the autocorrelation function by an average of the autocorrelation function and then subtracting the value 1. It should be noted that every autocorrelation function always delivers a local maximum, ie a peak, with a delay of 0, which represents the energy of the signal. This loka ¬ le maximum should be disregarded so that the quality of provision is not distorted.
Ferner soll die Autokorrelationsfunktion lediglich in einem speziellen Tempobereich betrachtet werden, d. h. von einer maximalen Verzögerung, die dem kleinsten interessierenden Tempo entspricht, zu einer minimalen Verzögerung, die dem höchsten inter- essierenden Tempo entspricht. Ein typischer Tempobereich liegt zwischen 60 bpm und 200 bpm.Furthermore, the autocorrelation function should only be considered in a special tempo range, ie from a maximum delay that corresponds to the smallest speed of interest to a minimum delay that corresponds to the highest inter eating pace. A typical tempo range is between 60 bpm and 200 bpm.
Alternativ kann als Signifikanzmaß das Verhältnis zwischen dem arithmetischen Mittelwert der Autokorrelationsfunktion im interessierenden Tempobereich und dem geometrischen Mittelwert der Autokorrelationsfunktion im interessierenden Tempobereich bestimmt werden. Es ist bekannt, dass wenn alle Werte der Autokorrelationsfunktion gleich sind, d. h. wenn die Autokorrelationsfunktion einen flachen Verlauf hat, der geometrische Mittelwert der Autokorrelationsfunktion und der arithmetische Mittelwert der Autokorrelationsfunktion gleich sind. In diesem Fall hätte das Signifikanzmaß einen Wert gleich 1, was bedeutet, dass die Rhythmus-Rohinformationen nicht signifikant sind.Alternatively, the ratio between the arithmetic mean value of the autocorrelation function in the tempo area of interest and the geometric mean value of the autocorrelation function in the tempo area of interest can be determined as a significance measure. It is known that if all values of the autocorrelation function are the same, i. H. if the autocorrelation function has a flat course, the geometric mean of the autocorrelation function and the arithmetic mean of the autocorrelation function are the same. In this case, the significance measure would have a value of 1, which means that the raw rhythm information is not significant.
Im Falle einer Systemautokorrelationsfunktion mit starken Spitzen würde das Verhältnis aus arithmetischem Mittelwert zu geometrischem Mittelwert größer 1 sein, was bedeutet, dass die Autokorrelationsfunktion gute Rhythmusinformationen aufweist. Je kleiner jedoch das Verhältnis zwischen arithmetischem Mittelwert und geometrischem Mittelwert wird, desto flacher ist die Autokorrelationsfunktion und desto weniger Periodizitäten enthält sie, was wiederum bedeutet, dass die Rhythmusinformationen dieses Teilbandsignals weniger signifikant, d. h. eine geringere Qualität haben, was sich in einem geringen bzw. einem Gewichtungsfaktor von 0 äußern wird.In the case of a system auto-correlation function with strong peaks, the ratio of the arithmetic mean to the geometric mean would be greater than 1, which means that the auto-correlation function has good rhythm information. However, the smaller the ratio between the arithmetic mean and the geometric mean, the flatter the autocorrelation function and the fewer periodicities it contains, which in turn means that the rhythm information of this subband signal is less significant, i. H. have a lower quality, which will result in a low or a weighting factor of 0.
Bezüglich der Gewichtungsfaktoren existieren verschiedene Möglichkeiten. Bevorzugt wird eine relative Gewichtung, derart, dass sich alle Gewichtungsfaktoren sämtlicher Teilbandsignale zu 1 aufaddieren, d. h. dass der Gewichtungsfaktor eines Bandes bestimmt wird als der Signifikanzwert dieses Bandes geteilt durch die Summe aller Signifikanzwerte. In diesem Fall wird eine relative Gewichtung vor der Aufsummation der gewichteten Rhythmus- Rohinformationen durchgeführt, um die Rhythmus-Informationen des Audiosignals zu erhalten.There are various options with regard to the weighting factors. A relative weighting is preferred, in such a way that all weighting factors of all subband signals add up to 1, ie the weighting factor of a band is determined as the significance value of this band divided by the sum of all significance values. In this case, a relative weighting before summing up the weighted rhythm Raw information performed to obtain the rhythm information of the audio signal.
Wie bereits ausgeführt worden ist, wird es bevorzugt, die Auswertung der Rhythmus-Informationen unter Verwendung einer Autokorrelationsfunktion durchzuführen. Dieser Fall ist in Fig. 4 dargestellt. Das Audiosignal wird über den Audiosignaleingang 100 in die Einrichtung 102 zum Zerlegen des Audiosignals in Teilbandsignale 104a und 104b eingespeist. Jedes Teilbandsignal wird dann in der Einrichtung 106a bzw. 106b, wie es ausgeführt worden ist, unter Verwendung einer Autokorrelationsfunktion untersucht, um die Periodizität des Teilbandsignals zu ermitteln. Am Ausgang der Einrichtung 106a bzw. 106b liegen dann die Rhythmus-Rohinformationen 108a, 108b vor. Diese werden in eine Einrichtung 118a bzw. 118b eingespeist, um die mittels der Autokorrelationsfunktion von der Einrichtung 116a ausgegebenen Rhythmus-Rohinformationen nachzubearbeiten. Damit wird u. a. sichergestellt, daß die Mehrdeutigkeiten der Autokorrelationsfunktion, d. h. daß bei ganzzahligen Vielfachen der Verzögerungen ebenfalls Signalspitzen auftreten, teilbandweise eliminiert werden, um nachbearbeitete Rhythmus-Rohinformationen 120a bzw. 120b zu erhalten.As has already been explained, it is preferred to carry out the evaluation of the rhythm information using an autocorrelation function. This case is shown in Fig. 4. The audio signal is fed via the audio signal input 100 into the device 102 for splitting the audio signal into subband signals 104a and 104b. Each subband signal is then examined in the device 106a or 106b, as has been carried out, using an autocorrelation function in order to determine the periodicity of the subband signal. The raw rhythm information 108a, 108b is then available at the output of the device 106a or 106b. These are fed into a device 118a or 118b in order to postprocess the raw rhythm information output by the device 116a by means of the autocorrelation function. So u. a. ensures that the ambiguities of the autocorrelation function, i. H. that signal peaks also occur in the case of integer multiples of the delays, are eliminated on a sub-band basis in order to obtain postprocessed raw rhythm information 120a or 120b.
Dies hat den Vorteil, dass die Mehrdeutigkeiten der Autokorrela- tionsfunktionen, d. h. der Rhythmus-Rohinformationen 108a, 108b, bereits teilbandweise eliminiert werden, und nicht erst, wie im Stand der Technik, nach der Summation der einzelnen Autokorrelationsfunktionen. Darüber hinaus ermöglicht die einzelbandweise Eliminierung der Mehrdeutigkeiten in den Autokorrelationsfunktionen durch die Einrichtungen 118a, 118b, dass die Rhythmus- Rohinformationen der Teilbandsignale unabhängig voneinander gehandhabt werden können. Sie können beispielsweise einer Qualitätsbeurteilung mittels der Einrichtung 110a für die Rhythmus- Rohinformationen 108a oder mittels der Einrichtung 110b für die Rhythmus-Rohinformationen 108b unterzogen werden. Wie es durch die gestrichelten Linien in Fig. 4 dargestellt ist, kann die Qualitätsbeurteilung jedoch auch anhand der nachbearbeiteten Rhythmus-Rohinformationen stattfinden, wobei diese letztere Möglichkeit bevorzugt wird, da die Qualitätsbeurteilung auf der Basis der nachbearbeiteten Rhythmus-Rohinformationen sicherstellt, dass die Qualität einer Information beurteilt wird, die nicht mehr vieldeutig ist.This has the advantage that the ambiguities of the autocorrelation functions, ie the raw rhythm information 108a, 108b, are already eliminated on a subband basis and not, as in the prior art, after the summation of the individual autocorrelation functions. Furthermore, the elimination of the ambiguities in the autocorrelation functions on a single-band basis by the devices 118a, 118b enables the raw rhythm information of the sub-band signals to be handled independently of one another. For example, they can be subjected to a quality assessment by means 110a for the raw rhythm information 108a or by means 110b for the raw rhythm information 108b. However, as shown by the dashed lines in FIG. 4, the quality assessment can also take place on the basis of the post-processed raw rhythm information, this latter possibility being preferred, since the quality assessment based on the post-processed raw rhythm information ensures that the quality of a Information is assessed that is no longer ambiguous.
Die Ermittlung der Rhythmus-Informationen durch die Einrichtung 114 findet dann auf der Basis von nachbearbeiteten Rhythmus- Informationen eines Kanals und vorzugsweise auch auf der Basis des Signifikanzmaßes für diesen Kanal statt.The determination of the rhythm information by the device 114 then takes place on the basis of postprocessed rhythm information of a channel and preferably also on the basis of the significance measure for this channel.
Wenn eine Qualitätsbeurteilung auf der Basis der Rhythmus- Rohinformationen, also des Signals vor der Einrichtung 118a durchgeführt wird, ist dies dahingehend vorteilhaft, dass, wenn bestimmt wird, dass das Signifikanzmaß gleich 0 ist, d. h. dass die Autokorrelationsfunktion einen flachen Verlauf hat, auf die Nachbearbeitung mittels der Einrichtung 118a gänzlich verzichtet werden kann, um Rechenzeitressourcen einzusparen.If a quality assessment is carried out on the basis of the raw rhythm information, that is to say the signal in front of the device 118a, this is advantageous in that if it is determined that the significance measure is equal to 0, i. H. that the autocorrelation function has a flat course, the postprocessing by means of the device 118a can be dispensed with entirely in order to save computing time resources.
Im nachfolgenden wird auf Fig. 5 eingegangen, um einen detaillierteren Aufbau einer Einrichtung 118a oder 118b zur Nachbearbeitung der Rhythmus-Rohinformationen darzustellen. Zunächst wird das Teilband-Signal beispielsweise 104a, in die Einrichtung 106a zur Untersuchung der Periodizität des Teilbandsignals mittels einer Autokorrelationsfunktion eingespeist, um Rhythmus- Rohinformationen 108a zu erhalten. Um die Mehrdeutigkeiten teilbandweise zu eliminieren, kann genauso wie im Stand der Technik, eine gespreizte Autokorrelationsfunktion mittels einer Einrichtung 121 berechnet werden, wobei die Einrichtung 121 angeordnet ist, um die gespreizte Autokorrelationsfunktion so zu berechnen, dass sie um ein ganzzahliges Vielfaches gespreizt ist. Eine Einrichtung 122 ist in diesem Fall angeordnet, um die gespreizte Autokorrelationsfunktion von der ursprünglichen Autokorrelationsfunktion, d. h. den Rhythmus-Rohinformationen 108a zu subtrahieren. Insbesondere wird es bevorzugt, zunächst eine auf das Doppelte gespreizte Autokorrelationsfunktion in der Einrichtung 121 zu berechnen und dann von den Rhythmus-Rohinformationen 108a zu subtrahieren. Dann, in dem nächsten Schritt, wird eine um den Faktor 3 gespreizte Autokorrelationsfunktion in der Einrichtung 121 berechnet und von dem Ergebnis der vorherigen Subtraktion wieder abgezogen, so dass nach und nach sämtliche Mehrdeutigkeiten aus den Rhythmus-Rohinformationen eliminiert werden.In the following, FIG. 5 is discussed in order to show a more detailed structure of a device 118a or 118b for postprocessing the rhythm raw information. First, the subband signal, for example 104a, is fed into the device 106a for examining the periodicity of the subband signal by means of an autocorrelation function in order to obtain raw rhythm information 108a. In order to eliminate the ambiguities on a sub-band basis, just like in the prior art, a spread auto-correlation function can be calculated by means of a device 121, the device 121 being arranged to calculate the spread auto-correlation function so that it is spread by an integral multiple. A device 122 is arranged in this case to the spread Subtract the autocorrelation function from the original autocorrelation function, ie the raw rhythm information 108a. In particular, it is preferred to first calculate an autocorrelation function spread to twice in the device 121 and then to subtract it from the raw rhythm information 108a. Then, in the next step, an autocorrelation function spread by a factor of 3 is calculated in the device 121 and subtracted from the result of the previous subtraction, so that all ambiguities are gradually eliminated from the raw rhythm information.
Darüber hinaus können die gespreizten Versionen der Rhythmus- Rohinformationen 108a vor dem Subtrahieren gewichtet werden, um auch hier eine Flexibilität im Sinne einer hohen Robustheit zu erreichen.In addition, the spread versions of the raw rhythm information 108a can be weighted before subtracting in order to achieve flexibility in the sense of high robustness.
Durch das Verfahren, die Periodizität eines Teilbandsignals auf der Basis einer Autokorrelationsfunktion zu untersuchen, kann also eine weitere Verbesserung erzielt werden, wenn die Eigenschaften der Autokorrelationsfunktion mit einbezogen werden und die Nachbearbeitung unter Verwendung der Einrichtung 118a oder 118b durchgeführt wird. So erzeugt eine periodische Folge von Notenanfängen mit einem Abstand tO nicht nur eine AKF-Spitze bei einer Verzögerung tO sondern auch bei 2t0, 3t0, etc. Dies wird zu einer Vieldeutigkeit in der Tempodetektion, d. h. dem Suchen signifikanter Maxima in der Autokorrelationsfunktion, führen. Die Mehrdeutigkeiten können dadurch eliminiert werden, wenn um ganzzahlige Faktoren gespreizte Versionen der AKF vom Ausgangswert teilbandweise (gewichtet) abgezogen werden.The method of examining the periodicity of a subband signal on the basis of an autocorrelation function can therefore achieve a further improvement if the properties of the autocorrelation function are taken into account and the post-processing is carried out using device 118a or 118b. Thus, a periodic sequence of note beginnings with a distance tO not only generates an AKF peak with a delay tO but also at 2t0, 3t0, etc. This becomes ambiguous in the tempo detection, i. H. the search for significant maxima in the autocorrelation function. The ambiguities can be eliminated if subtracted versions of the AKF are sub-band (weighted) subtracted from the initial value.
Darüber hinaus können die gestauchten Versionen der Rhythmus- Rohinformationen 108a vor dem Addieren mit einem Faktor ungleich Eins gewichtet werden, um auch hier eine Flexibilität im Sinne einer hohen Robustheit zu erreichen. Ferner besteht bei der Autokorrelationsfunktion das Problem, daß sie keine Informationen bei tO/2, tO/3 ... usw., also beim Doppelten, Dreifachen, etc. des „Grundtempos" liefert, was besonders dann zu falschen Ergebnissen führen kann, wenn zwei Instrumente, die in unterschiedlichen Teilbändern liegen, zusammen den Rhythmus des Signals definieren. Diese Sache wird dadurch berücksichtigt, dass um ganzzahlige Faktoren gestauchte Versionen der Autokorrelationsfunktion berechnet werden und diese dann zu den Rhythmus-Rohinformationen gewichtet oder ungewichtet hinzuaddiert werden.In addition, the compressed versions of the raw rhythm information 108a can be weighted by a factor not equal to one before the addition, in order to achieve flexibility in the sense of high robustness. Furthermore, the problem with the autocorrelation function is that it does not provide any information at tO / 2, tO / 3 ... etc., ie at double, triple, etc. of the "basic tempo", which can lead to incorrect results, especially if Two instruments that are in different subbands together define the rhythm of the signal, which is taken into account by calculating versions of the autocorrelation function that are compressed by integer factors and then adding these to the raw rhythm information, weighted or unweighted.
Die AKF-Nachverarbeitung findet somit teilbandweise statt, wobei für mindestens ein Teilbandsignal eine Autokorrelationsfunktion errechnet wird und diese mit gedehnten oder gespreizten Versionen dieser Funktion kombiniert wird.The AKF postprocessing thus takes place sub-band, whereby an autocorrelation function is calculated for at least one sub-band signal and this is combined with stretched or spread versions of this function.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird zunächst die Summenautokorrelationsfunktion der Teilbänder erzeugt, woraufhin um ganzzahligen Faktoren gestauchte Versionen der Summenautokorrelationsfunktion vorzugsweise gewichtet hinzuaddiert werden, um die Unzulänglichkeiten der Autokorrelationsfunktion bei dem doppelten, dreifachen etc. Tempo auszuräumen.According to another aspect of the present invention, the sum autocorrelation function of the subbands is first generated, whereupon versions of the sum autocorrelation function that are compressed by integer factors are preferably added, in order to remedy the deficiencies of the autocorrelation function at twice, three times, etc. tempo.
Gemäß einem weiteren Aspekt wird die Nachbearbeitung der Summenautokorrelationsfunktion, um die Mehrdeutigkeiten bei dem halben, dem dritten Teil, dem vierten Teil etc. des Tempos zu eliminieren, durchgeführt, indem die um ganzzahlige Faktoren gespreizten Versionen der Summenautokorrelationsfunktion nicht einfach subtrahiert werden, sondern vor der Subtraktion mit einem Faktor ungleich Eins und vorzugsweise kleiner als Eins und größer als Null gewichtet werden und dann erst subtrahiert werden. Damit wird eine robustere Bestimmung der RhythmusInformationen möglich, da das ungewichtete Subtrahieren lediglich für ideale sinusförmige Signale eine vollständige Elimination der AKF-Mehrdeutigkeiten liefert. According to a further aspect, the postprocessing of the sum autocorrelation function in order to eliminate the ambiguities in the half, the third part, the fourth part etc. of the tempo is carried out by not simply subtracting the versions of the sum autocorrelation function spread by integer factors, but before Subtraction with a factor not equal to one and preferably less than one and greater than zero are weighted and only then are subtracted. This enables a more robust determination of the rhythm information, since the unweighted subtraction only for ideal sinusoidal signals provides complete elimination of AKF ambiguities.

Claims

Patentansprüche claims
1. Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion, mit folgenden Merkmalen:1. An apparatus for analyzing an audio signal for rhythm information of the audio signal using an autocorrelation function, having the following features:
einer Einrichtung (102) zum Zerlegen des Audiosignals in zumindest zwei Teilbandsignale (104a, 104b) ;means (102) for splitting the audio signal into at least two subband signals (104a, 104b);
einer Einrichtung zum Untersuchen (106a, 106b) zumindest eines Teilbandsignals hinsichtlich einer Periodizität in dem zumindest einen Teilbandsignal mittels einer Autokorrelationsfunktion, um Rhythmus-Rohinformationen (108a) für das Teilbandsignal zu erhalten, wobei einer Spitze der Autokorrelationsfunktion eine Verzögerung zugeordnet ist;means for examining (106a, 106b) at least one subband signal for a periodicity in the at least one subband signal by means of an autocorrelation function in order to obtain raw rhythm information (108a) for the subband signal, a delay being associated with a peak of the autocorrelation function;
einer Einrichtung (118a) zum Nachbearbeiten der mittels der Autokorrelationsfunktion bestimmten Rhythmus-Rohinformationen (108a) für das Teilbandsignal (104a) , um nachbearbeitete Rhythmus-Rohinformationen (120a) für das Teilbandsignal zu erhalten, so daß in den nachbearbeiteten Rhythmus-Rohinformationen eine Mehrdeutigkeit bei einem ganzzahligen Vielfachen einer Verzögerung, der eine Autokorrelationsfunktionsspitze zugeordnet ist, vermindert ist, oder ein Signalanteil bei einem ganzzahligen Bruchteil einer Verzögerung, der eine Autokorrelationsfunktions- spitze zugeordnet ist, hinzugefügt ist; unda device (118a) for postprocessing the raw rhythm information (108a) for the subband signal (104a) determined by means of the autocorrelation function in order to obtain postprocessed raw rhythm information (120a) for the subband signal, so that an ambiguity in the postprocessed rhythm information is reduced to an integer multiple of a delay associated with an auto-correlation function peak, or a signal component is added at an integer fraction of a delay associated with an auto-correlation function peak; and
einer Einrichtung (114) zum Ermitteln der Rhythmusinformationen des Audiosignals unter Verwendung der nachbearbeiteten Rhythmus- Rohinformationen (120a) des Teilbandsignals und unter Verwendung eines weiteren Teilbandsignals der zumindest zwei Teilbandsignale .a device (114) for determining the rhythm information of the audio signal using the postprocessed raw rhythm information (120a) of the subband signal and using a further subband signal of the at least two subband signals.
2. Vorrichtung nach Anspruch 1, bei der die Einrichtung zum Nachbearbeiten (118a, 118b) folgende Merkmale aufweist:2. Device according to claim 1, in which the device for reworking (118a, 118b) has the following features:
eine Einrichtung (121) zum Berechnen einer um einen ganzzahligen Faktor gespreizten Version der Rhythmus-Rohinformationen (108a) eines Teilbandsignals; undmeans (121) for computing an integer factor spread version of the raw rhythm information (108a) of a subband signal; and
einer Einrichtung (122) zum Subtrahieren der um einen ganzzahligen Faktor größer als Eins gespreizten Version der Rhythmus- Rohinformationen (108a) des Teilbandsignals oder eine von dieser Version abgeleitete Version von den Rhythmus-Rohinformationen (108a) des Teilbandsignals, um die nachbearbeiteten Rhythmus- Rohinformationen (120a) für das Teilbandsignal zu erhalten.means (122) for subtracting the version of the raw rhythm information (108a) of the subband signal, or a version derived from this version, of the raw rhythm information (108a) of the subband signal by the integer factor greater than one by the postprocessed rhythm raw information (120a) for the subband signal.
3. Vorrichtung nach Anspruch 2, bei der die Einrichtung (122) zum Subtrahieren angeordnet ist, um vor dem Subtrahieren eine Gewichtung der gespreizten Version mit einem Faktor zwischen Null und Eins durchzuführen, um die abgeleitete Version zu erzeugen.3. The apparatus of claim 2, wherein the subtracting means (122) is arranged to perform a weighting of the spread version by a factor between zero and one prior to subtracting to produce the derived version.
4. Vorrichtung nach Anspruch 1, bei der die Einrichtung zum Nachbearbeiten (118a) folgende Merkmale aufweist:4. The device according to claim 1, wherein the device for reworking (118a) has the following features:
eine Einrichtung (121) zum Berechnen einer um einen ganzzahligen Faktor größer als Eins gestauchten Version der Rhythmus- Rohinformationen (108a) ; undmeans (121) for calculating a version of the raw rhythm information (108a) squeezed by an integer factor greater than one; and
eine Einrichtung (122) zum Addieren der gestauchten Version der Rhythmus-Rohinformationen des Teilbandsignals oder eine von dieser Version abgeleitete Version zu den Rhythmus-Rohinformationen (108a) des Teilbandsignals, um die nachbearbeiteten Rhythmus- Rohinformationen (120a) für das Teilbandsignal zu erhalten.means (122) for adding the compressed version of the raw rhythm information of the subband signal or a version derived from this version to the raw rhythm information (108a) of the subband signal in order to obtain the reworked rhythm raw information (120a) for the subband signal.
5. Vorrichtung nach Anspruch 4, bei der die Einrichtung (122) zum Addieren angeordnet ist, um vor der Addition eine Gewichtung der gestauchten Version der Rhythmus-Rohinformationen mittels eines Faktors zwischen Null und Eins durchzuführen, derart, daß eine gewichtete gestauchte Version der Rhythmus-Rohinformationen zu den Rhythmus-Rohinformationen des Teilbandsignals hinzuaddiert wird, um die abgeleitete Version zu erzeugen.5. The apparatus of claim 4, wherein the means (122) for adding is arranged to weight before the addition perform the upset version of the raw rhythm information using a factor between zero and one such that a weighted upset version of the raw rhythm information is added to the raw rhythm information of the subband signal to produce the derived version.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist:6. Device according to one of the preceding claims, further comprising the following feature:
eine Einrichtung (110a, 110b) zum Bewerten einer Qualität der Periodizität der nachverarbeiteten Rhythmus-Rohinformationen (120a), um ein Signifikanzmaß für das Teilbandsignal zu erhalten,means (110a, 110b) for evaluating a quality of the periodicity of the post-processed raw rhythm information (120a) in order to obtain a measure of significance for the subband signal,
wobei die Einrichtung (114) zum Ermitteln ferner angeordnet ist, um die Rhythmusinformationen des Audiosignals unter Berücksichtigung des Signifikanzmaßes des Teilbandsignals zu ermitteln.wherein the means (114) for determining is further arranged to determine the rhythm information of the audio signal taking into account the degree of significance of the subband signal.
7. Verfahren zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion, mit folgenden Schritten:7. A method of analyzing an audio signal for rhythm information of the audio signal using an auto-correlation function, comprising the following steps:
Zerlegen (102) des Audiosignals in zumindest zwei Teilbandsignale (104a, 104b);Decomposing (102) the audio signal into at least two subband signals (104a, 104b);
Untersuchen (106a, 106b) zumindest eines Teilbandsignals hinsichtlich einer Periodizität in dem zumindest einen Teilbandsignal mittels einer Autokorrelationsfunktion, um Rhythmus- Rohinformationen (108a) für das Teilbandsignal zu erhalten, wobei einer Spitze der Autokorrelationsfunktion eine Verzögerung zugeordnet ist;Examining (106a, 106b) at least one subband signal for a periodicity in the at least one subband signal by means of an autocorrelation function in order to obtain rhythm raw information (108a) for the subband signal, a delay being assigned to a peak of the autocorrelation function;
Nachbearbeiten (118a) der mittels der Autokorrelationsfunktion bestimmten Rhythmus-Rohinformationen (108a) für das Teilbandsignal (104a), um nachbearbeitete Rhythmus-Rohinformationen (120a) für das Teilbandsignal zu erhalten, so daß in den nachbearbeiteten Rhythmus-Rohinformationen eine Mehrdeutigkeit bei einem ganzzahligen Vielfachen einer Verzögerung, der eine Autokorrela- tionsfunktionsspitze zugeordnet ist, vermindert ist, oder ein Signalanteil bei einem ganzzahligen Bruchteil einer Verzögerung, der eine Autokorrelationsfunktionsspitze zugeordnet ist, hinzugefügt ist; undPost-processing (118a) of the raw rhythm information (108a) for the subband signal (104a) determined using the autocorrelation function in order to post-processed raw rhythm information (120a) for the subband signal, so that in the post-processed raw rhythm information an ambiguity is reduced in the case of an integer multiple of a delay which is assigned to an autocorrelation function peak, or a signal component in the case of an integer fraction of a delay which is assigned to an autocorrelation function peak, is added; and
Ermitteln (114) der Rhythmusinformationen des Audiosignals unter Verwendung der nachbearbeiteten Rhythmus-Rohinformationen (120a) des Teilbandsignals und unter Verwendung eines weiteren Teilbandsignals der zumindest zwei Teilbandsignale.Determining (114) the rhythm information of the audio signal using the post-processed raw rhythm information (120a) of the subband signal and using a further subband signal of the at least two subband signals.
8. Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion, mit folgenden Merkmalen:8. An apparatus for analyzing an audio signal for rhythm information of the audio signal using an autocorrelation function, having the following features:
einer Einrichtung zum Untersuchen des Audiosignals hinsichtlich einer Periodizität in dem Audiosignal, um Rhythmus- Rohinformationen für das Audiosignal zu erhalten, wobei einer Spitze der Autokorrelationsfunktion eine Verzögerung zugeordnet ist;means for examining the audio signal for periodicity in the audio signal to obtain raw rhythm information for the audio signal, with a delay associated with a peak of the auto-correlation function;
einer Einrichtung zum Nachbearbeiten der mittels der Autokorrelationsfunktion bestimmten Rhythmus-Rohinformationen für das Audiosignal, um nachbearbeitete Rhythmus-Rohinformationen für das Audiosignal zu erhalten, so daß in den nachbearbeiteten Rhythmus-Rohinformationen ein Signalanteil bei einem ganzzahligen Bruchteil einer Verzögerung, der eine Autokorrelationsfunktions- spitze zugeordnet ist, hinzugefügt ist; unda device for postprocessing the raw rhythm information for the audio signal determined by means of the autocorrelation function in order to obtain postprocessed raw rhythm information for the audio signal, so that in the postprocessed raw rhythm information a signal component with an integer fraction of a delay which is assigned to an autocorrelation function peak is, is added; and
einer Einrichtung zum Ermitteln der Rhythmusinformationen des Audiosignals unter Verwendung der nachbearbeiteten Rhythmus- Rohinformationen des Audiosignals. means for determining the rhythm information of the audio signal using the post-processed raw rhythm information of the audio signal.
9. Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion, mit folgenden Merkmalen:9. An apparatus for analyzing an audio signal for rhythm information of the audio signal using an auto-correlation function, having the following features:
einer Einrichtung zum Untersuchen des Audiosignals hinsichtlich einer Periodizität in dem Audiosignal, um Rhythmus- Rohinformationen für das Audiosignal zu erhalten, wobei einer Spitze der Autokorrelationsfunktion eine Verzögerung zugeordnet ist;means for examining the audio signal for periodicity in the audio signal to obtain raw rhythm information for the audio signal, with a delay associated with a peak of the auto-correlation function;
einer Einrichtung zum Nachbearbeiten der mittels der Autokorrelationsfunktion bestimmten Rhythmus-Rohinformationen für das Audiosignal, um nachbearbeitete Rhythmus-Rohinformationen für das Audiosignal zu erhalten, durch Subtrahieren einer mit einem Faktor ungleich Eins gewichteten, um einen ganzzahligen Faktor größer als Eins gespreizten Version der Rhythmus-Rohinformationen; undmeans for post-processing the raw rhythm information for the audio signal determined by means of the autocorrelation function in order to obtain post-processed raw rhythm information for the audio signal by subtracting a non-unity weighted version of the raw rhythm information which is an integer factor greater than one ; and
einer Einrichtung zum Ermitteln der RhythmusInformationen des Audiosignals unter Verwendung der nachbearbeiteten Rhythmus- Rohinformationen des Audiosignals.a device for determining the rhythm information of the audio signal using the post-processed raw rhythm information of the audio signal.
10. Verfahren zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion, mit folgenden Schritten:10. A method of analyzing an audio signal for rhythm information of the audio signal using an auto-correlation function, comprising the following steps:
Untersuchen des Audiosignals hinsichtlich einer Periodizität in dem Audiosignal, um Rhythmus-Rohinformationen für das Audiosignal zu erhalten, wobei einer Spitze der Autokorrelationsfunktion eine Verzögerung zugeordnet ist;Examining the audio signal for periodicity in the audio signal to obtain raw rhythm information for the audio signal with a delay associated with a spike of the autocorrelation function;
Nachbearbeiten der mittels der Autokorrelationsfunktion bestimmten Rhythmus-Rohinformationen für das Audiosignal, um nachbearbeitete Rhythmus-Rohinformationen für das Audiosignal zu erhalten, so daß in den nachbearbeiteten Rhythmus-Rohinformationen ein Signalanteil bei einem ganzzahligen Bruchteil einer Verzögerung, der eine Autokorrelationsfunktionsspitze zugeordnet ist, hinzugefügt ist; undPost-processing of the raw rhythm information for the audio signal determined by means of the autocorrelation function in order to obtain post-processed raw rhythm information for the audio signal, so that in the post-processed raw rhythm information a signal portion is added at an integer fraction of a delay associated with an auto-correlation function peak; and
Ermitteln der Rhythmusinformationen des Audiosignals unter Verwendung der nachbearbeiteten Rhythmus-Rohinformationen des Audiosignals.Determine the rhythm information of the audio signal using the post-processed raw rhythm information of the audio signal.
11. Verfahren zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen' des Audiosignals unter Verwendung einer Autokorrelationsfunktion, mit folgenden Schritten:11. A method of analyzing an audio signal for rhythm information of the audio signal using an autocorrelation function, comprising the following steps:
Untersuchen des Audiosignals hinsichtlich einer Periodizität in dem Audiosignal, um Rhythmus-Rohinformationen für das Audiosignal zu erhalten, wobei einer Spitze der Autokorrelationsfunktion eine Verzögerung zugeordnet ist;Examining the audio signal for periodicity in the audio signal to obtain raw rhythm information for the audio signal with a delay associated with a spike of the autocorrelation function;
Nachbearbeiten der mittels der Autokorrelationsfunktion bestimmten Rhythmus-Rohinformationen für das Audiosignal, um nachbearbeitete Rhythmus-Rohinformationen für das Audiosignal zu erhalten, durch Subtrahieren einer mit einem Faktor ungleich Eins gewichteten, um einen ganzzahligen Faktor größer als Eins gespreizten Version der Rhythmus-Rohinformationen; undPostprocessing the raw rhythm information for the audio signal determined by means of the autocorrelation function in order to obtain postprocessed raw rhythm information for the audio signal by subtracting a non-unity weighted version of the raw rhythm information which is an integer factor greater than one; and
Ermitteln der Rhythmusinformationen des Audiosignals unter Verwendung der nachbearbeiteten Rhythmus-Rohinformationen des Audiosignals . Determine the rhythm information of the audio signal using the post-processed raw rhythm information of the audio signal.
EP02742987A 2001-05-14 2002-05-10 Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function Expired - Lifetime EP1371055B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10123281A DE10123281C1 (en) 2001-05-14 2001-05-14 Device for analyzing audio signal with respect to rhythm information divides signal into sub-band signals, investigates sub-band signal(s) for periodicity with autocorrelation function
DE10123281 2001-05-14
PCT/EP2002/005171 WO2002093550A2 (en) 2001-05-14 2002-05-10 Device for the analysis of an audio signal with regard to the rhythm information using an auto-correlation function

Publications (2)

Publication Number Publication Date
EP1371055A2 true EP1371055A2 (en) 2003-12-17
EP1371055B1 EP1371055B1 (en) 2005-04-27

Family

ID=7684650

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02742987A Expired - Lifetime EP1371055B1 (en) 2001-05-14 2002-05-10 Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function

Country Status (6)

Country Link
US (1) US7012183B2 (en)
EP (1) EP1371055B1 (en)
AT (1) ATE294440T1 (en)
DE (2) DE10123281C1 (en)
ES (1) ES2240762T3 (en)
WO (1) WO2002093550A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071662A1 (en) * 2004-01-21 2005-08-04 Koninklijke Philips Electronics N.V. Method and system for determining a measure of tempo ambiguity for a music input signal

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10123366C1 (en) * 2001-05-14 2002-08-08 Fraunhofer Ges Forschung Device for analyzing an audio signal for rhythm information
JP4263382B2 (en) * 2001-05-22 2009-05-13 パイオニア株式会社 Information playback device
DE10223735B4 (en) * 2002-05-28 2005-05-25 Red Chip Company Ltd. Method and device for determining rhythm units in a piece of music
DE10232916B4 (en) * 2002-07-19 2008-08-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for characterizing an information signal
US8918316B2 (en) * 2003-07-29 2014-12-23 Alcatel Lucent Content identification system
US8535236B2 (en) * 2004-03-19 2013-09-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for analyzing a sound signal using a physiological ear model
US7626110B2 (en) * 2004-06-02 2009-12-01 Stmicroelectronics Asia Pacific Pte. Ltd. Energy-based audio pattern recognition
US7563971B2 (en) * 2004-06-02 2009-07-21 Stmicroelectronics Asia Pacific Pte. Ltd. Energy-based audio pattern recognition with weighting of energy matches
US7193148B2 (en) * 2004-10-08 2007-03-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating an encoded rhythmic pattern
WO2006037366A1 (en) * 2004-10-08 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an encoded rhythmic pattern
DE102005038876B4 (en) * 2005-08-17 2013-03-14 Andreas Merz User input device with user input rating and method
JP4948118B2 (en) * 2005-10-25 2012-06-06 ソニー株式会社 Information processing apparatus, information processing method, and program
JP4465626B2 (en) * 2005-11-08 2010-05-19 ソニー株式会社 Information processing apparatus and method, and program
FI20065010A0 (en) * 2006-01-09 2006-01-09 Nokia Corp Interference suppression in a telecommunication system
JP5351373B2 (en) * 2006-03-10 2013-11-27 任天堂株式会社 Performance device and performance control program
US7952012B2 (en) * 2009-07-20 2011-05-31 Apple Inc. Adjusting a variable tempo of an audio file independent of a global tempo using a digital audio workstation
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8490131B2 (en) * 2009-11-05 2013-07-16 Sony Corporation Automatic capture of data for acquisition of metadata
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
GB201109731D0 (en) 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US8952233B1 (en) * 2012-08-16 2015-02-10 Simon B. Johnson System for calculating the tempo of music
US9357163B2 (en) * 2012-09-20 2016-05-31 Viavi Solutions Inc. Characterizing ingress noise
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
JP2016177204A (en) * 2015-03-20 2016-10-06 ヤマハ株式会社 Sound masking device
US9756281B2 (en) 2016-02-05 2017-09-05 Gopro, Inc. Apparatus and method for audio based video synchronization
CN105741835B (en) * 2016-03-18 2019-04-16 腾讯科技（深圳）有限公司 A kind of audio-frequency information processing method and terminal
US9697849B1 (en) 2016-07-25 2017-07-04 Gopro, Inc. Systems and methods for audio based synchronization using energy vectors
US9640159B1 (en) 2016-08-25 2017-05-02 Gopro, Inc. Systems and methods for audio based synchronization using sound harmonics
US9653095B1 (en) * 2016-08-30 2017-05-16 Gopro, Inc. Systems and methods for determining a repeatogram in a music composition using audio features
US9916822B1 (en) 2016-10-07 2018-03-13 Gopro, Inc. Systems and methods for audio remixing using repeated segments
JP2020106753A (en) * 2018-12-28 2020-07-09 ローランド株式会社 Information processing device and video processing system
CN111508457A (en) * 2020-04-14 2020-08-07 上海影卓信息科技有限公司 Music beat detection method and system
US11107504B1 (en) * 2020-06-29 2021-08-31 Lightricks Ltd Systems and methods for synchronizing a video signal with an audio signal

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3999009A (en) * 1971-03-11 1976-12-21 U.S. Philips Corporation Apparatus for playing a transparent optically encoded multilayer information carrying disc
JPS61117746A (en) * 1984-11-13 1986-06-05 Hitachi Ltd Optical disk substrate
JPS61177642A (en) * 1985-01-31 1986-08-09 Olympus Optical Co Ltd Optical information recording and reproducing device
GB2207027B (en) 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US5255260A (en) * 1989-07-28 1993-10-19 Matsushita Electric Industrial Co., Ltd. Optical recording apparatus employing stacked recording media with spiral grooves and floating optical heads
US5392263A (en) * 1990-01-31 1995-02-21 Sony Corporation Magneto-optical disk system with specified thickness for protective layer on the disk relative to the numerical aperture of the objective lens
KR940002573B1 (en) * 1991-05-11 1994-03-25 삼성전자 주식회사 Optical disk recording playback device and method
US5255262A (en) * 1991-06-04 1993-10-19 International Business Machines Corporation Multiple data surface optical data storage system with transmissive data surfaces
US5470627A (en) * 1992-03-06 1995-11-28 Quantum Corporation Double-sided optical media for a disk storage device
WO1993024923A1 (en) * 1992-06-03 1993-12-09 Neil Philip Mcangus Todd Analysis and synthesis of rhythm
DE4311683C2 (en) * 1993-04-08 1996-05-02 Sonopress Prod Disc-shaped optical memory and method for its production
EP1045377A3 (en) * 1993-06-08 2011-03-16 Panasonic Corporation Optical disk, and information recording/reproduction apparatus
DE69422870T2 (en) * 1993-09-07 2000-10-05 Hitachi Ltd Information recording media, optical disks and playback system
US5518325A (en) * 1994-02-28 1996-05-21 Compulog Disk label printing
JP3210549B2 (en) * 1995-05-17 2001-09-17 日本コロムビア株式会社 Optical information recording medium
US5729525A (en) * 1995-06-21 1998-03-17 Matsushita Electric Industrial Co., Ltd. Two-layer optical disk
JP3674092B2 (en) * 1995-08-09 2005-07-20 ソニー株式会社 Playback device
JP2728057B2 (en) * 1995-10-30 1998-03-18 日本電気株式会社 Information access device for optical disk
JPH09161320A (en) * 1995-12-08 1997-06-20 Nippon Columbia Co Ltd Stuck type optical information recording medium
JPH09293083A (en) 1996-04-26 1997-11-11 Toshiba Corp Music retrieval device and method
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
TW350571U (en) * 1996-11-23 1999-01-11 Ind Tech Res Inst Optical grille form of optical read head in digital CD-ROM player
JPH10269611A (en) * 1997-03-27 1998-10-09 Pioneer Electron Corp Optical pickup and multi-layer disk reproducing device using it
US5949752A (en) * 1997-10-30 1999-09-07 Wea Manufacturing Inc. Recording media and methods for display of graphic data, text, and images
JP4043175B2 (en) * 2000-06-09 2008-02-06 Ｔｄｋ株式会社 Optical information medium and manufacturing method thereof
US6657117B2 (en) * 2000-07-14 2003-12-02 Microsoft Corporation System and methods for providing automatic classification of media entities according to tempo properties

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02093550A2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071662A1 (en) * 2004-01-21 2005-08-04 Koninklijke Philips Electronics N.V. Method and system for determining a measure of tempo ambiguity for a music input signal

Also Published As

Publication number Publication date
US7012183B2 (en) 2006-03-14
DE50202914D1 (en) 2005-06-02
WO2002093550A3 (en) 2003-02-27
DE10123281C1 (en) 2002-10-10
US20040094019A1 (en) 2004-05-20
WO2002093550A2 (en) 2002-11-21
ES2240762T3 (en) 2005-10-16
EP1371055B1 (en) 2005-04-27
ATE294440T1 (en) 2005-05-15

Similar Documents

Publication Publication Date Title
EP1371055B1 (en) Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function
EP1388145B1 (en) Device and method for analysing an audio signal in view of obtaining rhythm information
EP1407446B1 (en) Method and device for characterising a signal and for producing an indexed signal
EP1606798B1 (en) Device and method for analysing an audio information signal
DE10232916B4 (en) Apparatus and method for characterizing an information signal
EP2099024B1 (en) Method for acoustic object-oriented analysis and note object-oriented processing of polyphonic sound recordings
EP1368805B1 (en) Method and device for characterising a signal and method and device for producing an indexed signal
DE3306730C2 (en)
EP2351017B1 (en) Method for recognizing note patterns in pieces of music
WO2003007185A1 (en) Method and device for producing a fingerprint and method and device for identifying an audio signal
EP1280138A1 (en) Method for audio signals analysis
WO2005122135A1 (en) Device and method for converting an information signal into a spectral representation with variable resolution
DE60031812T2 (en) Apparatus and method for sound synthesis
DE102004028693B4 (en) Apparatus and method for determining a chord type underlying a test signal
WO2006005448A1 (en) Method and device for the rhythmic processing of audio signals
EP1377924B1 (en) Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal
EP1671315B1 (en) Process and device for characterising an audio signal
EP1743324B1 (en) Device and method for analysing an information signal
DE102010061367B4 (en) Apparatus and method for modulating digital audio signals

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17P Request for examination filed

Effective date: 20031017

RIN1 Information on inventor provided before grant (corrected)

Inventor name: ROHDEN, JAN

Inventor name: UHLE, CHRISTIAN

Inventor name: HERRE, JUERGEN

Inventor name: CREMER, MARKUS

17Q First examination report despatched

Effective date: 20040423

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

Effective date: 20050427

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050427

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050427

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050427

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050510

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20050510

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20050531

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20050531

REF Corresponds to:

Ref document number: 50202914

Country of ref document: DE

Date of ref document: 20050602

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20050613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050727

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050727

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20051010

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2240762

Country of ref document: ES

Kind code of ref document: T3

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAND

Effective date: 20050531

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

ET Fr: translation filed
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20060130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060531

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060531

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAND

Effective date: 20050531

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20080523

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20080521

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20080523

Year of fee payment: 7

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20090409 AND 20090415

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20090518

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090510

NLV4 Nl: lapsed or anulled due to non-payment of the annual fee

Effective date: 20091201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20091201

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20090511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090511

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20110131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100531

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20120529

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20120525

Year of fee payment: 11

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20130510

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131203

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50202914

Country of ref document: DE

Effective date: 20131203

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130510