EP1671315B1

EP1671315B1 - Vorrichtung und verfahren zum charakterisieren eines tonsignals

Info

Publication number: EP1671315B1
Application number: EP05735854A
Authority: EP
Inventors: Markus Cremer; Christian Uhle
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2004-05-07
Filing date: 2005-04-27
Publication date: 2007-05-02
Anticipated expiration: 2025-04-27
Also published as: DE102004022659B3; JP2007536586A; JP4926044B2; WO2005114650A1; EP1671315A1; DE502005000658D1

Abstract

Zum Charakterisieren eines Tonsignals wird eine Folge von quantisierten Einsatzzeitpunkten für jede von wenigstens zwei Tonquellen über der Zeit auf der Basis eines Quantisierungsrasters bereitgestellt (1). Hierauf wird eine gemeinsame Periodenlänge, die den wenigstens zwei Tonquellen zugrunde liegt, unter Verwendung der Folgen von Einsatzzeitpunkten ermittelt (12). Hierauf wird die Folge von Einsatzzeitpunkten in jeweilige Unterfolgen aufgeteilt (14), wobei eine Länge einer Unterfolge gleich der gemeinsamen Periodenlänge ist. Schließlich werden die Unterfolgen für die erste Tonquelle in eine erste zusammengefasste Unterfolge und für die zweite Tonquelle in eine zweite zusammengefasste Unterfolge zusammengefasst (16), und zwar z. B. unter Verwendung eines Pattern-Histogramms, um durch die erste zusammengefasste Unterfolge und durch die zweite zusammengefasste Unterfolge das Tonsignal zu charakterisieren, z. B. hinsichtlich Rhythmik, Geschwindigkeit oder Genre.

Description

Die vorliegende Erfindung bezieht sich auf die Analyse von Tonsignalen und insbesondere auf die Analyse von Tonsignalen zu Zwecken der Klassifikation und Identifikation von Tonsignalen, um die Tonsignale zu Charakterisieren.
Die fortschreitende Entwicklung digitaler Distributionsmedien für multimediale Inhalte führt zu einer großen Vielfalt angebotener Daten. Für den menschlichen Nutzer ist die Grenze des Überschaubaren dabei längst überschritten. So gewinnt die inhaltliche Beschreibung der Daten durch Metadaten zunehmend an Bedeutung. Grundsätzlich besteht das Ziel, nicht nur Text-Dateien sondern auch z. B. Musikdateien, Videodateien oder sonstige Informationssignaldateien durchsuchbar zu machen, wobei derselbe Komfort wie bei gängigen Textdatenbanken angestrebt wird. Ein Ansatz hierfür ist der bekannte MPEG 7-Standard.
Insbesondere bei der Analyse von Audiosignalen, also Signalen, die Musik und/oder Sprache umfassen, ist die Extraktion von Fingerabdrücken von großer Bedeutung.
Angestrebt wird ferner, Audiodaten mit Metadaten "anzureichern", um für z. B. ein Musikstück auf der Basis eines Fingerabdrucks Metadaten wiederzugewinnen. Der "Fingerabdruck" soll einerseits aussagekräftig sein, und andererseits möglichst kurz und prägnant sein. "Fingerabdruck" bezeichnet somit ein aus einem Musik-Signal generiertes komprimiertes Informationssignal, welches nicht die Metadaten enthält, sondern zur Referenzierung auf die Metadaten z.B. durch Suche in einer Datenbank dient, z.B. in einem System zur Identifikation von Audiomaterial ("AudioID").
Normalerweise bestehen Musikdaten aus der Überlagerung von Teilsignalen von Einzelquellen. Während es bei einer Popmusik typischerweise relativ wenige Einzelquellen gibt, nämlich den Sänger, die Gitarre, die Bassgitarre, das Schlagzeug und ein Keyboard, so kann die Anzahl von Quellen für ein Orchesterstück sehr groß werden. Ein Orchesterstück und ein Popmusikstück beispielsweise bestehen aus einer Überlagerung der von den einzelnen Instrumenten abgegebenen Töne. Ein Orchesterstück bzw. irgendein Musikstück stellt somit eine Überlagerung von Teilsignalen von einzelnen Quellen dar, wobei die Teilsignale die von den einzelnen Instrumenten des Orchesters bzw. Popmusikensembles erzeugten Töne sind, und wobei die einzelnen Instrumente Einzelquellen sind.
Alternativ können auch Gruppen von ursprünglichen Quellen als Einzelquellen aufgefasst werden, so dass einem Signal wenigstens zwei Einzelquellen zugewiesen werden können.
Eine Analyse eines allgemeinen Informationssignals wird nachfolgend lediglich beispielhaft anhand eines Orchestersignals dargestellt. Die Analyse eines Orchestersignals kann auf vielerlei Arten und Weisen durchgeführt werden. So kann der Wunsch bestehen, die einzelnen Instrumente zu erkennen und aus dem Gesamtsignal die Einzelsignale der Instrumente zu extrahieren und gegebenenfalls in eine Notenschrift umzusetzen, wobei die Notenschrift als "Metadaten" fungieren würde. Weitere Möglichkeiten der Analyse bestehen darin, einen dominanten Rhythmus zu extrahieren, wobei eine Rhythmusextraktion auf der Basis der Schlaginstrumente besser vonstatten geht als auf der Basis der eher Ton-gebenden Instrumente, die auch als harmonisch-ausgehaltene oder "harmonic sustained" Instrumente bezeichnet werden. Während Schlaginstrumente typischerweise Pauken, Schlagzeuge, Rasseln oder sonstige Percussion-Instrumente umfassen, gehören zu den harmonisch ausgehaltenen Instrumenten alle sonstigen Instrumente, wie beispielsweise Geigen, Blasinstrumente, etc.
Weiterhin werden zu den Schlaginstrumenten alle jene akustischen oder synthetischen Klangerzeuger gezählt, die aufgrund ihrer Klangeigenschaften zur Rhythmussektion beitragen (z.B. Rhythmusgitarre).
So wäre es beispielsweise zur Rhythmusextraktion eines Musikstücks wünschenswert, aus dem gesamten Musikstück lediglich perkussive Anteile zu extrahieren und eine Rhythmuserkennung dann auf der Basis dieser percussiven Anteile durchzuführen, ohne dass die Rhythmuserkennung durch Signale von den harmonisch ausgehaltenen Instrumenten "gestört" wird.
In der Technik existieren verschiedene Möglichkeiten, um automatisch verschiedene Muster aus Musikstücken zu extrahieren bzw. die Anwesenheit von Mustern zu detektieren. In Coyle, E. J., Shmulevich, I., "A System for Machine Recognition of Music Patterns", IEEE Int. Conf. on Acoustic, Speech, and Signal Processing, 1998, http://www2.mdanderson.org/app/ilya/Publications/icassp98mp r.pdf, wird nach melodischen Themen gesucht. Hierzu wird ein Thema vorgegeben. Dann wird gesucht, wo es auftritt.
In Schroeter, T., Doraisamy, S., Rüger, S., "From Raw Polyphonic Audio to Locating Recurring Themes", ISMIR, 2000, http//ismir2000.ismir.net/posters/shroeter ruger.pdf, wird nach melodischen Themen in einer transkribierten Darstellung des Musiksignals gesucht. Wieder wird das Thema vorgegeben, und es wird gesucht, wo es auftritt.
Entsprechend der üblichen Struktur abendländischer Musik treten melodische Fragmente im Gegensatz zur rhythmischen Struktur meistens nicht periodisch auf. Aus diesem Grund beschränken sich viele Verfahren zur Suche melodischer Fragmente auf das individuelle Auffinden ihres Vorkommens. Im Gegensatz hierzu gilt im Bereich der rhythmischen Analyse das Interesse bevorzugt im Auffinden periodischer Strukturen.
In Meudic, B., "Musical Pattern Extraction: from Repetition to Musical Structure", in Proc. CMMR, 2003, http:// www.ircam.fr/equipes/repmus/RMPapers/ CMMR-meudic2003.pdf werden melodische Pattern mit Hilfe einer Selbstähnlichkeitsmatrix identifiziert.
In Meek, Colin, Birmingham, W. P., "Thematic Extractor", ISMIR, 2001, http://ismir2001.ismir.net/pdf/meek.pdf, wird nach melodischen Themen gesucht. Insbesondere werden Sequenzen gesucht, wobei die Länge einer Sequenz von zwei Noten bis zu einer vorgegebenen Anzahl sein kann.
In Smith, L., Medina, R. "Discovering Themes by Exact Pattern Matching", 2001, http://citeseer.ist.psu. edu/498226.html wird nach melodischen Themen mit einer Selbst-Ähnlichkeits-Matrix gesucht.
In Lartillot, O., "Perception-Based Musical Pattern Discovery", in Proc. IFMC, 2003, http://www.ircam.fr/equipes/ repmus/lartillot/cmmr/cmmr.pdf wird ebenfalls nach melodischen Themen gesucht.
In Brown, J. C., "Determination of the Meter of Musical Scores by Autocorrelation", J. of the Acoust, Soc. Of America, vol. 94, no. 4, 1993 wird aus einer symbolischen Darstellung des Musiksignals, nämlich auf der Basis einer MIDI-Darstellung mit Hilfe einer Periodizitätenfunktion (Autokorrelationsfunktion) die Taktart des zugrunde liegenden Musikstücks ermittelt.
Ähnlich wird in Meudic, B., "Automatic Meter Extraction from MIDI files", Proc. JIM, 2002, http://www.ircam. fr/equipes/repmus/RMPapers/ JIM-benoit2002.pdf vorgegangen, wo auf der Schätzung von Periodizitäten eine Tempo- und Taktschätzung aus Audiosignalen vorgenommen wird.
In Goto, M, "Real-time beat tracking for drumless audio signals: Chord change detection for musical decisions", Speech Communication, Elsevier, Nr. 3-4, April 1999, Seiten 311-335, wird eine Einrichtung zum Bereitstellen einer Folge von Einsatzzeitpunkten von Tönen für wenigstens eine Tonquelle offenbart.
Verfahren zur Identifikation melodischer Themen eignen sich nur sehr bedingt zur Identifikation von in einem Tonsignal vorliegenden Periodizitäten, da, wie es ausgeführt worden ist, musikalische Themen zwar wiederkehrend sind, jedoch nicht so sehr eine Grund-Periodizität in einem Musikstück beschreiben, sondern eher, wenn überhaupt übergeordnete Periodizitätinformationen in sich haben. Auf jeden Fall sind Verfahren zur Identifikation melodischer Themen sehr aufwendig, da bei der Suche von melodischen Themen die verschiedenen Variationen der Themen berücksichtigt werden müssen. So ist es aus der Musikwelt bekannt, dass Themen normalerweise variiert werden, nämlich beispielsweise durch Transposition, Spiegelung, etc.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein effizientes und zuverlässiges Konzept zum Charakterisieren eines Tonsignals zu schaffen.
Diese Aufgabe wird durch eine Vorrichtung zum Charakterisieren eines Tonsignals gemäß Patentanspruch 1, ein Verfahren zum Charakterisieren eines Tonsignals gemäß Patentanspruch 20 oder ein Computer-Programm gemäß Patentanspruch 21 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass ein effizient berechenbares und im Hinblick auf viele Informationen aussagekräftiges Charakteristikum eines Tonsignals auf der Basis einer Folge von Einsatzzeitpunkten durch Periodenlängenbestimmung, Aufteilung in Unterfolgen und Zusammenfassung in eine zusammengefasste Unterfolge als Charakteristikum ermittelbar ist.
Ferner wird vorzugsweise nicht nur eine einzige Folge von Einsatzzeitpunkten eines einzigen Instruments, also einer einzigen Tonquelle entlang der Zeit betrachtet, sondern es werden wenigstens zwei Folgen von Einsatzzeitpunkten zweier unterschiedlicher Tonquellen, die parallel in dem Musikstück vorkommen, betrachtet. Nachdem typischerweise davon ausgegangen werden kann, dass allen Tonquellen bzw. wenigstens einem Untersatz von Tonquellen, wie beispielsweise den perkussiven Tonquellen in einem Musikstück, die selbe Periodenlänge zugrunde liegt, wird unter Verwendung der Folgen von Einsatzzeitpunkten der zwei Tonquellen eine gemeinsame Periodenlänge ermittelt, die den wenigstens zwei Tonquellen zugrunde liegt. Erfindungsgemäß wird dann jede Folge von Einsatzzeitpunkten in jeweilige Unterfolgen unterteilt, wobei eine Länge einer Unterfolge gleich der gemeinsamen Periodenlänge ist.
Die Charakteristika-Extraktion findet dann auf der Basis einer Zusammenfassung der Unterfolgen für die erste Tonquelle in eine erste zusammengefasste Unterfolge und auf der Basis einer Zusammenfassung der Unterfolgen für die zweite Tonquelle in eine zweite zusammengefasste Unterfolge statt, wobei die zusammengefassten Unterfolgen als Charakteristikum für das Tonsignal dienen und zur weiteren Verarbeitung verwendet werden können, wie beispielsweise zur Extraktion von semantisch bedeutungsvollen Informationen über das gesamte Musikstück, wie beispielsweise Genre, Tempo, Taktart, Ähnlichkeit zu anderen Musikstücken etc.
Die zusammengefasste Unterfolge für die erste Tonquelle und die zusammengefasste Unterfolge für die zweite Tonquelle bilden somit ein Drum-Pattern des Tonsignals, wenn die beiden Tonquellen, die anhand der Folge von Einsatzzeitpunkten berücksichtigt worden sind, perkussive Tonquellen sind, wie beispielsweise Trommeln, sonstige Schlagzeug-Instrumente oder beliebige andere perkussive Instrumente, die sich dadurch auszeichnen, dass nicht ihre Tonhöhe, also ihr Pitch entscheidet, sondern dass ihr charakteristisches Spektrum bzw. das Ansteigen und Abfallen eines ausgegebenen Tons und nicht die Tonhöhe von höherer musikalischer Bedeutung sind.
Die erfindungsgemäße Vorgehensweise dient somit zur automatischen Extraktion von vorzugsweise Drum-Patterns aus einer vorzugsweise transkribierten, also z. B. Noten-Darstellung eines Musiksignals. Diese Darstellung kann im MIDI-Format vorliegen oder automatisch aus einem Audiosignal mittels Methoden der digitalen Signalverarbeitung ermittelt werden, wie beispielsweise mit der Independent Component Analysis (ICA) oder bestimmten Variationen derselben, wie beispielsweise der nicht-negativen Independent Component Analysis, oder allgemein mit Konzepten, die unter dem Stichwort "Blind Source Separation" (BSS) bekannt sind.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird zur Extraktion eines Drum-Patterns zunächst eine Erkennung der Noteneinsätze, also Startzeitpunkte, je unterschiedlichem Instrument und je Pitch bei tonalen Instrumenten vorgenommen. Alternativ kann ein Auslesen einer Notendarstellung stattfinden, wobei dieses Auslesen in einem Einlesen eines MIDI-Files bestehen kann oder in einem Abtasten und Bildverarbeiten einer Notenschrift oder auch in der Entgegennahme von manuell eingetippten Noten bestehen kann.
Hierauf wird bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ein Raster ermittelt, gemäß dem die Noteneinsatzzeiten quantisiert werden, woraufhin dann die Noteneinsatzzeiten quantisiert werden.
Hierauf wird die Länge des Drum-Patterns als Länge eines musikalischen Taktes, als ganzzahliges Vielfaches der Länge eines musikalischen Taktes oder als ganzzahliges Vielfaches der Länge einer musikalischen Zählzeit ermittelt.
Hierauf wird eine Ermittlung einer Häufigkeit des Auftretens eines bestimmten Instruments pro metrischer Position mit einem Pattern-Histogramm durchgeführt.
Dann wird eine Auswahl der relevanten Einträge vorgenommen, um schließlich eine Form des Drum-Patterns als bevorzugtes Charakteristikum für das Tonsignal zu erhalten. Alternativ kann das Pattern-Histogramm als solches verarbeitet werden. Das Pattern-Histogramm ist ebenfalls eine komprimierte Darstellung der musikalischen Ereignisse, d.h. des Notenbildes, und enthält Informationen über den Grad der Variation und bevorzugte Zählzeiten, wobei eine Flachheit des Histogramms auf eine starke Variation hinweist, während ein sehr "gebirgiges" Histogramm auf ein eher stationäres Signal im sinnen einer Selbst-Ähnlichkeit hinweist.
Zur Verbesserung der Aussagefähigkeit des Histogramms wird es bevorzugt, zunächst eine Vorverarbeitung durchzuführen, um ein Signal in charakteristische untereinander ähnliche Regionen des Signals zu unterteilen und ein Drum-Pattern nur für untereinander ähnliche Regionen im Signal zu extrahieren und für andere charakteristische Regionen im Signal ein anderes Drum-Pattern zu ermitteln.
Die vorliegende Erfindung ist dahin gehend vorteilhaft, dass eine robuste und effiziente Art und Weise zur Berechnung einer Charakteristik eines Tonsignals erhalten wird, insbesondere aufgrund der durchgeführten Unterteilung, die gemäß der ebenfalls mit statistischen Methoden ermittelbaren Periodenlänge sehr robust und für alle Signale gleichermaßen durchführbar ist. Des weiteren ist das erfindungsgemäße Konzept dahin gehend skalierbar, dass die Aussagefähigkeit und Genauigkeit des Konzepts jedoch zum Preis einer höheren Rechenzeit ohne weiteres dadurch gesteigert werden kann, dass immer mehr Folgen von Auftrittszeitpunkten von immer mehr verschiedenen Tonquellen, also Instrumenten, in die Bestimmung der gemeinsamen Periodenlänge und in die Bestimmung des Drum-Patterns mit einbezogen werden, so dass die Berechnung der zusammengefassten Unterfolgen immer aufwendiger wird.
Eine alternative Skalierbarkeit besteht jedoch ebenfalls darin, eine bestimmte Anzahl von zusammengefassten Unterfolgen für eine bestimmte Anzahl von Tonquellen zu berechnen, um dann je nach Weiterverarbeitungsinteresse die erhaltenen zusammengefassten Unterfolgen nachzubearbeiten und damit im Hinblick auf ihre Aussagekraft je nach Bedarf zu reduzieren. Histogrammeinträge unter einem bestimmten Schwellwert können z. B. ignoriert werden. Histogrammeinträge können aber auch an sich quantisiert werden oder nur allgemein je nach Schwellwertentscheidung dahin gehend binarisiert werden, dass ein Histogramm lediglich noch die Aussage enthält, dass in der zusammengefassten Unterfolge zu einem bestimmten Zeitpunkt ein Histogrammeintrag ist oder nicht.
Das erfindungsgemäße Konzept ist aufgrund der Tatsache, dass viele Unterfolgen zu einer zusammengefassten Unterfolge "verschmolzen" werden, ein robustes Verfahren, das jedoch dennoch effizient ausführbar ist, da keine numerisch intensiven Verarbeitungsschritte benötigt werden.
Insbesondere spielen perkussive Instrumente ohne Pitch, die im Folgenden auch Drums genannt werden, eine wesentliche Rolle besonders in populärer Musik. Viele Informationen über Rhythmus und musikalisches Genre stecken in den von Drums gespielten "Noten", welche z. B. bei einer intelligenten und intuitiven Suche in Musikarchiven verwendet werden könnten, um Klassifikationen bzw. wenigstens Vorklassifikationen durchführen zu können.
Die von Drums gespielten Noten bilden häufig wiederkehrende Muster, die auch als Drum-Pattern bezeichnet werden. Ein Drum-Pattern kann als komprimierte Darstellung der gespielten Noten dienen, indem aus einem längeren Notenbild ein Notenbild der Länge eines Drum-Patterns extrahiert wird. Dadurch können aus Drum-Pattern semantisch bedeutungsvolle Informationen über das gesamte Musikstück extrahiert werden, wie beispielsweise Genre, Tempo, Taktart, Ähnlichkeit zu anderen Musikstücken, etc.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:

Fig. 1: ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zum Charakterisieren eines Tonsignals;
Fig. 2: eine schematische Darstellung zur Erläuterung der Ermittlung der Noteneinsatzpunkte;
Fig. 3: ein schematisches Diagramm zur Darstellung eines Quantisierungsrasters und einer Quantisierung der Noten anhand des Rasters;
Fig. 4: eine beispielhafte Darstellung von gemeinsamen Periodenlängen, die durch statistische Periodenlängenbestimmungen unter Verwendung sämtlicher Instrumente erhalten werden können;
Fig. 5: ein beispielhaftes Pattern-Histogramm als Beispiel für zusammengefasste Unterfolgen für die einzelnen Tonquellen (Instrumente); und

Fig. 6: ein nachverarbeitetes Pattern-Histogramm als Beispiel für ein alternatives Charakteristikum des Tonsignals.

Fig. 1 zeigt eine erfindungsgemäße Vorrichtung zum Charakterisieren eines Tonsignals. Zunächst umfasst Fig. 1 eine Einrichtung 10 zum Bereitstellen einer Folge von Einsatzzeitpunkten für jede Tonquelle von wenigstens zwei Tonquellen über der Zeit. Vorzugsweise sind die Einsatzzeitpunkte bereits quantisierte Einsatzzeitpunkte, die in einem Quantisierungsraster vorliegen. Während Fig. 2 eine Folge von Einsatzzeitpunkten von Noten von verschiedenen Tonquellen, also Instrumenten 1, 2,...,n zeigt, die in Fig. 2 mit "x" bezeichnet sind, zeigt Fig. 3 eine in einem Raster, das in Fig. 3 gezeigt ist, quantisierte Folge von quantisierten Einsatzzeitpunkten für jede Tonquelle, also für jedes Instrument 1, 2, ..., n.
Fig. 3 stellt gleichzeitig eine Matrix oder Liste von Einsatzzeitpunkten dar, wobei eine Spalte in Fig. 3 einem Abstand zwischen zwei Rasterpunkten oder Rasterlinien entspricht und damit ein Zeitintervall darstellt, in dem je nach Folge von Einsatzzeitpunkten ein Noteneinsatz vorhanden ist oder nicht. Bei dem in Fig. 3 gezeigten Ausführungsbeispiel ist z. B. in der Spalte, die mit dem Bezugszeichen 30 bezeichnet ist, von Instrument 1 ein Noteneinsatz vorhanden, wobei dies auch für das Instrument 2 gilt, wie es durch das "x" in den beiden den Instrumenten 1 und 2 zugeordneten Zeilen in Fig. 3 angedeutet ist. Dagegen hat das Instrument n keinen Noteneinsatzzeitpunkt in dem durch das Bezugszeichen 30 gezeigten Zeitintervall.
Die mehreren Folgen von vorzugsweise quantisierten Einsatzzeitpunkten werden von der Einrichtung 10 zu einer Einrichtung 12 zum Ermitteln einer gemeinsamen Periodenlänge zugeführt. Die Einrichtung 12 zum Ermitteln einer gemeinsamen Periodenlänge ist ausgebildet, um nicht für jede Folge von Einsatzzeitpunkten selbst eine eigene Periodenlänge zu ermitteln, sondern um eine gemeinsame Periodenlänge zu finden, die den wenigstens zwei Tonquellen am ehesten zugrunde liegt. Dies basiert darauf, dass auch dann, wenn z. B. mehrere perkusssive Instrumente in einem Stück spielen, alle mehr oder weniger den selben Rhythmus spielen, so dass eine gemeinsame Periodenlänge existieren muss, an die sich praktisch alle Instrumente, die zu dem Tonsignal beitragen, also alle Tonquellen halten werden.
Die gemeinsame Tonperiodenlänge wird hierauf einer Einrichtung 14 zum Aufteilen jeder Folge von Einsatzzeitpunkten zugeführt, um ausgangsseitig einen Satz von Unterfolgen für jede Tonquelle zu erhalten.
Wenn beispielsweise Fig. 4 betrachtet wird, so ist zu sehen, dass eine gemeinsame Periodenlänge 40 gefunden worden ist, und zwar für sämtliche Instrumente 1, 2, ..., n, wobei die Einrichtung 14 zum Aufteilen in Unterfolgen ausgebildet ist, um sämtliche Folgen von Einsatzzeitpunkten in Unterfolgen der Länge der gemeinsamen Periodenlänge 40 aufzuteilen. Die Folge von Einsatzzeitpunkten für das Instrument würde dann, wie es in Fig. 4 gezeichnet ist, in eine erste Unterfolge 41, eine anschließende zweite Unterfolge 42 und eine wieder anschließende Unterfolge 43 aufgeteilt werden, um somit für das in Fig. 4 gezeigte Beispiel für die Folge für das Instrument 1 drei Unterfolgen zu erhalten. Ähnlich werden die anderen Folgen für die Instrumente 2, ..., n ebenfalls in entsprechende an einander angrenzende Unterfolgen aufgeteilt, wie es anhand der Folge von Einsatzzeitpunkten für das Instrument 1 dargestellt worden ist.
Die Sätze von Unterfolgen für die Tonquellen werden dann einer Einrichtung 16 zum Zusammenfassen für jede Tonquelle zugeführt, um eine zusammengefasste Unterfolge für die erste Tonquelle und eine zusammengefasste Unterfolge für die zweite Tonquelle als Charakteristikum für das Tonsignal zu erhalten. Vorzugsweise findet die Zusammenfassung in Form eines Pattern-Histogramms statt. Die Unterfolgen für das erste Instrument werden ausgerichtet zueinander übereinander gelegt, derart, dass das erste Intervall jeder Unterfolge gewissermaßen "über" dem ersten Intervall jeder anderen Unterfolge liegt. Dann werden, wie es anhand von Fig. 5 gezeigt ist, die Einträge in jedem Schlitz einer zusammengefassten Unterfolge bzw. in jedem Histogramm-Bin des Pattern-Histogramms gezählt. Die zusammengefasste Unterfolge für die erste Tonquelle wäre bei dem in Fig. 5 gezeigten Beispiel also eine erste Zeile 50 des Pattern-Histogramms. Für die zweite Tonquelle, also z. B. das Instrument 2 wäre die zusammengefasste Unterfolge die zweite Zeile 52 des Pattern-Histogramms etc. Insgesamt stellt das Pattern-Histogramm in Fig. 5 somit das Charakteristikum für das Tonsignal dar, das dann für diverse weitere Zwecke eingesetzt werden kann.
Nachfolgend wird auf verschiedene Ausführungsbeispiele zur Bestimmung der gemeinsamen Periodenlänge im Schritt 12 eingegangen. Das Finden der Patternlänge kann auf verschiedene Art und Weisen realisiert werden, nämlich beispielsweise aus einem a-priori-Kriterium, welches unmittelbar eine Schätzung der Periodizität/Patternlänge aufgrund der vorhandenen Noteninformationen liefert, oder alternativ z. B. durch einen vorzugsweise iterativen Suchalgorithmus, welcher eine Anzahl von Hypothesen für die Patternlänge annimmt und deren Plausibilität anhand der sich ergebenden Resultate prüft. Dies kann beispielsweise ebenfalls wieder durch Auswertung eines Pattern-Histogramms, wie es auch durch die Einrichtung 16 zum Zusammenfassen vorzugsweise implementiert wird, oder unter Verwendung anderer Selbstähnlichkeitsmaße erfolgen.
Wie es ausgeführt worden ist, kann das Pattern-Histogramm, wie es in Fig. 5 gezeigt ist, von der Einrichtung 16 zum Zusammenfassen erzeugt werden. Das Pattern-Histogramm kann alternativ auch die Intensitäten der einzelnen Noten berücksichtigen, um so eine Gewichtung der Noten nach ihrer Relevanz zu erreichen. Alternativ kann, wie es in Fig. 5 gezeigt worden ist, das Histogramm lediglich Informationen dahin gehend enthalten, ob in einer Unterfolge bzw. in einem Bin oder Zeitschlitz einer Unterfolge ein Ton vorhanden ist oder nicht. Hier würde eine Gewichtung der einzelnen Noten im Hinblick auf ihre Relevanz nicht in das Histogramm einfließen.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird das in Fig. 5 gezeigte Charakteristikum, das hier vorzugsweise ein Pattern-Histogramm ist, noch weiter verarbeitet. Hierbei kann eine Notenauswahl anhand eines Kriteriums getroffen werden, wie beispielsweise durch den Vergleich der Häufigkeit oder der kombinierten Intensitätswerte mit einem Schwellwert. Dieser Schwellwert kann unter anderem auch vom Instrumententyp oder von der Flachheit des Histogramms abhängig sein. Die Einträge in Drum-Pattern können Boolsche Größen sein, wobei eine "1" für die Tatsache stehen würde, dass eine Note auftritt, während eine "0" für die Tatsache stehen würde, dass keine Note auftritt. Alternativ kann ein Eintrag im Histogramm auch ein Maß dafür sein, wie hoch die Intensität (Lautheit) oder Relevanz der in diesem Zeitschlitz auftretenden Note über das Musiksignal betrachtet ist. Wenn Fig. 6 betrachtet wird, so wird ersichtlich, dass der Schwellwert dahin gehend gewählt war, dass sämtliche Zeitschlitze bzw. Bins in dem Pattern-Histogramm für jedes Instrument mit einem "x" markiert werden, bei denen die Anzahl der Einträge größer oder gleich 3 ist. Dagegen werden sämtliche Bins gelöscht, bei denen die Anzahl der Einträge kleiner als 3 ist, nämlich beispielsweise 2 oder 1 beträgt.
Erfindungsgemäß wird also ein musikalisches "Ergebnis" oder Score aus perkussiven Instrumenten, die nicht oder nicht signifikant durch eine Tonhöhe charakterisiert werden, erzeugt. Ein musikalisches Ereignis wird als Auftreten eines Tons eines Musikinstruments definiert. Vorzugsweise werden nur perkussive Instrumente ohne einen wesentlichen Pitch betrachtet. Ereignisse werden in dem Audiosignal erfasst und in Instrumentenklassen klassifiziert, wobei die zeitlichen Positionen der Ereignisse auf einem Quantisierungsraster, das auch als Tatum-Grid bezeichnet wird, quantisiert werden. Ferner wird das musikalische Maß bzw. die Länge eines Taktes in Millisekunden oder aber eine Anzahl von Quantisierungsintervallen berechnet, wobei ferner auch vorzugsweise Auftakte identifiziert werden. Die Identifikation von rhythmischen Strukturen auf der Basis der Frequenz des Auftretens musikalischer Ereignisse an bestimmten Positionen im Drum-Pattern ermöglicht eine robuste Identifikation des Tempos und gibt wertvolle Hinweise für die Positionierung der Taktlinien, wenn ferner musikalisches Hintergrundwissen eingesetzt wird.
Es sei darauf hingewiesen, dass der musikalische Score bzw. das Charakteristikum vorzugsweise die rhythmischen Informationen, wie beispielsweise Startzeit und Dauer umfasst. Obgleich die Schätzung dieser metrischen Informationen, nämliche einer Zeitsignatur, nicht unbedingt für die automatische Synthese der transkribierten Musik nötig ist, wird sie dennoch für die Erzeugung eines gültigen musikalischen Scores und für die Reproduktion durch menschliche Reproduzenten benötigt. Daher kann ein automatischer Transkriptionsprozess in zwei Aufgaben aufgeteilt werden, nämlich die Erfassung und Klassifizierung der musikalischen Ereignisse, also Noten, und die Erzeugung eines musikalischen Scores aus den erfassten Noten, also des Drum-Patterns, wie es vorstehend bereits erläutert worden ist. Hierzu wird vorzugsweise die metrische Struktur der Musik geschätzt, wobei auch eine Quantisierung der zeitlichen Positionen der erfassten Noten sowie eine Erkennung von Auftakten und eine Bestimmung der Position der Taktlinien vorgenommen werden kann. Insbesondere wird die Extraktion des musikalischen Scores für perkussive Instrumente ohne eine signifikante Pitch-Information aus polyphonen musikalischen Audiosignalen beschrieben. Die Erfassung und Klassifizierung der Ereignisse wird vorzugsweise mit dem Verfahren der unabhängigen Subspace-Analyse durchgeführt.
Eine Erweiterung der ICA stellt die Independent Subspace Analysis (ISA) dar. Hier werden die Komponenten unterteilt in unabhängige Unterräume oder Subspaces, deren Komponenten nicht statistisch unabhängig sein müssen. Durch eine Transformation des Musiksignals wird eine mehrdimensionale Darstellung des Mischsignals ermittelt und der letzten Annahme für die ICA entsprochen. Verschiedene Verfahren zur Berechnung der unabhängigen Komponenten wurden in den letzten Jahren entwickelt. Einschlägige Literaturstellen, die sich zum Teil auch mit der Analyse von Audiosignalen beschäftigen, sind folgende:

1. J. Karhunen, "Neural approaches to independent component analysis and source separation", Proceedings of the European Symposium on Artificial Neural Networks, S. 249-266, Bruges, 1996.
2. M.A. Casey and A. Westner, "Separation of Mixed Audio Sources by Independent Subspace Analysis", Proceedings of the International Computer Music Conference, Berlin, 2000.
3. J.-F. Cardoso, "Multidimensional independent component analysis", Proceedings of ICASSP'98, Seattle, 1998.
4. A. Hyvärinen, P.O. Hoyer and M. Inki, "Topographic Independent analysis", Neural Computation, 13(7), S. 1525-1558, 2001.
5. S. Dubnov, "Extracting Sound Objects by Independent Subspace Analysis" Proceedings of AES 22^nd International Conference on Virtual, Synthetic and Entertainment Audio, Helsinki, 2002.
6. J.-F. Cardoso and A. Souloumiac, "Blind beamforming for non Gaussian signals" IEE Proceedings, Bd. 140, Nr. 6, S. 362-370, 1993.
Ein Ereignis wird als Auftreten einer Note eines musikalischen Instruments definiert. Der Auftrittszeitpunkt einer Note ist also der Zeitpunkt, zu dem die Note in dem musikalischen Stück auftritt. Das Audiosignal wird in Teile segmentiert, wobei ein Segment des Audiosignals ähnliche rhythmische Eigenschaften hat. Dies wird unter Verwendung eines Abstandsmaßes zwischen kurzen Rahmen des Audiosignals durchgeführt, das durch einen Vektor von Audiomerkmalen auf niedriger Ebene dargestellt wird. Das Tatum-Grid und höhere metrische Ebenen werden aus den segmentierten Teilen separat ermittelt. Es wird angenommen, dass sich die metrische Struktur innerhalb eines segmentierten Teils des Audiosignals nicht verändert. Die erfassten Ereignisse sind vorzugsweise mit dem abgeschätzten Tatum-Grid ausgerichtet. Dieser Prozess entspricht in etwa der bekannten Quantisierungsfunktion in üblichen MIDI-Sequenzer-Softwareprogrammen für die Musikproduktion. Die Taktlänge wird aus der quantisierten Ereignisliste abgeschätzt, und wiederkehrende rhythmische Strukturen werden identifiziert. Die Kenntnis über die rhythmischen Strukturen wird für die Korrektur des geschätzten Tempos verwendet und für die Identifikation der Position der Taktlinien unter Verwendung musikalischen Hintergrundwissens.

Nachfolgend wird auf bevorzugte Ausgestaltungen verschiedener erfindungsgemäßer Elemente eingegangen. Vorzugsweise führt die Einrichtung 10 zum Bereitstellen von Folgen von Einsatzzeitpunkten für mehrere Tonquellen eine Quantisierung durch. Die erfassten Ereignisse werden vorzugsweise in dem Tatum-Grid quantisiert. Das Tatum-Grid wird unter Verwendung der Noteneinsatzzeiten der erfassten Ereignisse zusammen mit Noteneinsatzzeiten abgeschätzt, die mittels herkömmlicher Noteneinsatzerfassungsverfahren arbeiten. Die Erzeugung des Tatum-Grids auf der Basis der erfassten perkussiven Ereignisse arbeitet zuverlässig und robust. Hierbei sei darauf hingewiesen, dass der Abstand zwischen zwei Rasterpunkten in einem Musikstück meistens die schnellste gespielte Note darstellt. Kommen in einem Musikstück somit höchstens Sechzehntelnoten und keine schnelleren als die Sechzehntelnoten vor, so ist der Abstand zwischen zwei Rasterpunkten des Tatum-Grids gleich der zeitlichen Länge einer Sechzehntelnote des Tonsignals.
Im allgemeinen Fall entspricht der Abstand zwischen zwei Rasterpunkten dem größten Notenwert, der benötigt wird, um durch Bildung ganzzahliger Vielfacher dieses Notenwerts alle vorkommenden Notenwerte bzw. zeitlichen Periodendauern darzustellen. Der Rasterabstand ist damit der größte gemeinsame Teiler aller vorkommenden Notendauern/Periodenlängen etc.
Nachfolgend werden zwei alternative Lösungsansätze zur Bestimmung des Tatum-Grids dargestellt. Zunächst, als erster Lösungsansatz, wird das Tatum-Grid unter Verwendung einer 2-Wege-Mismatch-Prozedur (TWM) dargestellt. Eine Serie von Versuchswerten für die Tatum-Periode, also für den Abstand von zwei Rasterpunkten, wird aus einem Histogramm für ein Inter-Onset-Intervall (IOI) abgeleitet. Die Berechnung des IOI ist nicht auf aufeinanderfolgende Onsets begrenzt, sondern auf praktisch alle Paare von Onsets in einem zeitlichen Rahmen. Tatum-Kandidaten werden als ganzzahlige Bruchteile des häufigsten IOI berechnet. Der Kandidat wird ausgewählt, der am besten die harmonische Struktur des IOI gemäß der 2-Wege-Mismatch-Fehlerfunktion vorhersagt. Die geschätzte Tatum-Periode wird nachfolgend durch Berechnung der Fehlerfunktion zwischen dem Comb-Grid, das von der Tatum-Periode abgeleitet wird und den Onset-Zeiten des Signals berechnet. Es wird also das Histogramm des IOI erzeugt und mittels eines FIR-Tiefpassfilters geglättet. Tatum-Kandidaten werden also durch Aufteilen des IOI entsprechend den Spitzen in dem IOI-Histogramm durch einen Satz von Werten zwischen z. B. 1 und 4 erhalten. Ein roher Schätzwert für die Tatum-Periode wird aus dem IOI-Histogramm nach dem Anwenden der TWM abgeleitet. Anschließend werden die Phase des Tatum-Grids und ein exakter Schätzwert der Tatum-Periode mittels der TWM zwischen den Noteneinsatzzeiten und mehreren Tatum-Grids mit Perioden nahe der vorher geschätzten Tatum-Periode berechnet.
Das zweite Verfahren verfeinert und stellt das Tatum-Grid durch Berechnen der besten Übereinstimmung zwischen den Noteneinsatzvektor und dem Tatum-Grid dar, und zwar unter Verwendung eines Korrelationskoeffizienten R_xy zwischen dem Noteneinsatzvektor x und dem Tatum y. $R_{x y} = \frac{\sum_{i = 1}^{n} (x_{i} - \overline{x}) \cdot (y_{i} - \overline{y})}{\sqrt{\sum_{i = 1}^{n} {(x_{i} - \overline{x})}^{2} \sum_{i = 1}^{n} {(y_{i} - \overline{y})}^{2}}}$
Um kleinen Tempovariationen zu folgen, wird das Tatum-Grid für benachbarte Rahmen mit z. B. einer Länge von 2,5 Sek. geschätzt. Die Übergänge zwischen den Tatum-Grids von benachbarten Rahmen werden durch Tiefpassfiltern des IOI-Vektors der Tatum-Grid-Punkte geglättet, und das Tatum-Grid wird aus dem geglätteten IOI-Vektor wieder hergestellt. Anschließend wird jedes Ereignis seiner nahe liegendsten Grid-Position zugeordnet. Damit wird gewissermaßen eine Quantisierung durchgeführt.
Der Score kann dann als Matrix T_ik, i =1, ... n und j = 1, ..., m geschrieben werden, wobei n die Anzahl von erfassten Instrumenten bezeichnet, und wobei m gleich der Anzahl von Tatum-Grid-Elementen ist, also gleich der Anzahl von Spalten der Matrix. Die Intensität der erfassten Ereignisse kann entweder entfernt werden oder verwendet werden, was zu einer Boolschen Matrix führt oder zu einer Matrix mit Intensitätswerten führt.
Nachfolgend wird auf spezielle Ausführungsformen der Einrichtung 12 zum Ermitteln einer gemeinsamen Periodenlänge eingegangen. Die quantisierte Darstellung der perkussiven Ereignisse liefert wertvolle Informationen für die Abschätzung des musikalischen Maßes bzw. einer Periodizität, die dem Spielen der Tonquellen zugrunde liegt. Die Periodizität auf Taktebene beispielsweise wird in zwei Stufen ermittelt. Zunächst wird eine Periodizität berechnet, um dann die Taktlänge abzuschätzen.
Vorzugsweise werden als Periodizitätsfunktionen die Autokorrelationsfunktion (ACF) oder die mittlere Betrags-Differenz-Funktion (AMDF) verwendet, wie sie in den nachfolgenden Gleichungen dargestellt sind. $A C F (τ) = \sum_{i = 1}^{τ} x_{i} x_{i + τ}$
$A M D F (τ) = \sum_{j = 1}^{τ} {(x_{j} - x_{j + τ})}^{2}$
Die AMDF wird auch für die Abschätzung der Fundamentalfrequenz für Musik- und Sprachsignale und für die Abschätzung des musikalischen Maßes eingesetzt.
Im allgemeinen Fall misst eine Periodizitätsfunktion die Ähnlichkeit bzw. Unähnlichkeit zwischen dem Signal und seiner zeitlich verschiedenen Version. Verschiedene Ähnlichkeitsmaße sind bekannt. So gibt es beispielsweise die Hamming-Distanz (HD), welche eine Unähnlichkeit zwischen zwei Boolschen Vektoren B₁ und B₂ gemäß nachfolgender Gleichung berechnet. $H D = sum (b_{1} \underset{̲}{\lor} b_{2})$
Eine geeignete Erweiterung für den Vergleich der rhythmischen Strukturen ergibt sich aus der unterschiedlichen Gewichtung ähnlicher Treffer und Ruhepausen. Die Ähnlichkeit B zwischen zwei Abschnitten eines Scores T₁ und T₂ wird dann durch gewichtete Summation der Boolschen Operationen, wie sie nachfolgend dargestellt sind, berechnet. $B = a \cdot T_{1} \land T_{2} + b \cdot_{⌜} T_{1} \land \cdot_{⌜} T_{2} - c \cdot T_{1} \underset{̲}{\lor} T_{2}$
In der vorstehenden Gleichung werden die Gewichte a, b und c ursprünglich auf a = 1, b = 0, 5 und c = 0 gesetzt. a gewichtet das Auftreten gemeinsamer Noten, b gewichtet das Auftreten gemeinsamer pausen und c gewichtet das Auftretens eines Unterschieds, d. h. in einem Score tritt eine Note auf und in dem anderen Score tritt keine Note auf. Das Ähnlichkeitsmaß M wird durch Summation der Elemente von B erhalten, wie es nachfolgend dargelegt ist. $M = \sum_{i = 1}^{n} \sum_{j = 1}^{m} B_{i j}$
Dieses Ähnlichkeitsmaß ähnelt der Hamming-Distanz dahin gehend, dass Differenzen zwischen Matrixelementen auf ähnliche Art und Weise berücksichtigt werden. Nachfolgend wird als Distanzmaß eine modifizierte Hamming-Distanz (MHD) eingesetzt. Zusätzlich kann der Einfluss distinkter Instrumente mittels eines Gewichtungsvektors ν_i, i =1, ..., n gesteuert werden, der entweder unter Verwendung eines musikalischen Vorauswissens, z. B. indem mehr Wichtigkeit auf kleine Trommeln (Snare-Drums) oder auf tiefe Instrumente gelegt werden, oder abhängig von der Frequenz und Regelmäßigkeit des Auftretens der Instrumente gesteuert werden: $M_{v} = \sum_{i = 1}^{n} v_{i} \cdot \sum_{j = 1}^{m} B_{i j}$
Zusätzlich können die Ähnlichkeitsmaße für Boolsche Matrizen durch Gewichten von B mit dem Mittelwert aus T₁ und T₂ erweitert werden, um Intensitätswerte zu berücksichtigen. Abstände bzw. Unähnlichkeiten werden als negative Ähnlichkeiten aufgefasst. Die Periodizitätsfunktion P = f (M, 1) wird durch Berechnen des Ähnlichkeitsmaßes M zwischen dem Score T und einer verschobenen Version desselben berechnet, wobei eine Verschiebung 1 zugrunde liegt. Die Zeitsignatur wird durch Vergleichen von P mit einer Anzahl von Metrikmodellen bestimmt. Die implementierten Metrikmodelle Q bestehen aus einem Zug aus Spikes bei typischen Akzentpositionen für unterschiedliche Zeitsignaturen und Mikrozeiten. Eine Mikrozeit ist das ganzzahlige Verhältnis zwischen der Dauer einer musikalischen Zählzeit, d.h. des Notenwerts, der das musikalische Tempo bestimmt (z. B. Viertelnote), und der Dauer einer Tatum-Periode.
Die beste Übereinstimmung zwischen P und Q wird erhalten, wenn der Korrelationskoeffizient sein Maximum annimmt. Im gegenwärtigen Zustand des Systems werden 13 Metrikmodelle für sieben unterschiedliche Zeitsignaturen implementiert.
Wiederkehrende Strukturen werden erfasst, um Auftakte z. B. zu erfassen, und um eine robust Temposchätzung zu erhalten. Für die Erfassung von Drum-Patterns wird ein Score T aus der Länge eines Takts b durch Summation der Matrixelemente T mit ähnlicher metrischer Position gemäß folgender Gleichung erhalten: $Tʹ = \sum_{k = 1}^{p} T_{i, j} + (k - 1) b$
In der vorstehenden Gleichung bezeichnen b eine geschätzte Taktlänge und p die Anzahl von Takten in T. Nachfolgend wird T' als Score-Histogramm bzw. Pattern-Histogramm bezeichnet. Drum-Patterns werden aus dem Score-Histogramm T' durch eine Suche nach Score-Elementen T'_i,j mit großen Histogrammwerten erhalten. Pattern einer Länge von mehr als einem Takt werden mittels einer Wiederholung der oben beschriebenen Prozedur für ganzzahlige Werte der gemessenen Länge wiedergewonnen. Die Patternlänge mit den meisten Treffern, und zwar bezogen auf die Patternlänge selbst, wird ausgewählt, um ein maximal repräsentatives Pattern als weiteres oder alternatives Charakteristikum für das Tonsignal zu erhalten.
Vorzugsweise werden die identifizierten rhythmischen Pattern unter Verwendung eines Satzes von Regeln interpretiert, die aus musikalischer Kenntnis abgeleitet werden. Vorzugsweise werden äquidistante Ereignisse des Auftretens von einzelnen Instrumenten identifiziert und Bezug nehmend auf die Instrumentenklasse evaluiert. Dies führt zu einer Identifikation von Spielstilen, die häufig in populärer Musik auftreten. Ein Beispiel ist die sehr häufige Verwendung der kleinen Trommel (Snare-Drum) oder von Tambourinen oder von "Hand Claps" (Händeklatschen) in dem zweiten und vierten Schlag in einem Vier-Viertel-Takt. Dieses Konzept, das als Backbeat bezeichnet wird, dient als Indikator für die Position der Taktlinien. Wenn ein Backbeat-Pattern vorhanden ist, startet ein Takt zwischen zwei Anschlägen der kleinen Trommel.
Ein weiterer Hinweis für die Positionierung der Taktlinien besteht in dem Auftreten von Kick-Drum-Ereignissen, also Ereignissen einer typischerweise per Fuß betätigten großen Trommel.
Es wird angenommen, dass der Start eines musikalischen Maßes durch die metrische Position markiert wird, wo die meisten Kick-Drum-Noten auftreten.
Eine bevorzugte Anwendung des Charakteristikums, wie es durch die Einrichtung 16 zum Zusammenfassen für jede Tonquelle, wie es in Fig. 1 gezeigt und beschrieben worden ist, erhalten wird, wie es z. B. in Fig. 5 oder 6 dargestellt ist, besteht in der Genre-Klassifizierung von populärer Musik. Von den erhaltenen Drum-Patterns können verschiedene Merkmale auf hoher Ebene abgeleitet werden, um typische Spielstile zu identifizieren. Eine Klassifikationsprozedur bewertet diese Merkmale in Verbindung mit Informationen über das musikalische Maß, also die Geschwindigkeit, in z. B. Schlägen pro Minute oder Beats per Minute und unter Verwendung der verwendeten perkussiven Instrumente. Das Konzept basiert darauf, dass sämtliche perkussiven Instrumente Rhythmusinformationen tragen und häufig repetitiv gespielt werden. Drum-Patterns haben Genre-spezifische Charakteristika. Daher können diese Drum-Patterns zur Klassifikation des Musik-Genres eingesetzt werden.
Hierzu wird eine Klassifikation von verschiedenen Spielstilen (Playing Style) durchgeführt, die jeweils einzelnen Instrumenten zugeordnet sind. So besteht ein Spielstil beispielsweise darin, dass Ereignisse nur auf jeder Viertelnote auftreten. Ein zugeordnetes Instrument für diesen Spielstil ist die Kick-Drum, also die große mit dem Fuß betätigte Trommel des Schlagzeugs. Dieser Spielstil wird mit FS abgekürzt.
Ein alternativer Spielstil besteht beispielsweise darin, dass Ereignisse in jeder zweiten und vierten Viertelnote eines Vier-Viertel-Takts auftreten. Dies wird hauptsächlich von der kleinen Trommel (Snare-Drum) und Tambourinen, also den Hand-Claps gespielt. Dieser Spielstil wird als BS abgekürzt. Beispielhafte weitere Spielstile bestehen darin, dass Noten oft auf der ersten und der dritten Note eines Triplets auftreten. Dies wird als SP abgekürzt und oft bei einem Hi-Hat oder bei einem Becken (Cymbal) beobachtet.
Es sind also Spielstile für verschiedene Musikinstrumente spezifisch. Beispielsweise ist das erste Merkmal FS ein Boolscher Wert und wahr, wenn Kick-Drum-Ereignisse nur auf jeder Viertelnote auftreten. Lediglich für bestimmte Werte werden keine Boolschen Variablen berechnet, sondern werden bestimmte Zahlen ermittelt, wie beispielsweise für die Relation zwischen der Anzahl von Off-Beat-Ereignissen und die Anzahl von On-Beat-Ereignissen, wie sie beispielsweise von einem Hi-Hat, einem Shaker oder einem Tamburin gespielt werden.
Typische Kombinationen von Drum-Instrumenten werden in einen der verschiedenen Drum-Set-Typen klassifiziert, wie beispielsweise Rock, Jazz, Latin, Disco und Techno, um ein weiteres Merkmal für die Genre-Klassifikation zu erhalten. Die Klassifikation des Drum-Sets wird nicht unter Verwendung der Instrumententöne abgeleitet, sondern durch allgemeine Untersuchung des Auftretens von Drum-Instrumenten in verschiedenen Stücken, die zu den einzelnen Genres gehören. So zeichnet sich der Drum-Set-Typ Rock beispielsweise dadurch aus, dass eine Kick-Drum, eine Snare-Drum, ein Hi-Hat und ein Becken vorkommt. Dagegen kommt im Type "Latin" ein Bongo, ein Conga, Claves und Shaker vor.
Ein weiterer Satz von Merkmalen wird aus den rhythmischen Merkmalen des Drum-Scores bzw. Drum-Patterns abgeleitet. Diese Merkmale umfassen musikalisches Tempo, Zeitsignatur, Mikrozeit, etc. Zusätzlich wird ein Maß für die Variation des Auftretens von Kick-Drum-Noten durch Zählen der Anzahl von unterschiedlichen IOI, die in dem Drum-Pattern auftreten, erhalten.
Die Klassifikation des musikalischen Genres unter Verwendung des Drum-Patterns wird unter Verwendung eines Regelbasierten Entscheidungsnetzwerks ausgeführt. Mögliche Genre-Kandidaten werden belohnt, wenn sie eine gegenwärtig untersuchte Hypothese erfüllen, und werden "bestraft", wenn sie Aspekte einer gegenwärtig untersuchten Hypothese nicht erfüllen. Dieser Prozess resultiert in der Auswahl günstiger Merkmalskombinationen für jedes Genre. Die Regeln für eine vernünftige Entscheidung werden aus Beobachtungen repräsentativer Stücke und aus musikalischer Kenntnis an sich abgeleitet. Werte für Belohnung bzw. Bestrafung werden unter Berücksichtigung der Robustheit des Extraktionskonzepts empirisch eingestellt. Die resultierende Entscheidung für ein bestimmtes musikalisches Genre wird für den Genre-Kandidaten getroffen, der die maximale Anzahl von Belohnungen hat. So wird beispielsweise das Genre Disco erkannt, wenn ein Drum-Set-Typ Disco ist, wenn das Tempo im Bereich zwischen 115 und 132 bpm ist, wenn eine Zeitsignatur 4/4 Bit beträgt und die Mikrozeit gleich 2 ist. Ferner ist ein weiteres Merkmal für das Genre Disco, dass ein Spielstil FS z. B. vorhanden ist, und dass z. B. noch ein weiterer Spielstil vorhanden ist, nämlich das Ereignisse auf jeder Off-Beat-Position auftreten. Ähnliche Kriterien können für andere Genres, wie beispielsweise Hip-Hop, Soul/Funk, Drum and Bass, Jazz/Swing, Rock/Pop, Heavy Metal, Latin, Walzer, Polka/Punk oder Techno aufgestellt werden.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren zum Charakterisieren eines Tonsignals in Hardware oder in Software implementiert werden. Die Implementierung kann auf einen digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Vorrichtung zum Charakterisieren eines Tonsignals, mit folgenden Merkmalen:
einer Einrichtung (10) zum Bereitstellen einer Folge von Einsatzzeitpunkten von Tönen für wenigstens eine Tonquelle;

einer Einrichtung (12) zum Ermitteln einer gemeinsamen Periodenlänge, die der wenigstens einen Tonquelle zugrunde liegt, unter Verwendung der wenigstens einen Folge von Einsatzzeitpunkten;

einer Einrichtung (14) zum Aufteilen der wenigstens einen Folge von Einsatzzeitpunkten in jeweilige Unterfolgen, wobei eine Länge einer Unterfolgen gleich der gemeinsamen Periodenlänge ist oder von der gemeinsamen Periodenlänge abgeleitet ist; und

einer Einrichtung (16) zum Zusammenfassen der Unterfolgen für die wenigstens eine Tonquelle in eine zusammengefasste Unterfolge, wobei die zusammengefasste Unterfolge ein Charakteristikum für das Tonsignal darstellt.
Vorrichtung nach Anspruch 1,
bei der die Einrichtung (10) zum Bereitstellen ausgebildet ist, um wenigstens zwei Folgen von Einsatzzeitpunkten für wenigstens zwei Tonquellen bereitzustellen,
bei der Einrichtung (12) zum Ermitteln ausgebildet ist, um die gemeinsame Periodenlänge für die wenigstens zwei Tonquellen zu ermitteln,
bei der die einer Einrichtung (14) zum Aufteilen ausgebildet ist, um die wenigstens zwei Folgen von Einsatzzeitpunkten gemäß der gemeinsamen Periodenlänge aufzuteilen, und
bei der die Einrichtung (16) zum Zusammenfassen ausgebildet ist, um die Unterfolgen für die zweite Tonquelle in eine zweite zusammengefasste Unterfolge zusammenzufassen, wobei die erste zusammengefasste Unterfolge und die zweite zusammengefasste Unterfolge das Charakteristikum für das Tonsignal darstellen.
Vorrichtung nach Anspruch 1 , bei der die Einrichtung zum Bereitstellen (10) ausgebildet ist, um für jede der zumindest zwei Tonquellen eine Folge von quantisierten Einsatzzeitpunkten zu liefern, wobei die Einsatzzeitpunkte bezüglich eines Quantisierungsrasters quantisiert sind, wobei ein Rasterpunktabstand zwischen zwei Rasterpunkten gleich einem kürzesten Abstand zwischen zwei Tönen in dem Tonsignal oder gleich dem größten gemeinsamen Teiler der Dauern von Tönen in dem Musiksignal ist.
Vorrichtung nach Anspruch 1, 2 oder 3, bei der die Einrichtung (10) zum Bereitstellen ausgebildet ist, um die Einsatzzeitpunkte von perkussiven Instrumenten, nicht aber Einsatzzeitpunkte von harmonischen Instrumenten zu liefern.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung zum Ermitteln (12) ausgebildet ist,
um für jede einer Mehrzahl von hypothetischen gemeinsamen Periodenlängen ein Wahrscheinlichkeitsmaß zu ermitteln, und
um die hypothetische gemeinsame Periodenlänge aus der Mehrzahl von hypothetischen gemeinsamen Periodenlängen als gemeinsame Periodenlänge auszuwählen, deren Wahrscheinlichkeitsmaß darauf hinweist, dass die hypothetische gemeinsame Periodenlänge die gemeinsame Periodenlänge für die wenigstens zwei Tonquellen ist.
Vorrichtung nach Anspruch 5, bei der die Einrichtung (12) zum Ermitteln ausgebildet ist, um das Wahrscheinlichkeitsmaß auf der Basis eines ersten Wahrscheinlichkeitsmaßes für die erste Tonquelle und auf der Basis eines zweiten Wahrscheinlichkeitsmaßes für die zweite Tonquelle zu ermitteln.
Vorrichtung nach Anspruch 5 oder 6, bei der die Einrichtung (12) zum Ermitteln ausgebildet ist, um die Wahrscheinlichkeitsmaße durch einen Vergleich der Folge von Einsatzzeitpunkten mit einer verschobenen Folge von Einsatzzeitpunkten zu berechnen.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (14) zum Aufteilen ausgebildet ist, um für jede Unterfolge eine Liste zu erzeugen, wobei die Liste für jeden Rasterpunkt und für jede Tonquelle eine zugeordnete Information aufweist, die sich darauf bezieht, ob an dem Rasterpunkt ein Einsatzzeitpunkt eines Tons ist oder nicht.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (10) zum Bereitstellen ausgebildet ist, um für jede Tonquelle eine Liste zu erzeugen, wobei die Liste für jeden Rasterpunkt eines Rasters eine zugeordnete Information aufweist, ob an dem Rasterpunkt ein Einsatzzeitpunkt eines Tons ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (16) zum Zusammenfassen ausgebildet ist, um als zusammengefasste Unterfolge ein Histogramm zu erzeugen.
Vorrichtung nach Anspruch 10, bei der die Einrichtung (16) zum Zusammenfassen ausgebildet ist, um das Histogramm so zu erzeugen, dass jeder Rasterpunkt eines Tonrasters der zusammengefassten Unterfolge einen Histogramm-Bin darstellt.
Vorrichtung nach Anspruch 10 oder 11, bei der die Einrichtung (16) zum Zusammenfassen ausgebildet ist, um bei jeder Unterfolge für eine Tonquelle bei Auffinden eines Eintrags einen Zählwert für einen zugeordneten Bin in dem Histogramm zu inkrementieren, oder durch Addition eines durch den Eintrag festgelegten Maßes zu erhöhen, wobei der Eintrag ein Maß für eine Intensität eines Tons ist, der zu dem Einsatzzeitpunkt einen Einsatz hat.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (16) zum Zusammenfassen ausgebildet ist, um in der ersten zusammengefassten Unterfolge und der zweiten zusammengefassten Unterfolge lediglich Werte der Unterfolgen als Charakteristikum auszugeben, die oberhalb einer Schwelle sind.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (16) zum Zusammenfassen ausgebildet ist, um die Unterfolgen bezüglich der gemeinsamen Länge zu normieren oder um die erste zusammengefasste Unterfolge oder die zweite zusammengefasste Unterfolge bezüglich der gemeinsamen Länge zu normieren.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (10) zum Bereitstellen ausgebildet ist, um Segmente mit einer einheitlichen rhythmischen Struktur aus einem Audiosignal zu erzeugen, und
wobei die Einrichtung (16) zum Zusammenfassen ausgebildet ist, um das Charakteristikum für ein Segment mit einer einheitlichen rhythmischen Struktur zu erzeugen.
Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist:
eine Einrichtung zum Extrahieren eines Merkmals aus dem Charakteristikum für das Tonsignal; und

eine Einrichtung zum Bestimmen eines Musik-Genres zu dem das Tonsignal gehört, unter Verwendung des Merkmals.
Vorrichtung nach Anspruch 16, bei der die Einrichtung zum Bestimmen ausgebildet ist, um ein Regel-basiertes Entscheidungsnetzwerk, eine Mustererkennungseinrichtung oder einen Klassifikator zu verwenden.
Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner eine Einrichtung zum Extrahieren eines Tempos aus dem Charakteristikum aufweist.
Vorrichtung nach Anspruch 18, bei der die Einrichtung zum Extrahieren ausgebildet ist, um das Tempo auf der Basis der gemeinsamen Periodenlänge zu bestimmen.
Verfahren zum Charakterisieren eines Tonsignals, mit folgenden Schritten:
Bereitstellen (10) einer Folge von Einsatzzeitpunkten von Tönen für wenigstens eine Tonquelle;

Ermitteln (12) einer gemeinsamen Periodenlänge, die der wenigstens einen Tonquelle zugrunde liegt, unter Verwendung der wenigstens einen Folge von Einsatzzeitpunkten;

Aufteilen (14) der wenigstens einen Folge von Einsatzzeitpunkten in jeweilige Unterfolgen, wobei eine Länge einer Unterfolgen gleich der gemeinsamen Periodenlänge ist oder von der gemeinsamen Periodenlänge abgeleitet ist; und

Zusammenfassen (16) der Unterfolgen für die wenigstens eine Tonquelle in eine zusammengefasste Unterfolge,
wobei die zusammengefasste Unterfolge ein Charakteristikum für das Tonsignal darstellt.
Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens gemäß Patentanspruch 20, wenn das Computer-Programm auf einem Computer abläuft.