DE602004009676T2

DE602004009676T2 - Verfahren zur Musikklassifikation

Info

Publication number: DE602004009676T2
Application number: DE602004009676T
Authority: DE
Inventors: Thomas Kemp; Marta Tolos; Chris Shi-Chai London Liu; Robert London Tingey; Kazuto c/o SONY Design Centre Europe London Mugura
Original assignee: Sony Deutschland GmbH
Current assignee: Sony Deutschland GmbH
Priority date: 2004-07-09
Filing date: 2004-07-09
Publication date: 2008-08-07
Anticipated expiration: 2024-07-10
Also published as: CN1985302A; WO2006005533A2; EP1615204B1; EP1615204A1; US20090031882A1; WO2006005533A3; DE602004009676D1; US7858868B2; JP4825800B2; CN1985302B; JP2008506141A

Description

Die Erfindung bezieht sich auf ein Verfahren zum Klassifizieren von Musik. Die Erfindung bezieht sich insbesondere auf ein Verfahren zur automatischen Musikstimmungserfassung.
In den letzten Jahren sind so genannte mobile Musikabspielgeräte entstanden, die auf Grund ihrer immer weiter zunehmenden Speicherkapazitäten, die die Speicherung einer sehr großen Anzahl von Speicherelementen ermöglichen, in der Lage sind, die vergleichsweise große Menge an Musik oder eine vergleichsweise große Anzahl an Musikstücken zu bieten. Diese mobilen Musikabspielgeräte sind jedoch manchmal unzweckmäßig in Bezug auf die Auswahl- und Klassifizierungsprozesse in Bezug auf die gespeicherten Musikstücke. Manchmal wird der vom Benutzer eines solchen mobilen Musikabspielgeräts durchzuführende Klassifizierungs- und/oder Auswahlprozess für Musikstücke schwierig.
Daher ist es eine Aufgabe der Erfindung, ein Verfahren zum Klassifizieren von Musik zu schaffen, das in der Lage ist, eine Klassifizierung von nicht klassifizierten Musikstücken in einer leichten Weise zuverlässig zu schaffen.
Die Aufgabe wird durch ein Verfahren zum Klassifizieren von Musik gemäß einer Lösung gemäß dem unabhängigen Anspruch 1 erreicht. Bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens zum Klassifizieren von Musik liegen innerhalb des Schutzbereichs der abhängigen Unteransprüche. Die Aufgabe wird ferner durch ein System zum Klassifizieren von Musik, durch ein jeweiliges Computerprogrammprodukt sowie durch ein computerlesbares Speichermedium gemäß den Ansprüchen 41 bzw. 42 erreicht.
Das erfindungsgemäße Verfahren zum Klassifizieren von Musik gemäß einer ersten Lösung der Aufgabe umfasst die Schritte

(a) Bereitstellen von Musikklassifikationsdaten, die eine diskrete und endliche Menge einer endlichen Anzahl von Musikklassen beschreiben,
(b) Bereitstellen eines nicht klassifizierten Musikstücks, das klassifiziert werden soll, und
(c) Ableiten für jede der Musikklassen der Menge von Musikklassen eines jeweiligen Gish-Abstandswertes in Bezug auf das nicht klassifizierte Musikstück, das klassifiziert werden soll, wodurch eine diskrete und endliche Menge einer endlichen Anzahl von Gish-Abstandswerten erhalten wird, wobei die endliche Menge einer endlichen Anzahl von Gish-Abstandswerten die Beziehung des nicht klassifizierten Musikstücks, das klassifiziert werden soll, zu der diskreten und endlichen Menge einer endlichen Anzahl (n) von Musikklassen beschreibt.

Außerdem kann ein weiterer Schritt (d) enthalten sein, gemäß dem innerhalb der Menge von Gish-Abstandswerten mindestens ein minimaler Gish-Abstandswert bestimmt wird und dadurch die eindeutige minimierende Musikklasse innerhalb der Menge von Musikklassen bestimmt wird, die dem minimalen Gish-Abstandswert entspricht.
Ferner kann ein Schritt (e) zum Auswählen der minimierenden Musikklasse als charakteristische Klasse für das zu klassifizierende, nicht klassifizierte Musikstück enthalten sein.
Daher ist es eine Schlüsselidee der Erfindung, jeweilige Gish-Abstandswerte in Bezug auf das nicht klassifizierte Musikstück aus den bereitgestellten Musikklassen abzuleiten und aus der dadurch gesammelten Menge von Gish-Abstandswerten zu erhalten.
Außerdem kann der minimale Gish-Abstandswert und dadurch die eindeutige charakteristische Klasse, die das nicht klassifizierte Musikstück in Form einer Musikklasse charakterisiert, die die Gish-Abstandswerte minimiert, vorzugsweise erhalten werden.
Gemäß einer bevorzugten Ausführungsform der Erfindung werden die Gish-Abstandswerte gemäß der Gleichung (1) berechnet.
mit j = 1, ..., n. In Gleichung (1) bezeichnet s das nicht klassifizierte, zu klassifizierende Musikstück oder einen Teil hiervon. Der Ausdruck + bezeichnet eine Verknüpfungsoperation der entsprechenden Musikstücke oder von Teilen hiervon. Der Ausdruck cj für j = 1, ..., n bezeichnet die jeweilige Musikklasse oder einen Repräsentanten oder einen Teil eines Repräsentanten hiervon. Der Ausdruck m(·) bezeichnet ein entsprechendes Modell oder eine entsprechende Modellaufbauoperation in Bezug auf das jeweilige Musikstück. Der Ausdruck L(x|y) gibt die Wahrscheinlichkeit dafür an, dass ein Musikstück x, eine Datenmenge x oder ein Teil x hiervon beobachtet wird, wenn ein Modell y gegeben ist.
Es ist bevorzugt, Gaußsche Dichtemodelle als Modelle m(·) zu verwenden.
Vorzugsweise wird nur eine einzige Gaußsche Dichte mit voller Kovarianz verwendet.
Außerdem oder alternativ können Mehrfachzufallsvariablen-Modelle als Modelle m(·) verwendet werden.
Gemäß einer bevorzugten und vorteilhaften Ausführungsform der Erfindung ist oder umfasst der Schritt (a) zum Bereitstellen der Musikklassifikationsdaten ein bzw. einen Prozess zum Empfangen und/oder Erzeugen der Musikklassifikationsdaten oder eines Teils hiervon oder ist bzw. umfasst einen Teil des Prozesses.
Zusätzlich oder als Alternative kann der Schritt (b) zum Bereitstellen eines zu klassifizierenden, nicht klassifizierten Musikstücks einen Prozess zum Empfangen des zu klassifizierenden, nicht klassifizierten Musikstücks oder eines Teils hiervon oder einen Teil des Prozesses, insbesondere von einer externen Quelle, umfassen.
Die Musikklassifikationsdaten und/oder die Modelle m(·) können auf vollständigen Liedern oder vollständigen Musikstücken oder auf charakteristischen Teilen hiervon basieren.
Es ist ein weiterer Vorteil, dass der Schritt (c) zum Ableiten der Gish-Abstandswerte und/oder der Schritt (d) zum Erfassen des minimalen Gish-Abstandswerts einen Prozess zum Vergleichen des zu klassifizierenden, nicht klassifizierten Musikstücks oder des jeweiligen Teils hiervon in Bezug auf mehrere oder in Bezug auf die Gesamtheit von Musikklassen aufbauen oder enthalten, um dadurch das nicht klassifizierte Musikstück oder den jeweiligen Teil hiervon innerhalb eines Stimmungsraums, der durch die Musikklassifikationsdaten definiert ist und insbesondere durch die Musikklassen definiert ist, zu lokalisieren.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung umfasst das erfindungsgemäße Verfahren zum Klassifizieren von Musik einen Schritt (f) des Bereitstellens von Liedklassifikationsdaten, die die Beziehung des zu klassifizierenden, nicht klassifizierten Musikstücks zu den Musikklassen oder dem jeweiligen Teil hiervon beschreiben, um dadurch das nicht klassifizierte Musikstück oder den jeweiligen Teil hiervon in Bezug auf die Musikklassen zu klassifizieren.
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung können die Musikstücke und/oder die Teile hiervon abgetastet werden.
In diesem Fall kann eine Abtastfrequenz von etwa 22 kHz verwendet werden.
Ferner können die Musikstücke und/oder die Teile hiervon in Rahmen zerschnitten werden.
In diesem Fall kann eine Rahmenlänge von etwa 32 ms verwendet werden.
Außerdem oder alternativ kann eine Rahmenrate von etwa 50 Hz verwendet werden.
Außerdem oder alternativ kann jeder Rahmen vor der Berechnung von jeweiligen FFTs einer Hamming-Fensterrasterung unterzogen werden.
Gemäß einer weiteren bevorzugten und vorteilhaften Ausführungsform kann von den jeweiligen FFTs das jeweilige Leistungsspektrum abgeleitet werden und die jeweiligen Leistungsspektralvektoren können als Basis für die Berechnung von Merkmalsvektoren verwendet werden.
In diesem Fall können die Merkmalsvektoren Melscale-deformiert werden.
Vorzugsweise können 30 Melscale-Koeffizienten verwendet werden.
Ferner können die Melscale-Koeffizienten logarithmiert werden.
In diesem Fall können die logarithmierten Melscale-Koeffizienten einer inversen diskreten Fourier-Transformation unterzogen werden.
Aus der inversen diskreten Fourier-Transformation der logarithmierten Melscale-Koeffizienten kann eine Menge von – insbesondere 13 – Cepstral-Koeffizienten pro Rahmen abgeleitet werden.
Aus der Menge von Cepstral-Koeffizienten pro Rahmen kann ein oder können beliebige mehrere des spektralen Schwerpunkts, des spektralen Flusses und der spektralen Dämpfung berechnet werden.
Varianzen des spektralen Schwerpunkts, des spektralen Flusses und/oder der spektralen Dämpfung können berechnet werden.
In diesem Fall können die Varianzen des spektralen Schwerpunkts, des spektralen Flusses und/oder der spektralen Dämpfung über ein Fenster von Q benachbarten Rahmen berechnet werden, wobei insbesondere Q im Bereich von 5 bis 20 liegt.
Vorteilhafterweise werden die Varianzen als Parameter genommen.
Gemäß einer weiteren bevorzugten Ausführungsform werden auf der Basis der Menge von Gish-Abstandswerten Musikklassifikationsdaten für das zu klassifizierende Musikstück oder für den Teil hiervon abgeleitet, insbesondere in Form eines n-Tupels von mindestens drei Zahlen.
Eine weitere vorteilhafte Ausführungsform des ersten erfindungsgemäßen Verfahrens umfasst die Schritte des (f) Erhaltens/Bereitstellens von Musikklassifikationsdaten in Form eines n-Tupels von mindestens drei Zahlen, die die Stimmung des Musikstücks oder des Teils hiervon darstellen, für ein gegebenes zu klassifizierendes Musikstück, und des (g) Bestimmens eines Paars von zweidimensionalen Koordinatenwerten, die die Stimmung des Musikstücks oder des Teils hiervon darstellen, aus dem n-Tupel von Zahlen der Musikklassifikationsdaten.
Außerdem oder alternativ können kartesische Koordinaten und/oder Polarkoordinaten als zweidimensionale Koordinatenwerte verwendet werden.
Weitere Tripel von Zahlen können als n-Tupel von Zahlen verwendet werden.
Vorzugsweise werden die Tripel von Zahlen durch drei Stimmungswerte für das Musikstück oder den Teil hiervon gebildet.
In diesem Fall werden die Stimmungswerte gewählt, um die Stimmungen "glücklich", "traurig" bzw. "aggressiv" in Bezug auf das Musikstück (s) oder den Teil hiervon zu klassifizieren.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden die kartesischen Koordinaten als zweidimensionale Koordinatenwerte bestimmt gemäß:

– wobei x, y den ersten bzw. den zweiten kartesischen Koordinatenwert bezeichnen und
– wobei j, s, a die erste, die zweite bzw. die dritte Zahl der Musikklassifikationsdaten für das Musikstück oder den Teil hiervon insbesondere in normierter Form und ferner insbesondere in Bezug auf die Stimmungen "glücklich", "traurig" bzw. "aggressiv" bezeichnen.

Gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens werden Polarkoordinaten als zweidimensionale Koordinatenwerte bestimmt gemäß

– wobei r, ϕ den polaren Radial- bzw. Winkel-Koordinatenwert bezeichnen und
– wobei x, y die zweidimensionalen kartesischen Koordinatenwerte insbesondere gemäß den Gleichungen (1a), (1b) bezeichnen.

Aus zweidimensionalen Koordinatenwerten, insbesondere in normierter Form, kann eine Farbe oder können Farbwerte, die eine Farbe beschreiben, erzeugt werden, welche die Stimmung des Musikstücks oder des Teils hiervon beschreiben.
In diesem Fall kann die Farbe und/oder können die Farbewerte gemäß dem HSV-System bestimmt werden.
Insbesondere können die Farbe und/oder der Farbwert gemäß dem HSV-System bestimmt werden durch h = ϕ (3a) s = r (3b) v = 1,0 (3c)

– wobei h, s, v den Farbton bzw. die Sättigung bzw. den Wert der HSV-Farbwerte bezeichnen und
– wobei r, ϕ den zweidimensionalen polaren Radial- bzw. Winkel-Koordinatenwert insbesondere gemäß den Gleichungen (2a), (2b) bezeichnen.

Gemäß einem weiteren Aspekt der Erfindung wird ein System zum Klassifizieren von Musik geschaffen, das ausgelegt und/oder beschaffen ist und das Mittel umfasst, um das Verfahren zum Klassifizieren von Musik gemäß der Erfindung und dessen Schritte zu verwirklichen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt geschaffen, das Computerprogrammmittel umfasst, die beschaffen und/oder ausgelegt sind, um das Verfahren zum Klassifizieren von Musik gemäß der Erfindung oder die Schritte zum Klassifizieren von Musik gemäß der Erfindung zu verwirklichen, wenn es auf einem Digitalsignal-Verarbeitungsmittel oder auf einem Computer ausgeführt wird.
Ein noch weiterer Aspekt der Erfindung besteht darin, ein computerlesbares Speichermedium zu schaffen, das das erfindungsgemäße Computerprogrammprodukt umfasst.
Im Folgenden werden diese und weitere Aspekte der Erfindung klarer, indem auf die folgenden Bemerkungen Bezug genommen wird:
Die Erfindung bezieht sich insbesondere auf ein Verfahren und auf eine Vorrichtung zur automatischen Musikstimmungserfassung.
Mit dem Aufkommen von mobilen Musikabspielgeräten, die eine riesige Speicherkapazität für sehr viele Musikstücke bieten, jedoch einen Formfaktor und eine Größe aufweisen, die nicht den Einschluss eines Bildschirms oder einer Tastatur ermöglichen, wird das Problem der Musikauswahl immer wichtiger. In vielen Begutachtungen haben Benutzer eine Vorliebe gezeigt, ihre Stimmung oder die Stimmung von Musik als Auswahlkriterium für die Auswahl von Musik zu verwenden. Stimmung in Musik ist jedoch ein Konzept, das bisher eine manuelle Kennzeichnung erforderte, die äußerst lästig und aufwändig ist, wenn sie in einem großen Maßstab durchgeführt wird. Wir schlagen ein System vor, das automatisch die Stimmung in einem beliebigen Musikstück bestimmen und der Musik automatisch ein Stimmungsetikett zuweisen kann.
Die meisten Versuche, die Stimmung von Musik automatisch abzuleiten, waren auf symbolische Daten begrenzt (z. B. MIDI-Darstellungen von Musik). Die meiste Musik steht jedoch nicht in symbolischer Form zur Verfügung und folglich ist die Verwendbarkeit dieser Methoden sehr begrenzt. Dan Liu, Lie Lu und Hong-Jiang Zhang von Microsoft Research haben das einzige (nach unserer Kenntnis) solche System erzeugt, das klassische Musik verarbeitet. Ihr System im Vergleich zu unserem verwendet jedoch das Thayer-Stimmungsmodell und verwendet eine hierarchische Struktur, die es unmöglich macht, dass der Benutzer das bereits trainierte System anpasst, und es auch sehr schwierig macht, neue Stimmungskategorien einzuführen (1).
Es besteht derzeit keine schnelle und zuverlässige Weise zum Auswählen eines Liedes aus einer großen Sammlung (Datenbank) von Liedern. Hierarchische Listenauswahlbasis-Verfahren auf der Basis des graphischen Auswahl- und Klick-Paradigmas erfordern mehrere Basisoperationen und sind beschwerlich, während die Sprachbefehlsauswahl direkt und leicht ist, jedoch unter hohen Spracherkennungs-Fehlerraten leidet. Außerdem besteht in vielen Fällen ein starkes Benutzerinteresse am Untersuchen einer gegebenen Datenbank für neue Musikerfahrung, was mit irgendeinem Auswahlparadigma, bei dem ein bekanntes Musikstück ausgewählt wird, nicht verwirklicht werden kann.
Es ist das Ziel der Erfindung, eine leichte und intuitive Weise zum Durchstöbern einer Musikdatenbank und zum Auswählen von Liedern aus dieser ohne den Bedarf für eine aufwändige und zeitraubende manuelle Metadatenerzeugung für die Lieder in der Datenbank zu erleichtern.
Das System, das die Musikstimmung automatisch bestimmen kann, kann in drei Untersysteme zerlegt werden: Auswahl der Lernmenge, Erzeugung der Stimmungsmodelle und die Bestimmung einer Stimmung für eine gegebene Musik, die von den im Voraus berechneten Stimmungsmodellen Gebrauch macht. Der erfindungsgemäße Hauptschritt liegt im dritten Untersystem mit einigen zusätzlichen relevanten und neuen Erweiterungen im ersten Untersystem.
Im ersten Untersystem wird eine Lernmenge, die die Stimmung darstellt, ausgewählt. In der leichtesten Form kann dies durch Auswählen einiger Musikstücke für jede gewünschte Stimmungskategorie durchgeführt werden. Wenn beispielsweise drei Musikkategorien (glücklich, aggressiv, traurig) erwünscht sind, kann dies durch Auswählen einer Anzahl (z. B. N = 10) von Liedern für jede der drei Kategorien durchgeführt werden: 10 glückliche Lieder, 10 traurige Lieder und 10 aggressive. Im leichtesten Schema ist dies alles, was notwendig ist. Wenn jedoch das ganze Lied als Repräsentant für eine gegebene Stimmung genommen wird, kann dies irreführend sein. Viele Lieder werden beispielsweise als aggressiv kategorisiert, obwohl Teile von ihnen – in vielen Fällen der Beginn – eher traurig sind, aber nur der Hauptteil dies ist (Refrainteil oder repräsentativster Teil hinsichtlich der mittleren Ähnlichkeit zum Rest des Liedes oder der Teil, der die Stimmen enthält). Daher ist es vorteilhaft, nur einen Teil aus den Liedern zu extrahieren, um das Stimmungsmodell zu erzeugen, anstatt das ganze Lied zu nehmen. Wenn jedoch ein solches Schema verwirklicht wird, ist es wichtig, dasselbe Schema im dritten Untersystem zu verwenden, in dem das unbekannte Lied mit den Stimmungsmodellen verglichen wird: daher kann nur ein automatisches Mittel für die Extraktion des relevanten Teils des Liedes verwendet werden. Insbesondere wurde ein System, das den relevanten Teil von Musik extrahiert, in einer früheren Patentanmeldung von SSG beschrieben und die Lehre dieser Erfindung kann für diesen Zweck verwendet werden. In einem weiteren Aspekt sollte beachtet werden, dass die Auswahl der Musikstücke für jede der Emotionen schließlich die Weise bestimmt, in der sich das gesamte System verhält, und daher kann auf diese Auswahl durch den Benutzer für die Anpassung des Systems an seinen persönlichen Geschmack zugegriffen werden. In einem solchen Szenario kann ein Benutzer z. B. ein Lied zu irgendeiner der Kategorien hinzufügen und das System trainiert dann die Modelle erneut. Dies ermöglicht dem Benutzer, seine eigenen Stimmungswahrnehmungen im System zu verwirklichen (Benutzeranpassung), ohne den Bedarf, die Architektur des Systems in irgendeiner Weise zu ändern.
Das zweite der drei Untersysteme berechnet Stimmungsmodelle aus den vorher identifizierten Mengen von Fragmenten von Musik (die in Abhängigkeit von dem im ersten Untersystem verwendeten exakten Verfahren Teile von oder ganze Musikstücke sein könnten, die vom Systementwickler oder vom Benutzer handverlesen wurden). Die Musik wird abgetastet – eine Abtastfrequenz von 22 kHz hat sich als ausreichend erwiesen, so dass, wenn der Speicher verkleinert werden sollte, die Abtastrate eines Stereostücks von 44,1 kHz auf 22 kHz verringert werden kann und die Stereokanäle in einen Monokanal kombiniert werden können – und in Rahmen mit einer Länge von 32 ms mit einer Rahmenrate von 50 zerschnitten. Andere Rahmenraten und Rahmenlängen könnten natürlich verwendet werden. Jeder Rahmen wird einer Hamming-Fensterrasterung unterzogen und die FFT wird berechnet. Aus der FFT wird das Leistungsspektrum abgeleitet. Diese Leistungsspektralvektoren dienen als Basis für die Berechnung der Merkmalsvektoren. Wie bei der Spracherkennung werden sie zuerst in 30 Melscale-Koeffizienten Melscale-deformiert (siehe die relevante Literatur), logarithmiert und die inverse DFT-Transformation wird berechnet, was zu einer Menge von 13 Cepstral-Koeffizienten pro Rahmen führt. Zweitens werden der spektrale Schwerpunkt, der spektrale Fluss und die spektrale Dämpfung berechnet und ihre Varianz über ein Fenster von Q benachbarten Rahmen wird als Parameter genommen, wobei typische Werte von Q im Bereich von 5 bis 20 liegen. Der spektrale Schwerpunkt, der spektrale Fluss und die spektrale Dämpfung werden alle in (2) erläutert.
Für jede der Klassen (traurig, glücklich usw.) werden die so berechneten Parametervektoren genommen und eine einzige Gauß-Dichte mit voller Kovarianz wird in einem Stil maximaler Wahrscheinlichkeit daraus berechnet. Die resultierende Normalverteilung dient als Stimmungsmodell für das dritte der drei Untersysteme des Stimmungsidentifikators.
Das dritte der drei Untersysteme nimmt die Menge der Stimmungsmodelle (die jeweils Mehrfachzufallsvariablen-Gauß-Dichten sind) und ein unbekanntes Musikstück und berechnet die Stimmung des unbekannten Musikstücks durch Vergleichen der Ähnlichkeit von jedem der Stimmungsmodelle mit einem Stimmungsmodell, das vom unbekannten Musikstück abgeleitet wird. Um dies zu erreichen, wird das unbekannte Musikstück zuerst als Trainingssatzmusik in den ersten zwei Untersystemen behandelt: falls anwendbar, wird der relevanteste Teil von ihm im ersten Untersystem extrahiert, dann wird die Vorverarbeitung im zweiten Untersystem durchgeführt und eine Mehrfachzufallsvariablen-Gauß-Dichte wird im dritten Untersystem berechnet. Das Ergebnis ist eine Mehrfachzufallsvariablen-Gauß-Dichte für das unbekannte Lied. Unter Verwendung dieses Modells und der im Voraus berechneten Stimmungsmodelle wird der Abstand zwischen dem unbekannten Modell und einem Stimmungsmodell unter Verwendung des so genannten Gish-Abstandes D berechnet:
Wobei der Ausdruck L(sX|m(sX)) für X = 1,2 die Wahrscheinlichkeit, dass eine Datenfolge sX für ein gegebenes Mehrfachzufallsvariablen-Gauß-Dichtemodell m(sX) für sX beobachtet wird, bedeutet. Der Ausdruck m(s1 + s2) bedeutet ein Modell, das für die Verknüpfung von Liedern oder Musik- oder Tonstücken s1 und s2 erzeugt wird. Der Ausdruck s1 + s2 bedeutet die Verknüpfung der Lieder oder Musik- oder Tonstücke s1 und s2. Wenn die Gleichung (2) für einzige Gaußsche Normaldichten m oder einzige Gaußsche Normaldichtemodelle m wie bisher vorgeschlagen berechnet wird, dann gibt es einen effizienten Ansatz, bei dem kein Bedarf besteht, die Lieder oder Musik- oder Tonstücke s1 und s2 zu speichern, wenn s1 das unbekannte Lied ist und s2 die Verknüpfung aller relevanten Abschnitte oder Lieder der Trainingssatzlieder für die aktuelle Stimmung ist. Es ist natürlich möglich, andere Modelle zu verwenden, um die Terme in Gleichung (2) zu berechnen. In diesem Fall ist jedoch die Auswertung der Formel signifikant schwerer.
Nachdem Gleichung (2) für alle Stimmungsmodelle ausgewertet wurde, wird der niedrigste der drei resultierenden Abstände ausgewählt und das Stimmungsmodell, das diesen niedrigsten Abstand verursacht hat, wird als Versuchsstimmung des Musikstücks ausgewählt. Es ist auch möglich und sehr nützlich, einen normierten Vektor aus den Abständen zu den Stimmungsmodellen aufzubauen. Aus z. B. drei Stimmungen ergeben die resultierenden dreidimensionalen Vektoren eine Koordinate in einem "Stimmungsraum", der zum Navigieren und Lokalisieren eines Liedes unter Verwendung von einer oder mehreren Stimmungsachsen verwendet werden kann. Der resultierende Raum ist sehr ungleichmäßig belegt, die individuellen Dimensionen sind weit von der Unabhängigkeit entfernt und daher ist es vorteilhaft, eine die Varianz normierende und diagonalisierende Transformation (eine PCA- oder Karhunen-Loewe-Transformation) im Zielraum unter Verwendung einer großen Testmenge von Liedern zum Berechnen der Transformation zu berechnen. Nach der Koordinatentransformation kann der resultierende Raum für die Navigation im Stimmungsraum von Musik angemessen verwendet werden. Dennoch muss daran gedacht werden, dass der euklidische Abstand selbst im transformierten Raum keine Metrik ist, da er auf Grund der Eigenschaften des Gish-Abstandes von Gleichung (2) nicht immer die Dreiecksungleichung erfüllt.
Die vorgeschlagene Erfindung ermöglicht die automatische Erzeugung von Musikstimmungskennzeichen mit einer sehr hohen Qualität in relativ geringer Zeit und mit mäßigen Rechenressourcen. Das System kann erweitert werden, um sich auf nur Teile der Musik zu konzentrieren und eine Personalisierung für individuelle Konzepte von Stimmung ist leicht, so dass individuelle Unterschiede in der Wahrnehmung von irgendeinem gegebenen Musikstück bewältigt werden können. Ein Stimmungsraum kann automatisch konstruiert werden, der ermöglicht, Lieder innerhalb des Stimmungsraums zu lokalisieren, und der folglich für die Musikauswahl verwendet werden kann.
Problem:
Die Übersetzung von bereitgestellten Liedstimmungsdaten – mindestens drei insbesondere unbegrenzte Zahlen ohne Vorzeichen für jedes Lied – in eine lineare visuelle Schnittstelle.
Umriss der Lösung:
Aus der "Bibliothek" (der Sammlung von Liedern) werden drei "Stimmungs"-Werte für jedes Lied importiert: die Werte werden intern als "glücklich", "traurig" & "aggressiv" bezeichnet. Diese Werte werden auf der Basis der maximalen & minimalen Werte in der Bibliothek normiert, so dass jeder einen Wert von [0,0 – 1,0] aufweist, und in einer Datenbank gespeichert.
Jedes Lied wird dann durch Umsetzung der drei "Stimmungs"-Werte zuerst in kartesische Koordinaten und dann von den kartesischen Koordinaten in Polarkoordinaten auf eine Farbe abgebildet.
Die Umsetzung von Lied-"Stimmungs"-Werten in kartesische Koordinaten wird unter Verwendung der folgenden Formeln
und
durchgeführt, wobei: "x" die horizontale Koordinate ist, "y" die vertikale Koordinate ist, "j" der "glückliche" Liedwert ist, "s" der "traurige" Liedwert ist, "a" der "aggressive" Liedwert ist.
Die Umsetzung von kartesischen in Polarkoordinaten wird unter Verwendung der folgenden (Standard-)Formeln
und
durchgeführt, wobei "r" radial ist, "ϕ" der Winkel in Radiant ist, "x" die horizontale Koordinate ist, "y" die vertikale Koordinate ist.
Der radiale Wert wird über die Bibliothek in den Bereich [0,0 – 1,0] normiert. Diese normierte Polarkoordinate wird dann unter Verwendung des HSV-Farbsystems auf eine Farbe abgebildet. Das HSV-Farbsystem definiert eine Farbe durch 3 Werte: diese Werte sind Farbton [0,0 – 1,0], Sättigung [0,0 – 1,0] & Wert [0,0 – 1,0].
Die Farbwerte werden durch die folgende Formel h = ϕ, s = r und v = 1,0 bestimmt, wobei "h" der Farbton ist, "s" die Sättigung ist, "v" der Wert ist, "r" radial ist "ϕ" der Winkel in Radiant ist.
Zusammenfassung:
Durch Abbilden der drei "Stimmungs"-Werte von Liedern in zwei Dimensionen, dann in einen Farbraum, ist es möglich, in der Liedbibliothek durch den Farbton (d. h. Lied-"Stimmung) und die Sättigung (d. h. die Lied-"Stimmungs"-Stärke) zu navigieren. Eine gesättigtere Farbe gibt ein Lied mit einer starken Stärke einer speziellen "Stimmung" an. Es ermöglicht auch, dass der Benutzer in der Bibliothek in einer einfachen Weise unter Verwendung einer Schnittstelle navigiert, die nur 2 Eingangswerte verwendet.
Diese und weitere Aspekte der Erfindung werden weiter erörtert, indem auf die begleitende Fig. Bezug genommen wird.
1 ist ein Ablaufplan, der einige wesentliche Merkmale einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens zum Klassifizieren von Musik beschreibt.
2, 3 sind zweidimensionale und farbige Darstellungen zum Erläutern der Grundidee der zweidimensionalen und Farbabbildung.
Die schematisch beschriebene Ausführungsform des erfindungsgemäßen Verfahrens zum Klassifizieren von Musik von 1 umfasst erste bis fünfte aufeinander folgende Verarbeitungsschritte (a) bis (e).
Im ersten Schritt (a) werden Musikklassifikationsdaten MCD bereitgestellt. Diese Musikklassifikationsdaten können – zumindest teilweise – durch eine Menge Γ von Musikklassen c1, ..., cn gegeben werden. Im einfachsten Fall können diese Musikklassen c1, ..., cn Mustermusikstücke sein, von denen jedes ein Beispiel für eine eindeutige Musikstimmung oder Musikklasse ist. Die Musikklassifikationsdaten können auch auf einem gründlichen Auswertungs- und Klassifizierungsprozess in Bezug auf die Musterstücke oder in Bezug auf die gegebenen Klassen c1, ..., cn basieren. Diese gründliche Auswertung wurde bereits vorstehend beschrieben.
Im folgenden zweiten Schritt (b) wird ein nicht klassifiziertes Musikstück s, das durch das erfindungsgemäße Verfahren zum Klassifizieren von Musik klassifiziert werden muss, bereitgestellt.
Auf der Basis dieses nicht klassifizierten Musikstücks s wird im folgenden dritten Schritt (c) eine Menge Γ von Gish-Abstandswerten Dj: = D(s, cj) für j = 1, n abgeleitet: Γ: = {D1, ..., Dn}.
Im folgenden vierten Schritt (d) wird der minimale Gish-Abstandswert Djmin als Minimum der Menge Γ erfasst: Djmin: = min{D1, ..., Dn}.
Schließlich wird im fünften Schritt (e) die eindeutige Musikklasse cjmin erfasst und als charakterisierende Klasse cs für das nicht klassifizierte, zu klassifizierende Musikstück s ausgewählt. cjmin ist die eindeutige Klasse aus der Menge Γ von Musikklassen c1, ..., cn, für die der minimale Gish-Abstandswert Djmin erhalten wird. Das nicht klassifizierte Musikstück s kann als nächster Nachbar der eindeutigen klassifizierenden Musikklasse cjmin bezeichnet werden, oder umgekehrt. Es kann auch möglich sein, dass das nicht klassifizierte Musikstück s durch eine Teilmenge von Γ, die eine gewisse Anzahl von nächsten Nachbarn enthält, auf der Basis einer jeweiligen Schwellenwertbedingung für die erfassten Gish-Abstandswerte klassifiziert wird. In einem solchen Fall kann die Charakterisierung auf der Basis von mehreren Musikklassen besser durchdacht sein und kann eine bessere Information und Klassifizierung für das zu klassifizierende Musikstück s enthalten.
2 und 3 sind zweidimensionale und farbige Darstellungen für die Erklärung der Grundidee der zweidimensionalen und Farbabbildung.

cj: Musikklasse j = 1, ..., n
cjmin: minimierende Musikklasse
cs: charakteristische Klasse
Dj: Gish-Abstandswert j = 1, ..., n
Djmin: minimaler Gish-Abstandswert
MCD: Musikklassifikationsdaten
s: zu klassifizierendes, nicht klassifiziertes Musikstück
SCD: Liedklassifikationsdaten
Γ: Menge von Musikklassen
Δ: Menge von Gish-Abstandswerten

Claims

Verfahren zum Klassifizieren von Musik, mit den folgenden Schritten: (a) Bereitstellen von Musikklassifikationsdaten (MCD), die eine diskrete und endliche Menge (Γ) einer endlichen Anzahl (n) von Musikklassen (c1, ..., cn) beschreiben, (b) Bereitstellen eines nicht klassifizierten Musikstücks (s), das klassifiziert werden soll, (c) Ableiten für jede der Musikklassen (c1, ..., cn) der Menge (Γ) von Musikklassen eines jeweiligen Gish-Abstandswertes (D1, ..., Dn) in Bezug auf das nicht klassifizierte Musikstück (s), das klassifiziert werden soll, um dadurch eine diskrete und endliche Menge (Δ) einer endlichen Anzahl (n) von Gish-Abstandswerten (D1, ..., Dn) zu erhalten, wobei die endliche Menge (Δ) einer endlichen Anzahl (n) von Gish-Abstandswerten (D1, ..., Dn) die Beziehung des nicht klassifizierten Musikstücks (s), das klassifiziert werden soll, zu der diskreten und endlichen Menge (Γ) einer endlichen Anzahl (n) von Musikklassen (c1, ..., cn) beschreibt.
Verfahren nach Anspruch 1, ferner mit dem folgenden Schritt: (d) Erfassen wenigstens eines minimalen Gish-Abstandswertes (Djmin) in der Menge (Γ) von Gish-Abstandswerten (D1, ..., Dn) und dadurch insbesondere Bestimmen der eindeutigen minimierenden Musikklasse (cjmin) in der Menge (Γ) von Musikklassen (c1, ..., cn), die dem minimalen Gish-Abstandswert (Djmin) entspricht.
Verfahren nach Anspruch 2, ferner mit dem folgenden Schritt: (e) Auswählen der minimierenden Musikklasse (cjmin) als eine charakteristische Klasse (cs) für das nicht klassifizierte Musikstück (s), das klassifiziert werden soll.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei die Gish-Abstandswerte (D1, ..., Dn) gemäß der folgenden Gleichung (1) berechnet werden:
mit j = 1, ..., n, – wobei s das nicht klassifizierte, zu klassifizierende Musikstück oder einen Teil hiervon bezeichnet, – wobei "+" eine Verknüpfungsoperation entsprechender Musikstücke bezeichnet, – wobei cj für j = 1, ..., n die jeweilige Musikklasse oder einen Repräsentanten oder einen Teil eines Repräsentanten hiervon bezeichnet, – wobei m(.) ein entsprechendes Modell oder eine entsprechende Modellaufbauoperation in Bezug auf das jeweilige Musikstück bezeichnet und – wobei L(x|y) die Wahrscheinlichkeit dafür angibt, dass ein Musikstück, eine Datenmenge x oder ein Teil x hiervon beobachtet wird, wenn ein Modell y gegeben ist.
Verfahren nach Anspruch 4, wobei als Modelle m(.) Gaußsche Dichtemodelle verwendet werden.
Verfahren nach Anspruch 4 oder 5, wobei nur eine einzige Gaußsche Dichte mit voller Kovarianz verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche 4 bis 6, wobei als Modelle m(.) Mehrfachzufallsvariablen-Modelle verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt (a) des Bereitstellens von Musikklassifikationsdaten (MCD) ein Prozess ist oder einen Prozess umfasst, bei dem die Musikklassifikationsdaten (MCD) oder ein Teil hiervon empfangen und/oder erzeugt werden, oder ein Teil dieses Prozesses ist oder einen Teil dieses Prozesses enthält.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt (b) des Bereitstellens eines nicht klassifizierten Musikstücks (s), das klassifiziert werden soll, einen Prozess zum Empfangen des nicht klas sifizierten, zu klassifizierenden Musikstücks (s) oder eines Teils hiervon insbesondere von einer externen Quelle oder einen Teil dieses Prozesses enthält.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Musikklassifikationsdaten (MCD) und/oder die Modelle m(.) auf vollständigen Songs oder Musikstücken oder charakteristischen Teilen hiervon basieren.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt (c) des Ableitens der Gish-Abstandswerte (D1, ..., Dn) und/oder der Schritt (d) des Erfassens des minimalen Gish-Abstandswerts (Djmin) einen Prozess aufbauen oder enthalten, bei dem das nicht klassifizierte, zu klassifizierende Musikstück (s) oder der jeweilige Teil hiervon mit mehreren oder mit allen Musikklassen (c1, ..., cn) verglichen wird, um dadurch das nicht klassifizierte Musikstück (s) oder die jeweiligen Teile hiervon in einem durch die Musikklassifikationsdaten (MCD) und insbesondere durch die Musikklassen (c1, ..., cn) definierten Stimmungsraum zu lokalisieren.
Verfahren nach einem der vorhergehenden Ansprüche, mit einem Schritt (f) des Bereitstellens von Song-Klassifikationsdaten (SCD), die die Beziehung des nicht klassifizierten Musikstücks (s), das klassifiziert werden soll, zu den Musikklassen (c1, ..., cn) oder zu dem jeweiligen Teil hiervon beschreiben, um dadurch das nicht klassifizierte Musikstück (s) oder den jeweiligen Teil hiervon in Bezug auf die Musikklassen (c1, ..., cn) zu klassifizieren.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Musikstücke und/oder die Teile hiervon abgetastet werden.
Verfahren nach Anspruch 13, wobei eine Abtastfrequenz von etwa 22 kHz verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche 13 und 14, wobei die Musikstücke und/oder die Teile hiervon in Rahmen zerschnitten werden.
Verfahren nach Anspruch 15, wobei eine Rahmenlänge von etwa 32 ms verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche 15 und 16, wobei eine Rahmenrate von etwa 50 Hz verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche 15 bis 17, wobei jeder Rahmen vor der Berechnung der jeweiligen FFTs einer Hamming-Fensterrasterung unterzogen wird.
Verfahren nach einem der vorhergehenden Ansprüche, – wobei aus den jeweiligen FFTs das entsprechende Leistungsspektrum abgeleitet wird; und – wobei die entsprechenden Leistungsspektralvektoren als eine Grundlage für die Berechnung von Merkmalsvektoren verwendet werden.
Verfahren nach Anspruch 19, wobei die Merkmalsvektoren Melscale-deformiert sind.
Verfahren nach Anspruch 20, wobei 30 Melscale-Koeffizienten verwendet werden.
Verfahren nach Anspruch 21, wobei die Melscale-Koeffizienten logarithmiert werden.
Verfahren nach Anspruch 22, wobei die logarithmierten Melscale-Koeffizienten einer inversen diskreten Fourier-Transformation unterworfen werden.
Verfahren nach Anspruch 23, wobei aus der inversen diskreten Fourier-Transformation der logarithmierten Melscale-Koeffizienten eine Menge von – insbesondere 13 – Cepstral-Koeffizienten pro Rahmen abgeleitet wird.
Verfahren nach Anspruch 24, wobei aus der Menge von Cepstral-Koeffizienten pro Rahmen der spektrale Schwerpunkt und/oder der spektrale Fluss und/oder die spektrale Dämpfung berechnet werden.
Verfahren nach Anspruch 25, wobei Varianzen des spektralen Schwerpunkts und/oder des spektralen Flusses und/oder der spektralen Dämpfung berechnet werden.
Verfahren nach Anspruch 26, – wobei die Varianzen des spektralen Schwerpunkts und/oder des spektralen Flusses und/oder der spektralen Dämpfung über ein Fenster von Q benachbarten Rahmen berechnet werden – wobei Q insbesondere im Bereich von 5 bis 20 liegt.
Verfahren nach einem der vorhergehenden Ansprüche 26 oder 27, wobei die Varianzen als Parameter genommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei auf der Grundlage der Menge (Δ) von Gish-Abstandswerten (D1, ..., Dn) Musikklassifikationsdaten (MCD) für das zu klassifizierende Musikstück (s) oder für einen Teil hiervon abgeleitet werden, insbesondere in Form eines n-Tupels aus wenigstens drei Zahlen.
Verfahren nach Anspruch 29, ferner mit den folgenden Schritten: (f) für ein gegebenes zu klassifizierendes Musikstück (s) Erhalten/Bereitstellen von Musikklassifikationsdaten (MCD) in Form eines n-Tupels aus wenigstens drei Zahlen, die für die Stimmung des Musikstücks (s) oder eines Teils hiervon repräsentativ sind, (g) aus dem n-Tupel von Zahlen der Musikklassifikationsdaten (MCD) Bestimmen eines Paars zweidimensionaler Koordinatenwerte (x, y; r, ϕ), die die Stimmung des Musikstücks (s) oder eines Teils hiervon repräsentieren.
Verfahren nach Anspruch 30, wobei als zweidimensionale Koordinatenwerte (x, y; r, ϕ) kartesische Koordinaten (x, y) und/oder Polarkoordinaten (r, ϕ) verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche 30 bis 31, wobei als die n-Tupel von Zahlen Tripel (j, s, a) von Zahlen verwendet werden.
Verfahren nach Anspruch 32, wobei die Tripel (j, s, a) von Zahlen durch drei Stimmungswerte (j, s, a) für das Musikstück (s) oder den Teil hiervon gebildet werden.
Verfahren nach Anspruch 33, wobei die Stimmungswerte (j, s, a) gewählt werden, um die Stimmungen "glücklich", "traurig" bzw. "aggressiv" in Bezug auf das Musikstück (s) oder den Teil hiervon zu klassifizieren.
Verfahren nach einem der vorhergehenden Ansprüche 30 bis 34, – wobei als zweidimensionale Koordinatenwerte kartesische Koordinaten (x, y) folgendermaßen bestimmt werden:
– wobei x, y den ersten bzw. den zweiten kartesischen Koordinatenwert bezeichnen und – wobei j, s und a die erste, die zweite bzw. die dritte Zahl der Musikklassifikationsdaten (MCD) für das Musikstück (s) oder den Teil hiervon insbesondere in normierter Form und ferner insbesondere in Bezug auf die Stimmungen "glücklich", "traurig" bzw. "aggressiv" bezeichnen.
Verfahren nach einem der vorhergehenden Ansprüche 30 bis 35, – wobei als zweidimensionale Koordinaten Polarkoordinaten (r, ϕ) folgendermaßen bestimmt werden:

– wobei r, 0 den polaren Radial- bzw. Winkel-Koordinatenwert bezeichnen und – wobei x, y die zweidimensionalen kartesischen Koordinatenwerte insbesondere gemäß den Gleichungen (1a), (1b) bezeichnen.
Verfahren nach einem der vorhergehenden Ansprüche 30 bis 36, wobei aus den zweidimensionalen Koordinatenwerten (x, y; r, ϕ) insbesondere in normierter Form ein oder mehrere Farbwerte (h, s, v), die eine Farbe beschreiben, erzeugt werden, wobei die Farbwerte die Stimmung des Musikstücks (s) oder des Teils hiervon beschreiben.
Verfahren nach Anspruch 37, wobei die Farbe und/oder die Farbwerte (h, s, v) in Übereinstimmung mit dem HSV-System bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche 37 und 38, – wobei die Farbe und/oder die Farbwerte (h, s, v) gemäß dem HSV-System folgendermaßen bestimmt werden: h = ϕ (3a) s = r (3b) v = 1,0 (3c)– wobei h, s, v den Farbton bzw. die Sättigung bzw. den Wert der HSV-Farbwerte bezeichnen und – wobei r, ϕ den zweidimensionalen polaren Radial- bzw. Winkel-Koordinatenwert insbesondere gemäß den Gleichungen (2a), (2b) bezeichnen.
System zum Klassifizieren von Musik, mit Mitteln, die so beschaffen sind, dass sie jeden der Schritte des Verfahrens zum Klassifizieren von Musik nach einem der Ansprüche 1 bis 39 ausführen.
Computerprogrammprodukt, mit Computermitteln, die so beschaffen sind, dass sie jeden der Schritte des Verfahrens zum Klassifizieren von Musik nach einem der Ansprüche 1 bis 39 ausführen, wenn es auf einem digitalen Signalverarbeitungsmittel oder einem Computer ausgeführt werden.
Computerlesbares Speichermedium, das ein Computerprogrammprodukt nach Anspruch 41 enthält.