DE10144087B4

DE10144087B4 - Verfahren zur Erkennung und Registrierung urheberrechtlich geschützter Musiksequenzen in Rundfunk- und Fernsehprogrammen

Info

Publication number: DE10144087B4
Application number: DE2001144087
Authority: DE
Inventors: Markus Joggerst; Michael Klemme
Original assignee: PROMEDIASCAN AG
Current assignee: PROMEDIASCAN AG, FEUSISBERG, CH
Priority date: 2001-09-08
Filing date: 2001-09-08
Publication date: 2008-10-30
Anticipated expiration: 2021-09-09
Also published as: DE10144087A1

Abstract

Verfahren zur Erkennung und Registrierung urheberrechtlich geschützter Musiksequenzen in durch Rundfunk- und Fernsehprogramme verbreiteten Audiosequenzen von Rundfunk- und Fernsehprogrammen, wobei das Spektrum der verbreiteten Audiosequenzen aus dem in analoger Form erfassten Audiosignal als Klangspektrum ermittelt und dies anhand von eine geschützte Musiksequenz eindeutig identifizierbaren Triggerbedingungen bewertet wird, wobei folgende Schritte durchgeführt werden:
a) Kontinuierliches Abtasten einer in Rundfunk- und Fernsehprogrammen verbreiteten und in analoger Form erfassten Audiosequenz, die aus einer reinen Musiksequenz mit überlagerten Klängen oder Geräuschen bestehen darf, eines A/D-Wandlers, wobei die analoge in eine digitale Audiosequenz gewandelt wird,
b) Speichern der digitalen Audiosequenz in einen Arbeitsspeicher und/oder Ringspeicher,
c) Durchführen einer Spektralanalyse der gespeicherten Audiosequenz, wodurch ein Klangspektrum ermittelt wird, das anhand von geschützte Musiksequenzen eindeutig identifizierenden Triggerbedingungen untersucht wird,
d) wobei diese Triggerbedingungen die Existenz von Spektralanteilen und deren Intensitätsverhältnisse zueinander umfassen und von in einem Speicher abgelegten Klangspektren zu identifizierender, geschützter Musiksequenzen...

Description

Rundfunk- und Fernsehprogrammen enthalten in der Regel Musiksequenzen. Dabei handelt es sich um vollständige Musikstücke, Hintergrundmusik zu Wortbeiträgen oder um dramaturgisch eingesetzte Klangfolgen in Spielfilmen. Diese Musiksequenzen unterliegen dem Urheberrecht.
Die Ausstrahlung begründet den Anspruch des Urhebers auf eine Vergütung. Verwertungsgesellschaften wie z. B. die GEMA in Deutschland ziehen diese Vergütungen von den Sendeanstalten ein und zahlen sie an die Inhaber der Urheberrechte aus.
Stand der Technik
Derzeit wird über jede Sendung seitens der ausstrahlenden Sendeanstalt manuell ein Protokoll ausgefertigt, das sämtliche in der Sendung vorkommende Musiksequenzen mit Urheber und Dauer enthält.
Die Verwertungsgesellschaft zieht diese Protokolle in der Regel ungeprüft als Basis für die Abrechnungen heran.
Stellt der Rechteinhaber nach Erhalt der Abrechnung Fehler fest, kann er Einspruch bei der Verwertungsgesellschaft einlegen. In der Regel erstattet die Verwertungsgesellschaft dann die fehlenden Beträge.
Dieses Verfahren hat die folgenden Nachteile:
Die manuelle Erfassung der Musiksequenzen erfordert einen hohen bürokratischen Aufwand und damit hohe Kosten seitens der Sendeanstalten. Gerade in Dokumentationen und Reportagen kommen häufig viele kurze Sequenzen vor, die alle unter Angabe von Dauer, Titel und Urheber gelistet werden müssen.
Andererseits ist es für den Rechteinhaber nach bisherigem Stand der Technik praktisch unmöglich zu kontrollieren, ob die ihm vorgelegten Abrechnungen korrekt sind.
Schätzungen gehen davon aus, dass nur etwa 37% der Tantiemenansprüche abgerechnet werden.
Bei Tantiemenansprüchen von bis zu derzeit 322,41 DM pro Minute ergibt sich daraus für den Rechteinhaber ein beträchtlicher wirtschaftlicher Schaden.
Technische Lösungen existieren nur in rudimentärer und für den beschriebenen Zweck nicht anwendbarer Form. Es sind Systeme bekannt, die Audioquellen auf das Auftreten einer beschränkten Anzahl kurzer (typisch 3s langer) Sequenzen hin untersuchen.
Die Sequenzen dürfen nur kurz sein, weil sie eins zu eins (ohne vorherige Analyse) mit den gespeicherten verglichen werden.
Mit solchen Systemen wird z. B. die Häufigkeit von Werbespots gezählt. Die Nachteile dieser Lösungen bestehen in folgenden Punkten:

• Genau die gespeicherte kurze Sequenz muß auftreten
• Es dürfen keine Störgeräusche wie z. B. Sprache überlagert sein.

In folgenden Druckschriften werden ähnliche Problemstellungen behandelt:
Die Druckschrift WO 01/69575A1 beschreibt ein Verfahren, in dem Melodien aus einer Audioquelle in Noteninformationen übertragen werden, um die so gewonnenen Daten mit den Melodien gespeicherter Musikstücke abzugleichen. Dies dient dem Erkennen von Kompositionen anhand akustisch eingesungener oder eingespielter Melodiefragmente, die auf Übereinstimmung mit den Melodien zuvor gespeicherter Musikstücke überprüft werden. Hierdurch werden jedoch lediglich Melodien erkannt, wodurch auf eine Komposition Rückschlüsse gezogen werden kann.
Das in diesem Patentbegehren beanspruchte Verfahren unterscheidet sich hiervon in folgenden Punkten, da

a) ganz spezifische Audioaufnahmen identifiziert werden können, d. h. nicht nur die Melodiebögen und Komposition sondern die Wiedergabe eines ganz bestimmten zuvor gespeicherten Audio Tracks erkannt wird, auch wenn davon nur für die Melodie unwesentliche Teile abgespielt werden;
b) die zu untersuchenden Audioquellen von Störgeräuschen und Sprache überlagert sein dürfen;
c) das Verfahren dazu geeignet ist, Rundfunk- und Fernsehprogramme kontinuierlich zu überwachen und dabei die Ausstrahlungsdauer und den Ausstrahlungszeitpunkt der zu überwachenden Musikstücke zu erfassen und zu dokumentieren.

Die Druckschrift WO 01/80235A1 beschreibt ein Verfahren, das geeignet ist, durch die Erfassung einzelner Frequenzbänder mittels Bandpassfilter, die Erfassung von Lautstärke, Rhythmus sowie des zeitlichen Verlaufs dieser Parameter und anschließende Fouriertransformation bzw. Hartley-Transformation einen Fingerprint eines Musikstücks herzustellen und diesen Anhand der auf die gleiche Weise ermittelten Fingerprints gespeicherter Musikstücke zu vergleichen. Dieses Verfahren ist geeignet, Musikstücke z. B. im Internet, oder in großen Musikdatenbanken zu identifizieren und aufzufinden.
Das in diesem Patentbegehren beanspruchte Verfahren unterscheidet sich hiervon in folgenden Punkten, da

a) die zu untersuchenden Musikstücke von Störgeräuschen und Sprache überlagert sein dürfen, das Verfahren also die Musik zuerst aus einem mit einem oder mehreren anderen Audiosignalen zusammen gemischten Kontext herausfiltert,
b) es dazu geeignet ist, bspw. Rundfunk- und Fernsehprogramme kontinuierlich zu überwachen und dabei Dauer und Zeitpunkt einer Verwendung der zu überwachenden Musikstücke zu protokollieren.

Es soll ein Verfahren ohne diese Nachteile beschrieben werden, das dazu in der Lage ist, mehrere Audioquellen kontinuierlich daraufhin zu überwachen, ob Elemente eines gespeicherten Satzes von Musiksequenzen darin vorkommen.
Dabei können die Sequenzen auch dann identifiziert werden, wenn sie durch andere Klänge und/oder Geräusche überlagert sind.
Das gesamte Tonfrequenzspektrum des zu kontrollierenden Audiosignals wird zunächst in schmale Frequenzbänder von jeweils wenigen Hertz zerlegt.
Diese Zerlegung kann durch parallele analoge Bandpassfilter, die jeweils genau einen Frequenzanteil durchlassen, erfolgen.
Kostengünstiger ist es jedoch, das Tonfrequenzsignal mit ausreichender Geschwindigkeit durch einen A/D-Wandler abzutasten, die gewandelten Werte in einen Arbeitsspeicher abzulegen und danach einen schnellen Rechner die Frequenzanteile durch eine schnelle Fouriertranformation (FFT) berechnen zu lassen.
Es ist zweckmäßig, die Audioquelle kontinuierlich abgetastet und die Ergebnisse in einen Ringspeicher zu schreiben, und nach einer festen Anzahl z von Konversionen eine Fouriertransformation durchzuführen.
Das Ergebnis der FFT charakterisiert das Tonfrequenzsignal, was in diesem Moment empfangen wurde.
Wurde mit Hilfe der Fouriertransformation ein Frequenzbereich von 0 bis h Hz in k Kanäle zerlegt, erhält man n Intensitätswerte. Dieses Feld aus n Zahlen beschreibt den Klang in diesem Moment.
Diese Intensitätsverteilung der Tonhöhen ist die Grundlage für den Vergleich der überwachten Audioquellen mit gespeicherten Musikstücken.
Absolute Intensitäten sind nicht zur Charakterisierung geeignet, wohl aber deren Lagen im Spektrum und die Intensitätsverhältnisse der akustischen Spektrallinien zueinander. Schon wenige kurze Momentaufnahmen ergeben eine Art ,Fingerabdruck' eines Musikstückes.
1 zeigt ein vereinfachtes Beispielspektrum für einen C-Dur Akkord. Neben den Grundtönen C, G und E (131 Hz, 165 Hz und 196 Hz) sind auch die ersten Harmonischen (doppelte Frequenz) eingezeichnet. In der Realität treten auch Harmonische höherer Ordnung auf.
2 zeigt ein Beispielspektrum, wo neben dem C-Dur Akkord noch ein C (65,4 Hz) eines Bassinstruments erklingt.
Es ist aber nicht praktikabel, nach jeder FFT einen Vergleich des Spektrums mit allen gespeicherten Spektren durchzuführen.
Ein Beispiel zeigt, dass der durchzuführende Rechenaufwand unzumutbar groß wäre:
Nehmen wir einmal an, wir würden die zu überwachende Audioquelle abtasten und alle 10 ms eine FFT mit 10000 Elementen durchführen. Nehmen wir weiter an, wir hätten einen Datenbestand von 1000 Musikstücken mit durchschnittlicher Länge 3 min zu vergleichen. Das entspräche 180000 Sekunden oder 180000·100 = 18 Millionen Zahlensätze zu 10000 Zahlen, mit der wir unser FFT-Ergebnisfeld vergleichen müssten. Der Vergleich dürfte aber nur 10 ms dauern, denn dann wird die nächste Momentaufnahme geliefert.
Dieses Problem kann folgendermaßen gelöst werden: Die Audioquelle wird kontinuierlich (nach jeder FFT) auf die Erfüllung einer Triggerbedingung hin überprüft.
Eine Triggerbedingung ist dann geeignet, wenn sie

– normalerweise in jeder urheberrechtlich relevanten Musiksequenz vorkommt
– möglichst selten auftritt

Ein Beispiel für eine schlecht geeignete Triggerbedingung wäre z. B. eine Lautstärkeerhöhung im Frequenzbereich 520–530 Hz.
Das ist der Fall, wenn das c'' (523,25 Hz) ertönt. Praktikable Triggerbedingungen sind Harmoniewechsel z. B. Tonika (3) – Dominante (4) bzw. Tonika-Subdominante (5).
Solche Wechsel dürften in jedem Musikstück vorkommen. In Passagen, in denen nur Melodieinstrumente vorkommen, können beliebige oder bestimmte Intervalle (z. B. Terzen) als Triggerpunkte definiert werden.
Das Ergebnis der FFT, bei der die Triggerbedingung erkannt wird, löst eine feste Anzahl von m – 1 weiteren Fouriertransformationen aus. Die so erhaltenen m Frequenzspektren werden zur Identifikation der Musiksequenz genutzt. So können Informationen aus dem An- und Abklingen („Attack", „Decay" und „Sustain") eines Tones gewonnen werden.
6, 7 und 8 zeigen ein Beispiel für m = 3. Es ist wie in dem Beispiel aus 2 ein C-Dur Akkord mit einem Baß zu hören. Der Baß klingt jedoch ab (wie z. B. bei einem akustischen Kontrabaß), während die Intensitäten des C-Dur Akkordes über den Beobachtungszeitraum gleich bleiben.
Die m Fourierspektren werden von Störgeräuschen befreit (wie noch zu beschreiben ist) und dienen dann dazu, einen Satz den Klang charakterisierenden Zahlen zu bilden.
Das charakterisierende Zahlenfeld kann nun so gebildet werden, dass die 1 höchsten lokalen Maxima registriert werden. 1 sollte so klein wie möglich sein, um den numerischen Aufwand zu minimieren.
Vorher muss auf relative Intensitäten normiert werden, denn es ist ja uninteressant, ob im Programm das zu erkennende Stück laut im Vordergrund oder leiser im Hintergrund (z. B. mit Sprache im Vordergrund) gespielt wird. Dazu wird auf den Median der 1 höchsten spektralen Maxima normiert.
Der Median ist hier besser geeignet als der Mittelwert; ein eventuell nicht ganz eliminierbarer lauter Vordergrundton kann so nicht zu einer signifikanten Verfälschung führen.
9 zeigt das charakteristische Zahlenfeld für unser obiges Beispiel und 1 = 7. Auf eine Normierung wurde aus Gründen der Übersichtlichkeit verzichtet.
Die gespeicherten Musikstücke werden nach gleichen Kriterien wie die zu untersuchende Audioquelle auf Triggerpunkte hin untersucht. Werden Triggerpunkte gefunden, werden charakteristische Zahlenfelder gebildet und zusammen mit einer Kennung auf einem Massenspeicher abgelegt.
Stimmt nun ein charakteristisches Zahlenfeld aus einer zu untersuchenden Audioquelle mit einem gespeicherten überein, ist ein Musikstück erkannt und über die Kennung identifiziert.
Durch die Ermittlung eines charakteristischen Zahlenfeldes nach einer Triggerbedingung kommt es zu einer erheblichen Reduktion des Vergleichsaufwandes. Bei der realistischen Annahme des Auftretens einer Triggerbedingung einmal pro Sekunde, einem 1 (Anzahl zu überwachender höchster Peaks) von 100 und einem m (Spektren nach Trigger) von 10 sind 1000 Zahlenpaare pro Sekunde zu vergleichen.
Der Datenbestand für 1000 3 Minuten lange Musikstücke reduziert sich auf 1000·180·1000 Zahlenpaare.
Statt alle 10 ms einen Datensatz aus 10000 Zahlen mit 18 Millionen Datensätzen vergleichen zu müssen, braucht nur noch alle 1000 ms ein Datensatz von 2000 Zahlen mit 180000 Datensätzen verglichen zu werden. Bei sequenziellem Vergleich darf der Rechner somit 50000 mal langsamer sein als bei einem Komplettvergleich.
Werden die D Datensätze der gespeicherten Musikstücke nach der Erfassung sortiert, so ist eine Beschleunigung durch binäres Suchen von der Ordnung D auf die Ordnung log2(D) möglich.
Es bleibt zu klären, wie Geräuschanteile eliminiert werden können.
Häufig laufen die zu erkennenden Musikstücke im Hintergrund; im Vordergrund ist Sprache oder andere Laute z. B. Meeresrauschen, Windgeräusche oder Straßenlärm zu hören.
Rauschquellen liefern über weite Frequenzbereiche ein breitbandiges Spektrum, einen sogenannten Untergrund.
Die Minima um die eigentlichen Peaks werden durch eine Ausgleichfunktion (bei weißem Rauschen eine konstante Funktion) approximiert; anschließend wird die Approximationsfunktion abgezogen.
10 zeigt ein Beispiel. Der durch die waagerechte Linie begrenzte Rauschanteil wird von allen Spektrallinien subtrahiert.
Bei „rosa" Rauschen geht man analog vor; hier subtrahiert man statt der konstanten Linie ein Ausgleichspolynom mit wechselnder Steigung und ggf. Wendepunkten (Beispiel 11).
Bei Störungen durch Sprache werden Vokale und Konsonanten unterschiedlich eliminiert:
Konsonanten entfallen bei der Untergrundkorrektur, sie werden wie Rauschen herausgerechnet.
Vokale bilden schmalbandige Peaks ähnlich denen von Musikinstrumenten produzierten aus.
Sie liegen aber in der Regel nicht genau auf den Halbtonstufen. Die Musik ist zudem zeitlich strenger strukturiert; sie zerfällt in Takte, die wiederum in Ganze-, Viertel-, Achtelnoten zerfallen.
Sind einzelne Peaks also keine Vielfache der übrigen im Spektrum enthaltenen und fallen sie aus der zeitlichen Struktur, stammen sie möglicherweise aus Sprache und werden eliminiert. Man beachte, daß es unkritisch ist, wenn durch Fehlinterpretation ein Peak entfernt wird, der aus der Musik stammt. Auf die gespeicherten Datenbestände werden schließlich die gleichen Algorithmen angesetzt. Sie werden also auch hier entfernt.
12 beschreibt beispielhaft eine Ausführung des Gerätes.
Das Tonfrequenzsignal der Sendeanstalten wird von Satelliten- oder terrestrischen Antennen bzw. Breitbandkabel mit nachgeschalteten Empfangseinheiten geliefert (1).
Ein Bandpassfilter (2) begrenzt die Bandbreite der Audioquelle auf einen Bereich zwischen 20 Hz und 20000 Hz.
Anschließend tastet der zu dem betreffenden Kanal gehörende A/D-Wandler (3) das Signal am Ausgang des Bandpassfilters (2) ab und schreibt die zugehörigen Messwerte in den Speicher des Mikrocomputers (4).
Der Mikrocomputer, in der Regel ein schneller DSP, führt die FFT durch und erkennt Triggerbedingungen. Sobald ein Trigger auftritt, werden die M nachfolgenden FFTs durchgeführt, Störgeräusche eliminiert und das Spektrum zu einem kleineren Satz von Zahlen verdichtet. Dieser Satz wird einem übergeordneten Rechner (7) übergeben. Dieser Rechner führt für alle n angeschlossenen Kanäle die Vergleiche mit den auf deinem Massenspeicher (5) abgelegten charakteristischen Zahlensätzen der Musikstücke durch. Sobald eine Musiksequenz erkannt wurde, werden Datum, Uhrzeit, Dauer und Identifikation der Sequenz auf einer Ausgabeeinheit (6) protokolliert.

Claims

Verfahren zur Erkennung und Registrierung urheberrechtlich geschützter Musiksequenzen in durch Rundfunk- und Fernsehprogramme verbreiteten Audiosequenzen von Rundfunk- und Fernsehprogrammen, wobei das Spektrum der verbreiteten Audiosequenzen aus dem in analoger Form erfassten Audiosignal als Klangspektrum ermittelt und dies anhand von eine geschützte Musiksequenz eindeutig identifizierbaren Triggerbedingungen bewertet wird, wobei folgende Schritte durchgeführt werden: a) Kontinuierliches Abtasten einer in Rundfunk- und Fernsehprogrammen verbreiteten und in analoger Form erfassten Audiosequenz, die aus einer reinen Musiksequenz mit überlagerten Klängen oder Geräuschen bestehen darf, eines A/D-Wandlers, wobei die analoge in eine digitale Audiosequenz gewandelt wird, b) Speichern der digitalen Audiosequenz in einen Arbeitsspeicher und/oder Ringspeicher, c) Durchführen einer Spektralanalyse der gespeicherten Audiosequenz, wodurch ein Klangspektrum ermittelt wird, das anhand von geschützte Musiksequenzen eindeutig identifizierenden Triggerbedingungen untersucht wird, d) wobei diese Triggerbedingungen die Existenz von Spektralanteilen und deren Intensitätsverhältnisse zueinander umfassen und von in einem Speicher abgelegten Klangspektren zu identifizierender, geschützter Musiksequenzen herstammen e) und wobei, • wenn eine Triggerbedingung erfüllt ist, eine feste Anzahl von weiteren Spektralanalysen weiterer Audiosequenzen nach obigem Schema durchgeführt wird, • und hieraus ein Zahlenfeld erzeugt wird, • das die untersuchten Klangspektren der ausgestrahlten Audiosequenzen charakterisiert, • und weiches mit gespeicherten Zahlenfeldern auf Übereinstimmungen hin verglichen werden kann, die von den gespeicherten, geschützten Musiksequenzen stammen und diese charakterisieren, • und woraus die Dauer einer erkannten Musiksequenz bestimmt werden kann, • wobei vor der Erzeugung des Zahlenfeldes aus dem Klangspektrum einer Audiosequenz Störungen aufgrund ihrer charakteristischen Ausprägung im Spektrum herausgerechnet werden.