DE10117871C1 - Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals - Google Patents

Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals

Info

Publication number
DE10117871C1
DE10117871C1 DE10117871A DE10117871A DE10117871C1 DE 10117871 C1 DE10117871 C1 DE 10117871C1 DE 10117871 A DE10117871 A DE 10117871A DE 10117871 A DE10117871 A DE 10117871A DE 10117871 C1 DE10117871 C1 DE 10117871C1
Authority
DE
Germany
Prior art keywords
signal
time
database
search
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10117871A
Other languages
English (en)
Inventor
Frank Klefenz
Karlheinz Brandenburg
Wolfgang Hirsch
Christian Uhle
Christian Richter
Andras Katai
Matthias Kaufmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE10117871A priority Critical patent/DE10117871C1/de
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to PCT/EP2002/002703 priority patent/WO2002084539A2/de
Priority to US10/473,801 priority patent/US20040158437A1/en
Priority to EP02714186A priority patent/EP1377924B1/de
Priority to AT02714186T priority patent/ATE277381T1/de
Priority to AU2002246109A priority patent/AU2002246109A1/en
Priority to JP2002582410A priority patent/JP3934556B2/ja
Priority to CA002443202A priority patent/CA2443202A1/en
Priority to DE50201116T priority patent/DE50201116D1/de
Application granted granted Critical
Publication of DE10117871C1 publication Critical patent/DE10117871C1/de
Priority to HK04102412A priority patent/HK1059492A1/xx
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/135Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G10H2250/011Genetic algorithms, i.e. using computational steps analogous to biological selection, recombination and mutation on an initial population of, e.g. sounds, pieces, melodies or loops to compose or otherwise generate, e.g. evolutionary music or sound synthesis

Abstract

Bei einem Verfahren zum Extrahieren einer Signalkennung aus einem Zeitsignal wird das zeitliche Auftreten von Signalflanken in dem Zeitsignal detektiert, wobei eine Signalflanke eine spezifische zeitliche Länge hat. Ferner wird der zeitliche Abstand zwischen zwei ausgewählten detektierten Signalflanken ermittelt. Aus dem ermittelten zeitlichen Abstand wird ein Frequenzwert berechnet, wobei der Frequenzwert einem Auftrittszeitpunkt des Frequenzwerts in dem Zeitsignal zugeordnet wird, um eine Koordinaten-Tupel aus dem Frequenzwert und der Auftrittszeit für diesen Frequenzwert zu erhalten. Eine Signalkennung wird aus einer Mehrzahl von Koordinatentupeln erzeugt, wobei jeder Koordinatentupel einen Frequenzwert und eine Auftrittszeit umfaßt, wodurch die Signalkennung eine Folge von Signalkennungswerten umfaßt, die den zeitlichen Verlauf des Zeitsignals wiedergibt. Die extrahierte Signalkennung basiert auf Signalflanken des Zeitsignals und gibt somit den zeitlichen Verlauf des Zeitsignals wieder. Die Signalkennung ist daher einerseits charakterisiert für das Zeitsignal und andererseits robust gegenüber Änderungen des Zeitsignals.

Description

Die vorliegende Erfindung bezieht sich auf die Verarbeitung von Zeitsignalen, die einen harmonischen Anteil haben, und insbesondere auf das Erzeugen einer Signalkennung für ein Zeitsignal, um das Zeitsignal mittels einer Datenbank, in der eine Mehrzahl von Signalkennungen für eine Mehrzahl von Zeitsignalen gespeichert ist, beschreiben zu können.
Konzepte, durch die Zeitsignale mit einem harmonischen An­ teil, wie z. B. Audiodaten, identifizierbar und referen­ zierbar sind, sind für viele Anwender nützlich. Insbesonde­ re in einer Situation, in der ein Audiosignal vorliegt, dessen Titel und Autor unbekannt sind, ist es oftmals wün­ schenswert, herauszufinden, von wem das entsprechende Lied stammt. Ein Bedarf hierzu besteht beispielsweise, wenn der Wunsch vorhanden ist, z. B. eine CD des betreffenden Inter­ preten zu erwerben. Wenn das vorliegende Audiosignal ledig­ lich den Zeitsignalinhalt umfaßt, jedoch keinen Namen über den Interpreten, den Musikverlag etc., so ist eine Identi­ fizierung des Ursprungs des Audiosignals bzw. von wem ein Lied stammt, nicht möglich. Die einzige Hoffnung bestand dann darin, das Audiostück samt Referenzdaten bezüglich des Autors oder der Quelle, wo das Audiosignal zu erwerben ist, noch einmal zu hören, um dann den gewünschten Titel be­ schaffen zu können.
Im Internet ist es nicht möglich, Audiodaten unter Verwen­ dung herkömmlicher Suchmaschinen zu suchen, da die Suchma­ schinen lediglich mit textuellen Daten umgehen können. Au­ diosignale bzw. allgemeiner gesagt, Zeitsignale, die einen harmonischen Anteil haben, können durch solche Suchmaschinen nicht verarbeitet werden, wenn sie keine textuellen Suchangaben umfassen.
Ein realistischer Bestand an Audiodateien liegt bei mehre­ ren tausend gespeicherten Audiodateien bis zu hunderttau­ senden von Audiodateien. Musikdatenbankinformationen können auf einem zentralen Internet-Server abgelegt sein, und po­ tentielle Suchanfragen könnten über das Internet erfolgen. Alternativ sind bei heutigen Festplattenkapazitäten auch die zentrale Musikdatenbanken auf lokalen Festplattensyste­ men von Benutzern denkbar. Es ist wünschenswert, solche Mu­ sikdatenbanken durchsuchen zu können, um Referenzdaten über eine Audiodatei zu erfahren, von der lediglich die Datei selbst, jedoch keine Referenzdaten bekannt sind.
Darüber hinaus ist es gleichermaßen wünschenswert, Musikda­ tenbanken unter Verwendung vorgegebener Kriterien durchsu­ chen zu können, die beispielsweise dahingehend lauten, ähn­ liche Stücke herausfinden zu können. Ähnliche Stücke sind beispielsweise die Stücke mit einer ähnlichen Melodie, ei­ nem ähnlichen Instrumentensatz, oder einfach mit ähnlichen Geräuschen, wie z. B. Meeresrauschen, Vogelgezwitscher, männliche Stimmen, weibliche Stimmen, etc.
Das U.S.-Patent Nr. 5,918,223 offenbart ein Verfahren und eine Vorrichtung für eine Inhalts-basierte Analyse, Spei­ cherung, Wiedergewinnung und Segmentierung von Audioinfor­ mationen. Dieses Verfahren beruht darauf, mehrere akusti­ sche Merkmale aus einem Audiosignal zu extrahieren. Gemes­ sen werden Lautstärke, Baß, Tonhöhe, Brightness und Melfre­ quenz-basierte Cepstral-Koffizienten in einem Zeitfenster bestimmter Länge in periodischen Intervallabständen. Jeder Meßdatensatz besteht aus einer Folge von gemessenen Merk­ malsvektoren. Jede Audiodatei ist durch den kompletten Satz der pro Merkmal berechneten Merkmalsfolgen spezifiziert. Ferner werden die ersten Ableitungen für jede Folge von Merkmalsvektoren berechnet. Dann werden statistische Werte wie Mittelwert und Standardabweichung berechnet. Dieser Satz von Werten wird in einem N-Vektor, d. h. einem Vektor mit n Elementen, gespeichert. Diese Vorgehensweise wird auf eine Vielzahl von Audiodateien angewendet, um für jede Au­ diodatei einen N-Vektor abzuleiten. Damit wird nach und nach eine Datenbank aus einer Vielzahl von N-Vektoren auf­ gebaut. Aus einer unbekannten Audiodatei wird dann unter Verwendung derselben Vorgehensweise ein Such-N-Vektor ext­ rahiert. Bei einer Suchanfrage wird dann eine Abstandsbe­ rechnung des vorgegebenen N-Vektors und der in der Daten­ bank gespeicherten N-Vektoren ermittelt. Schließlich wird der N-Vektor ausgegeben, der den minimalen Abstand zu dem Such-N-Vektor hat. Dem ausgegebenen N-Vektor sind Daten ü­ ber den Autor, den Titel, die Beschaffungsquelle etc. zuge­ ordnet, so daß eine Audiodatei hinsichtlich ihres Ursprungs identifiziert werden kann.
Dieses Verfahren hat den Nachteil, daß mehrere Merkmale be­ rechnet werden und willkürliche Heuristiken zur Berechnung der Kenngrößen eingeführt werden. Durch Mittelwert- und Standardabweichungsberechnungen über alle Merkmalsvektoren für eine gesamte Audiodatei wird die Information, die durch den zeitlichen Verlauf der Merkmalsvektoren gegeben ist, auf wenige Merkmalsgrößen reduziert. Dies führt zu einem hohen Informationsverlust.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren und eine Vorrichtung zum Extrahieren einer Sig­ nalkennung aus einem Zeitsignal zu schaffen, die eine aus­ sagekräftige Kennzeichnung eines Zeitsignals ohne zu großen Informationsverlust ermöglichen.
Diese Aufgabe wird durch ein Verfahren zum Extrahieren ei­ ner Signalkennung aus einem Zeitsignal nach Patentanspruch 1 oder durch eine Vorrichtung zum Extrahieren einer Signal­ kennung aus einem Zeitsignal nach Patentanspruch 19 gelöst.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren und eine Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und ein Verfahren und ei­ ne Vorrichtung zum Referenzieren eines Such-Zeitsignal mit­ tels einer solchen Datenbank zu schaffen.
Diese Aufgabe wird durch ein Verfahren zum Erzeugen einer Datenbank nach Patentanspruch 13, eine Vorrichtung zum Er­ zeugen einer Datenbank nach Patentanspruch 20, ein Verfah­ ren zum Referenzieren eines Such-Zeitsignals nach Patentan­ spruch 14 oder eine Vorrichtung zum Referenzieren eines Such-Zeitsignals nach Patentanspruch 21 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß bei Zeitsignalen, die einen harmonischen Anteil haben, der zeitliche Verlauf des Zeitsignals verwendet werden kann, um eine Signalkennung des Zeitsignals aus dem Zeit­ signal zu extrahieren, die einerseits einen guten Fingerab­ druck für das Zeitsignal liefert, die jedoch andererseits hinsichtlich ihrer Datenmenge überschaubar ist, um ein ef­ fizientes Durchsuchen einer Vielzahl von Signalkennungen in einer Datenbank zu ermöglichen. Eine wesentliche Eigen­ schaft von Zeitsignalen mit einem harmonischen Anteil sind wiederkehrende Signalflanken in dem Zeitsignal, wobei z. B. zwei aufeinanderfolgende Signalflanken mit gleicher bzw. ähnlicher Länge die Angabe einer Periodendauer und damit einer Frequenz in dem Zeitsignal mit hoher zeitlicher und frequenzmäßiger Auflösung ermöglichen, wenn nicht nur das Vorhandensein der Signalflanken an sich, sondern auch das zeitliche Auftreten der Signalflanken in dem Zeitsignal be­ rücksichtigt wird. Somit ist es möglich, eine Beschreibung des Zeitsignals dadurch zu erhalten, daß das Zeitsignal aus zeitlich aufeinanderfolgenden Frequenzen besteht. Am Bei­ spiel eines Audiosignals wird das Audiosignal somit so cha­ rakterisiert, daß ein Ton, also eine Frequenz, zu einem be­ stimmten Zeitpunkt vorhanden ist, und daß diesem Ton, d. h. dieser Frequenz, zu einem späteren Zeitpunkt ein anderer Ton, d. h. eine andere Frequenz, folgt.
Erfindungsgemäß wird somit von der Beschreibung des Zeit­ signals durch eine Folge von zeitlichen Abtastwerten in ei­ ne Beschreibung des Zeitsignals durch Koordinaten-Tupel aus Frequenz und Zeitpunkt des Auftretens der Frequenz überge­ gangen. Die Signalkennung oder anders ausgedrückt der Merk­ malsvektor (MV), der zum Beschreiben des Zeitsignals ver­ wendet wird, umfaßt somit eine Folge von Signalkennungswer­ ten, die je nach Ausführungsform mehr oder weniger grob den zeitlichen Verlauf des Zeitsignals wiedergibt. Das Zeitsig­ nal wird somit nicht, wie im Stand der Technik, anhand sei­ ner spektralen Eigenschaften charakterisiert, sondern an­ hand der zeitlichen Abfolge von Frequenzen in dem Zeitsig­ nal.
Zur Berechnung eines Frequenzwerts aus den detektierten Signalflanken werden somit zumindest zwei detektierte Sig­ nalflanken benötigt. Die Auswahl dieser zwei Signalflanken aus den gesamten detektierten Signalflanken, auf deren Ba­ sis Frequenzwerte berechnet werden, ist vielfältig. Zu­ nächst können zwei aufeinanderfolgende Signalflanken von im wesentlichen gleicher Länge verwendet werden. Der Frequenz­ wert ist dann der Kehrwert aus dem zeitlichen Abstand die­ ser Flanken. Alternativ kann eine Auswahl auch nach der Amplitude der detektierten Signalflanken durchgeführt wer­ den. So können auch zwei aufeinanderfolgende Signalflanken gleicher Amplitude genommen werden, um einen Frequenzwert zu ermitteln. Es müssen jedoch nicht immer zwei aufeinan­ derfolgende Signalflanken genommen werden, sondern z. B. immer die zweite, dritte, vierte, . . . Signalflanke gleicher Amplitude oder Länge. Schließlich sei angemerkt, daß auch zwei beliebige Signalflanken genommen werden können, um un­ ter Verwendung statistischer Methoden und auf der Basis der Superpositionsgesetze die Koordinatentupel zu erhalten. Am Beispiel einer Flöte wird deutlich, daß ein Flötenton zwei Signalflanken mit hoher Amplitude liefert, zwischen denen sich ein Wellenberg mit niedrigerer Amplitude befindet. Um den Grundton der Flöte zu ermitteln, könnte beispielsweise eine Auswahl der zwei detektierten Signalflanken nach der Amplitude getroffen werden.
Insbesondere für Audiosignale stellt die zeitliche Abfolge von Tönen die natürlichste Art und Weise der Charakterisie­ rung dar, da, wie es am einfachsten an Musiksignalen er­ kennbar ist, der Wesensgehalt des Audiosignals eben in der zeitlichen Abfolge von Tönen steckt. Die unmittelbarste Empfindung die ein Hörer von einem Musiksignal erhält, ist die zeitliche Abfolge von Tönen. Nicht nur in der klassi­ schen Musik, bei der sich Werke immer um ein bestimmtes Thema aufbauen, das sich in verschiedenen Abwandlungen durch das ganze Werk zieht, sondern auch bei Liedern der populären oder sonstigen zeitgenössischen Musik existiert eine einprägsame Melodie, die im allgemeinen aus einer Fol­ ge von einfachen Tönen besteht, wobei das Thema bzw. die einfache Melodie wesentlich die Wiedererkennungsfähigkeit unabhängig von Rhythmus, der Tonhöhe, einer eventuellen In­ strumentenbegleitung etc. prägt.
Das erfindungsgemäße Konzept basiert auf dieser Erkenntnis und liefert eine Signalkennung, die aus einer zeitlichen Abfolge von Frequenzen besteht oder, je nach Ausführungs­ form, aus einer zeitlichen Abfolge von Frequenzen, d. h. Tönen, durch statistische Verfahren abgeleitet ist.
Ein Vorteil der vorliegenden Erfindung besteht darin, daß die Signalkennung als zeitliche Abfolge von Frequenzen ei­ nen Fingerabdruck von hohem Informationsgehalt für Zeitsig­ nale mit harmonischem Anteil darstellt und gewissermaßen das wesentliche oder den Kern eines Zeitsignal ausmacht.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß die erfindungsgemäß extrahierte Signalkennung zwar eine starke Komprimierung des Zeitsignals darstellt, jedoch nach wie vor an den zeitlichen Verlauf des Zeitsig­ nals angelehnt ist und damit an die natürliche Auffassung von Zeitsignalen, z. B. Musikstücken, angepasst ist.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß durch die sequentielle Natur der Signalkennung von den Abstandsberechnungs-Referenzierungsalgorithmen im Stand der Technik weggegangen werden kann und zur Referen­ zierung des Zeitsignals in einer Datenbank Algorithmen ein­ gesetzt werden können, die aus der DNA-Sequenzierung be­ kannt sind und daß darüber hinaus auch Ähnlichkeitsberech­ nungen durchgeführt werden können, indem DNA- Sequenzierungsalgorithmen mit Ersetzen/Einfügen/Löschen- Operationen eingesetzt werden.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß zum Detektieren des zeitlichen Auftretens von Signalflanken in dem Zeitsignal auf günstige Art und Weise die Hough-Transformation eingesetzt werden kann, für die aus der Bildverarbeitung und Bilderkennung effiziente Algo­ rithmen existieren.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß die erfindungsgemäß extrahierte Signalkennung eines Zeitsignals unabhängig davon ist, ob die Such- Signalkennung aus dem gesamten Zeitsignal oder nur aus ei­ nem Abschnitt des Zeitsignals abgeleitet ist, da gemäß den Algorithmen der DNA-Sequenzierung ein zeitlich schrittwei­ ser Vergleich der Such-Signalkennung mit einer Referenz- Signalkennung durchgeführt werden kann, wobei aufgrund des zeitlich sequentiellen Vergleichs der Abschnitt des zu i­ dentifizierenden Zeitsignals gewissermaßen automatisch in dem Referenz-Zeitsignal dort identifiziert wird, wo die höchste Übereinstimmung zwischen Such-Signalkennung und Re­ ferenz-Signalkennung existiert.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeich­ nungen näher erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild der erfindungsgemäßen Vor­ richtung zum Extrahieren einer Signalkennung aus einem Zeitsignal;
Fig. 2 ein Blockschaltbild eines bevorzugten Ausfüh­ rungsbeispiels, in dem eine Vorverarbeitung des Audiosignals dargestellt ist;
Fig. 3 ein Blockschaltbild eines Ausführungsbeispiels für die Signalkennungserzeugung;
Fig. 4 ein Blockschaltbild für eine erfindungsgemäße Vorrichtung zum Erzeugen einer Datenbank und zum Referenzieren eines Such-Zeitsignals in der Da­ tenbank.
Fig. 5 graphische Darstellung eines Ausschnitts von Mo­ zart KV 581 durch Frequenz-Zeit-Koordinaten- Tupel.
Fig. 1 zeigt ein Blockdiagramm einer Vorrichtung zum Extra­ hieren einer Signalkennung aus einem Zeitsignal. Die Vor­ richtung umfaßt eine Einrichtung 12 zum Durchführen einer Signalflankendetektion, eine Einrichtung 14 zur Abstandser­ mittlung zwischen zwei ausgewählten detektierten Flanken, eine Einrichtung 16 zur Frequenzberechnung und eine Ein­ richtung 18 zur Signalkennungserzeugung unter Verwendung von aus der Einrichtung 16 zur Frequenzberechnung ausgege­ benen Koordinaten-Tupeln, die jeweils einen Frequenzwert und eine Auftrittszeit für diesen Frequenzwert aufweisen.
An dieser Stelle sei darauf hingewiesen, daß, obgleich im nachfolgenden von einem Audiosignal als Zeitsignal gespro­ chen wird, das erfindungsgemäße Konzept nicht nur für Au­ diosignale geeignet ist, sondern für sämtliche Zeitsignale, die einen harmonischen Anteil haben, da die Signalkennung darauf basiert, daß ein Zeitsignal aus einer zeitlichen Abfolge von Frequenzen, am Beispiel des Audiosignals von Tö­ nen, besteht.
Die Einrichtung 12 zum Erfassen des zeitlichen Auftretens von Signalflanken in dem Zeitsignal führt vorzugsweise eine Hough-Transformation durch.
Die Hough-Transformation ist in dem U.S.-Patent Nr. 3,069,654 von Paul V. C. Hough beschrieben. Die Hough- Transformation dient zur Erkennung von komplexen Strukturen und insbesondere zur automatischen Erkennung von komplexen Linien in Photographien oder anderen Bilddarstellungen. Die Hough-Transformation ist somit allgemein eine Technik, die verwendet werden kann, um Merkmale mit spezieller Form in­ nerhalb eines Bildes zu extrahieren.
In ihrer Anwendung gemäß der vorliegenden Erfindung wird die Hough-Transformation dazu verwendet, aus dem Zeitsignal Signalflanken mit spezifizierten zeitlichen Längen zu ext­ rahieren. Eine Signalflanke wird zunächst durch ihre zeit­ liche Länge spezifiziert. Im Idealfall einer Sinuswelle wä­ re eine Signalflanke durch die ansteigende Flanke der Si­ nusfunktion von 0 bis 90° definiert. Alternativ könnte eine Signalflanke auch durch den Anstieg der Sinus-Funktion von -90° bis +90° spezifiziert werden.
Liegt das Zeitsignal als Folge von zeitlichen Abtastwerten ("Samples") vor, so entspricht die zeitliche Länge einer Signalflanke unter Berücksichtigung der Abtastfrequenz, mit der die Samples erzeugt worden sind, einer bestimmten An­ zahl von Abtastwerten. Die Länge einer Signalflanke kann somit ohne weiteres durch die Angabe der Anzahl der Abtast­ werte, die die Signalflanke umfassen soll, spezifiziert werden.
Darüber hinaus wird es bevorzugt, eine Signalflanke nur dann als Signalflanke zu detektieren, wenn dieselbe stetig ist und einen überwiegend monotonen Verlauf hat, also im Falle einer positiven Signalflanke einen überwiegend mono­ ton steigenden Verlauf hat. Selbstverständlich können auch negative Signalflanken, also monoton fallende Signalflanken detektiert werden.
Ein weiteres Kriterium zur Klassifizierung von Signalflan­ ken besteht darin, daß eine Signalflanke nur dann als Sig­ nalflanke detektiert wird, wenn sie einen bestimmten Pegel­ bereich überstreicht. Um Rauschstörungen auszublenden, wird es bevorzugt, für eine Signalflanke einen minimalen Pegel­ bereich oder Amplitudenbereich vorzugeben, wobei monoton steigende Signalflanken unterhalb dieses Pegelbereichs nicht als Signalflanken detektiert werden.
Gemäß einem bevorzugten Ausführungsbeispiel der vorliegen­ den Erfindung wird zur Referenzierung von Audiosignalen ei­ ne weitere Einschränkung dahingehend getroffen, daß ledig­ lich Signalflanken gesucht werden, deren spezifizierte zeitliche Länge größer als eine minimale Grenzlänge und kleiner als eine maximale zeitliche Grenzlänge ist. Dies bedeutet in anderen Worten ausgedrückt, daß lediglich Sig­ nalflanken gesucht werden, die auf Frequenzen kleiner als eine obere Grenzfrequenz und größer als eine untere Grenz­ frequenz hinweisen. Bei Musikstücken wird es bevorzugt, le­ diglich Signalflanken zu detektieren, die auf Frequenzen im Frequenzbereich von 27,5 Hz (Ton A2) bis 4186 Hz (Ton c5) hinweisen. Dieser Frequenzbereich wird durch die durch ein übliches Klavier zur Verfügung gestellten Töne überstri­ chen. Für Signalkennungen von Musikstücken hat sich dieser Tonbereich als ausreichend herausgestellt.
Die Signalflankendetektionseinheit 12 liefert somit eine Signalflanke und den Zeitpunkt des Auftretens der Signal­ flanke. Hierbei ist es unerheblich, ob als Signalauftritts­ zeitpunkt der Signalflanke der Zeitpunkt des ersten Abtast­ werts der Signalflanke, der Zeitpunkt des letzten Abtast­ werts der Signalflanke oder der Zeitpunkt irgend eines Abtastwerts innerhalb der Signalflanke genommen wird, so lan­ ge Signalflanken gleich behandelt werden.
Die Einrichtung 14 zum Ermitteln eines zeitlichen Abstands zwischen zwei aufeinanderfolgenden Signalflanken, deren zeitliche Längen abgesehen von einem vorbestimmten Tole­ ranzwert gleich sind, untersucht die von der Einrichtung 12 ausgegebenen Signalflanken und extrahiert zwei aufeinander­ folgende Signalflanken, die gleich sind oder innerhalb ei­ nes bestimmten vorgegebenen Toleranzwerts im wesentlichen gleich sind. Wenn ein einfacher Sinuston betrachtet wird, so ist eine Periode des Sinustons durch den zeitlichen Ab­ stand zweier aufeinanderfolgender gleich langer z. B. posi­ tiver Viertelwellen gegeben. Hierauf beruht die Einrichtung 16 zum Berechnen eines Frequenzwerts aus dem ermittelten zeitlichen Abstand. Der Frequenzwert entspricht dem Inver­ sen des ermittelten zeitlichen Abstands.
Durch diese Vorgehensweise kann mit hoher zeitlicher und gleichzeitig frequenzmäßiger Auflösung eine Darstellung ei­ nes Zeitsignals durch Angabe der in dem Zeitsignal vorkom­ menden Frequenzen und durch Angabe der mit den Frequenzen korrespondierenden Auftrittszeitpunkten geliefert werden. Wenn die Ergebnisse der Einrichtung 16 zur Frequenzberech­ nung graphisch dargestellt werden, wird ein Diagramm gemäß Fig. 5 erhalten.
Fig. 5 zeigt einen Ausschnitt mit etwa 13 Sekunden Länge des Klarinettenquintetts A-Dur, Larghetto, KV 581 von Wolf­ gang Amadeus Mozart, wie es am Ausgang der Einrichtung 16 zur Frequenzberechnung erscheinen würde. In diesem Aus­ schnitt erklingt eine Klarinette, die eine melodieführende Solostimme spielt sowie ein begleitendes Streichquartett. Es ergeben sich die in Fig. 5 dargestellten Koordinaten- Tupel, wie sie durch die Einrichtung 16 zur Frequenzberech­ nung erzeugt werden könnten.
Die Einrichtung 18 dient schließlich dazu, aus den Ergeb­ nissen der Einrichtung 16 eine Signalkennung zu erzeugen, die für eine Signalkennungsdatenbank günstig und geeignet ist. Die Signalkennung wird allgemein aus einer Mehrzahl von Koordinatentupeln erzeugt, wobei jeder Koordinatentupel einen Frequenzwert und einen Auftrittszeitpunkt umfaßt, so daß die Signalkennung eine Folge von Signalkennungswerten umfaßt, die den zeitlichen Verlauf des Zeitsignals wieder­ gibt.
Wie es später erläutert wird, dient die Einrichtung 18 da­ zu, aus dem Frequenz-Zeit-Diagramm von Fig. 5, das durch die Einrichtung 16 erzeugt werden könnte, die wesentlichen Informationen zu extrahieren, um einen Fingerabdruck des Zeitsignals zu erzeugen, der einerseits kompakt ist, und der andererseits das Zeitsignal ausreichend genau und un­ terscheidbar von anderen Zeitsignalen unterscheiden kann.
Fig. 2 zeigt eine erfindungsgemäße Vorrichtung zum Extra­ hieren einer Signalkennung gemäß einem bevorzugten Ausfüh­ rungsbeispiel der vorliegenden Erfindung. Als Zeitsignal wird eine Audiodatei 20 in einen Audio-I/O-Handler eingege­ ben. Der Audio-I/O-Handler 22 liest die Audiodatei bei­ spielsweise von einer Festplatte. Der Audiodatenstrom kann auch direkt über eine Soundkarte eingelesen werden. Nach dem Einlesen eines Abschnitts des Audiodatenstroms schließt die Einrichtung 22 die Audiodatei wieder und lädt die nächste zu bearbeitende Audiodatei oder terminiert den Ein­ lesevorgang. Die Folge von PCM-Abtastwerten (PCM = Puls Co­ de Modulated), wie sie beispielsweise von einer CD erhalten werden, werden dann in eine Einrichtung 24 zur Vorverarbei­ tung des Audiosignals eingegeben. Die Einrichtung 24 dient einerseits dazu, falls erforderlich eine Abtastratenumwand­ lung durchzuführen, oder eine Lautstärkemodifikation des Audiosignals zu erreichen. Audiosignale liegen auf ver­ schiedenen Medien in unterschiedlichen Abtastfrequenzen vor. Wie es bereits ausführt worden ist, wird jedoch der Zeitpunkt des Auftretens einer Signalflanke in dem Audiosignal zur Beschreibung des Audiosignals verwendet, so daß die Abtastrate bekannt sein muß, um die Auftrittszeitpunkte von Signalflanken korrekt zu detektieren, und um darüber hinaus Frequenzwerte korrekt zu detektieren. Alternativ kann eine Abtastratenumwandlung durch Dezimierung oder In­ terpolation durchgeführt werden, um die Audiosignale ver­ schiedener Abtastraten auf eine gleiche Abtastrate zu brin­ gen.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung, das für mehrere Abtastraten geeignet sein soll, ist daher die Einrichtung 24 vorgesehen, um eine Abtastrateneinstellung durchzuführen.
Die PCM-Abtastwerte werden ferner einer automatischen Pegelanpassung unterzogen, die ebenfalls in der Einrichtung 24 vorgesehen ist. In der Einrichtung 24 wird zur automati­ schen Pegelanpassung in einem Look-Ahead-Buffer die mittle­ re Signalleistung des Audiosignals bestimmt. Der Audiosig­ nalabschnitt, der zwischen zwei Signalleistungsminima liegt, wird mit einem Skalierungsfaktor multipliziert, der das Produkt aus einem Gewichtungsfaktor und dem Quotienten aus Vollausschlag und maximalem Pegel innerhalb des Seg­ ments ist. Die Länge des Look-Ahead-Buffers ist variabel.
Anschließend wird das derart vorverarbeitete Audiosignal in die Einrichtung 12 eingespeist, die eine Signalflankende­ tektion durchführt, wie sie bezugnehmend auf Fig. 1 be­ schrieben worden ist. Bevorzugterweise wird hierzu die Hough-Transformation verwendet. Eine schaltungstechnische Realisierung der Hough-Transformation ist in der WO 99/26167 offenbart.
Die durch die Hough-Transformation ermittelte Amplitude ei­ ner Signalflanke und der Detektionszeitpunkt einer Signal­ flanke werden dann in die Einrichtung 14 von Fig. 1 überge­ ben. In dieser Einheit werden jeweils zwei aufeinanderfol­ gende Detektionszeitpunkte voneinander subtrahiert, wobei der Kehrwert der Differenz der Auftrittszeiten als Fre­ quenzwert angenommen wird. Diese Aufgabe wird durch die Einrichtung 16 aus Fig. 1 bewirkt und führt, wenn ein Mu­ sikstück entsprechend bearbeitet wird, zu dem Frequenz- Zeit-Diagramm von Fig. 5, in der die erhaltenen Frequenz- Zeit-Koordinaten-Tupel graphisch dargestellt sind, die durch Mozart, Köchel-Verzeichnis 581, erhalten werden.
Erfindungsgemäß könnte die Darstellung von Fig. 5 bereits als Signalkennung für das Zeitsignal verwendet werden, da die zeitliche Folge der Koordinaten-Tupel den zeitlichen Verlauf des Zeitsignals wiedergibt.
Bei einem Ausführungsbeispiel wird es jedoch bevorzugt, ei­ ne Nachbearbeitung durchzuführen, um aus dem Frequenz-Zeit- Diagramm von Fig. 5 die wesentlichen Informationen zu ext­ rahieren, die für eine Signal-Referenzierung einen mög­ lichst kleinen und dennoch möglichst aussagefähigen Finger­ abdruck für das Zeitsignal liefern.
Hierzu kann die Signalkennungserzeugung 18 wie in Fig. 3 dargestellt aufgebaut sein. Die Einrichtung 18 gliedert sich in eine Einrichtung 18a zur Ermittlung der Häufungsge­ biete, in eine Einrichtung 18b zur Gruppierung, in eine Einrichtung 18c zur Mittelung über einer Gruppe, in eine Einrichtung 18d zur Intervallfestlegung, in eine Einrich­ tung zum Quantisieren 18e und schließlich in eine Einrich­ tung 18f auf, um die Signalkennung für das Zeitsignal zu erhalten.
Wie in Fig. 5 gut erkennbar, werden in der Einrichtung 18a zur Ermittlung der Häufungsgebiete charakteristische Ver­ teilungspunktwolken, die als Haufen oder Cluster bezeichnet werden, herausgearbeitet. Dies geschieht, indem alle iso­ lierten Frequenz-Zeit-Tupel gelöscht werden, die einen vor­ gegebenen Mindestabstand zum nächsten räumlichen Nachbarn überschreiten. Solche isolierten Frequenz-Zeit-Tupel sind beispielsweise die Punkte in der rechten oberen Ecke des Diagramms von Fig. 5. Dadurch bleibt ein sogenanntes Pitch- Contour-Streifenband übrig, das in Fig. 5 mit dem Bezugs­ zeichen 50 skizziert ist. Das Pitch-Contour-Streifenband besteht aus Clustern bestimmter Frequenzbreite und Länge, wobei diese Cluster von gespielten Tönen hervorgerufen wer­ den. Diese Töne sind in Fig. 5 durch waagrechte Linien, die die Ordinate schneiden, angedeutet (52), wobei bei dem hier gezeigten Beispiel die Töne h1, c2, cis2, d2 und h1 in dem Bereich zwischen etwa 6 und 10 Sekunden in der genannten Folge auftreten. Der Ton a1 hat eine Frequenz von 440 Hz. Der Ton h1 hat eine Frequenz von 494 Hz. der Ton c2 hat ei­ ne Frequenz von 523 Hz, der Ton cis2 hat eine Frequenz von 554 Hz, während der Ton d2 eine Frequenz von 587 Hz hat.
Bei polyphonen Klängen ergeben sich breitere Streifenbän­ der. Die Streifenbreite bei Einzeltönen hängt darüber hin­ aus von einem Vibrato des die Einzeltöne erzeugenden Musik­ instruments ab.
In der Einrichtung 18b zur Gruppierung oder zur Bildung von Blöcken werden die Koordinaten-Tupel des Pitch-Contour- Streifenbandes in einem Zeitfenster von n Abtastwerten zu einem separat zu bearbeitenden Verarbeitungsblock zusammen­ gefaßt oder gruppiert. Die Blockgröße kann dabei äquidis­ tant oder variabel gewählt werden. Je nach Genauigkeit und zur Verfügung stehendem Speicherplatz für die Signalkennung kann eine relativ grobe Aufteilung gewählt werden, bei­ spielsweise ein Ein-Sekunden-Raster, was über die vorlie­ gende Abtastrate einer bestimmten Anzahl von Abtastwerten pro Block entspricht, oder eine kleinere Einteilung. Alter­ nativ kann, um bei Musikstücken der zugrunde liegenden No­ tenschreibweise Rechnung zu tragen, das Raster immer so ge­ wählt werden, daß in das Raster ein Ton fällt. Hierzu ist es erforderlich, die Länge eines Tons abzuschätzen, was durch die in Fig. 5 eingezeichnete Polynomfitfunktion 54 möglich ist. Eine Gruppe bzw. ein Block wird dann durch den zeitlichen Abstand zwischen zwei lokalen Extremwerten des Polynoms bestimmt. Diese Vorgehensweise liefert besonders bei relativ monophonen Abschnitten relativ große Gruppen von Abtastwerten, wie sie zwischen 6 und 12 Sekunden auf­ treten, während bei relativ polyphonen Abständen des Musik­ stücks, bei denen die Koordinaten-Tupel über einen großen Frequenzbereich verteilt sind, wie z. B. etwa bei 2 Sekun­ den in Fig. 5 oder bei 12 Sekunden von Fig. 5 kleinere Gruppen ermittelt werden, was wiederum dazu führt, daß die Signalkennung auf der Basis relativ kleiner Gruppen durch­ geführt wird, so daß die Informationskompression kleiner als bei einer festen Blockbildung ist.
In dem Block 18c zur Mittelung über einer Gruppe von Ab­ tastwerten wird je nach Bedarf ein gewichteter Mittelwert über alle in einem Block vorhandenen Koordinaten-Tupel be­ stimmt. Bei dem bevorzugten Ausführungsbeispiel wurden die Tupel außerhalb des Pitch-Contour-Streifenband bereits vor­ her "ausgeblendet". Alternativ kann jedoch auch auf dieses Ausblenden verzichtet werden, was dazu führt, daß sämtliche durch die Einrichtung 16 berechneten Koordinaten-Tupel bei der Mittelung, die durch die Einrichtung 18c durchgeführt wird, berücksichtigt werden.
In der Einrichtung 18d zur Intervallfestlegung wird eine Sprungweite zur Festlegung der Mitte der nächsten, d. h. zeitlich folgenden, Gruppe von Abtastwerten bestimmt.
Es sei darauf hingewiesen, daß in der Einrichtung 18c ent­ weder eine arithmetische, eine geometrische oder eine Medi­ an-Mittelung durchgeführt werden kann.
In dem Quantisierer 18e wird der Wert, der durch die Ein­ richtung 18c berechnet worden ist, in nicht äquidistante Rasterwerte quantisiert. Bei Musikstücken wird es bevor­ zugt, die Unterteilung nach der Tonfrequenzskala durchzu­ führen, wobei die Tonfrequenzskala, wie es bereits ausge­ führt worden ist, gemäß dem Frequenzbereich eingeteilt ist, der durch ein übliches Klavier geliefert wird und sich von 27,5 Hz (Ton A2) bis 4186 Hz (Ton c5) erstreckt und 88 Tonstufen umfaßt. Liegt der gemittelte Wert am Ausgang der Einrichtung 18c zwischen zwei benachbarten Halbtönen, so erhält er den Wert des nächstliegenden Bezugstons.
Damit ergibt sich am Ausgang der Einrichtung 18e zum Quan­ tisieren nach und nach eine Folge von quantisierten Werten, welche zusammen die Signalkennung ergeben. Je nach Bedarf können die quantisierten Werte durch die Einrichtung 18f nachverarbeitet werden, wobei eine Nachverarbeitung bei­ spielsweise in einer Tonhöhen-Offset-Korrektur, einer Transposition in eine andere Tonskala, etc. bestehen könn­ te.
Im nachfolgenden wird auf Fig. 4 Bezug genommen. Fig. 4 zeigt schematisch eine Vorrichtung zum Referenzieren eines Such-Zeitsignals in einer Datenbank 40, wobei die Datenbank 40 Signalkennungen einer Mehrzahl von Datenbank- Zeitsignalen Track_1 bis Track_m aufweist, die in einer vorzugsweise von der Datenbank 40 getrennten Bibliothek 42 gespeichert sind.
Um ein Zeitsignal anhand der Datenbank 40 referenzieren zu können, muß die Datenbank zunächst gefüllt werden, was in einem "Lernen"-Modus erreicht werden kann. Hierzu werden Audiodateien 41 nach und nach einem Vektorgenerator 43 zu­ geführt, der für jede Audiodatei eine Referenz-Kennung auf­ weist und in der Datenbank so abspeichert, daß erkannt wer­ den kann, zu welcher Audiodatei z. B. in der Bibliothek 42 die Signalkennung gehört.
Gemäß der in Fig. 4 gegebenen Zuordnung entspricht die Sig­ nalkennung MV11, . . ., MV1n dem Zeitsignal Track 1. Die Signalkennung MV21, . . ., MV2n gehört zu dem Zeitsignal Track_2. Schließlich gehört die Signalkennung MVm1, . . ., MVmn zu dem Zeitsignal Track_m.
Der Vektorgenerator 43 ist ausgebildet, um allgemein die in Fig. 1 dargestellten Funktionen durchzuführen, und ist gemäß einem bevorzugten Ausführungsbeispiel wie in den Fig. 2 und 3 dargestellt implementiert. Im "Lernen"-Madus verar­ beitet der Vektorgenerator 43 nach und nach verschiedene Audiodateien (Track_1 bis Track_m), um Signalkennungen für die Zeitsignale in der Datenbank abzuspeichern, d. h. um die Datenbank zu füllen.
Im "Suchen"-Modus soll eine Audiodatei 41 anhand der Daten­ bank 40 referenziert werden. Hierzu wird das Such- Zeitsignal 41 durch den Vektorgenerator 43 verarbeitet, um eine Such-Kennung 45 zu erzeugen. Die Such-Kennung 45 wird dann in einen DNA-Sequencer 46 eingespeist, um mit den Re­ ferenz-Kennungen in der Datenbank 40 verglichen zu werden. Der DNA-Sequencer 46 ist ferner angeordnet, um eine Aussage über das Such-Zeitsignal bezüglich der Mehrzahl von Daten­ bank-Zeitsignalen aus der Bibliothek 42 zu treffen. Der DNA-Sequencer sucht mit der Such-Kennung 45 die Datenbank 40 auf eine übereinstimmende Referenz-Kennung ab und über­ gibt einen Zeiger auf das entsprechende mit der Referenz­ kennung assoziierte Audiofile in der Bibliothek 42.
Der DNA-Sequencer 46 führt somit einen Vergleich der Such- Kennung 45 oder Teilen davon mit den Referenz-Kennungen in der Datenbank durch. Bei Vorliegen der vorgegebenen Folge bzw. einer Teilsequenz davon wird das zugehörige Zeitsignal in der Bibliothek 42 referenziert.
Vorzugsweise führt der DNA-Sequencer 46 einen Boyer-Moore- Algorithmus aus, welcher beispielsweise in dem Fachbuch "Algorithms on Strings, Trees and Sequences", Dan Gusfield, Cambridge University Press, 1997, beschrieben ist. Gemäß einer ersten Alternative wird auf exakte Übereinstimmung geprüft. Das Treffen einer Aussage besteht daher darin, daß gesagt wird, daß das Such-Zeitsignal identisch zu einem Zeitsignal in der Bibliothek 42 ist. Alternativ oder zu­ sätzlich kann auch die Ähnlichkeit zweier Sequenzen durch Verwendung von Ersetzen/Einfügen/Löschen-Operationen und einer Pitch-Offset-Korrektur (Tonhöhen-Versatzkorrektur) untersucht werden.
Vorzugsweise ist die Datenbank 40 so strukturiert, daß sie aus der Verkettung von Signalkennungsfolgen zusammengesetzt ist, wobei das Ende jeder Vektorsignalkennung eines Zeit­ signals durch ein Trennzeichen festgelegt wird, damit die Suche nicht über Zeitsignaldateigrenzen fortgesetzt wird. Werden mehrere Übereinstimmungen festgestellt, werden alle referenzierten Zeitsignale angegeben.
Durch Nutzung der Operationen Ersetzen/Einfügen/Löschen (Replace/Insert/Delete) kann ein Ähnlichkeitsmaß eingeführt werden, wobei das Zeitsignal in der Bibliothek 42 referen­ ziert wird, das dem Such-Zeitsignal 41 anhand eines vorge­ gebenen Ähnlichkeitsmaßes am ähnlichsten ist. Ferner wird es bevorzugt, ein Ähnlichkeitsmaß des Such-Audio-Signals zu mehreren Signalen in der Bibliothek zu ermitteln und dann die n ähnlichsten Abschnitte in der Bibliothek 42 in ab­ steigender Reihenfolge auszugeben.

Claims (22)

1. Verfahren zum Extrahieren einer Signalkennung aus ei­ nem Zeitsignal, das einen harmonischen Anteil hat, mit folgenden Schritten:
Detektieren (12) des zeitlichen Auftretens von Signal­ flanken in dem Zeitsignal;
Ermitteln (14) eines zeitlichen Abstands zwischen zwei ausgewählten detektierten Signalflanken;
Berechnen (16) eines Frequenzwerts aus dem ermittelten zeitlichen Abstand und Zuordnen des Frequenzwerts zu einer Auftrittszeit des Frequenzwerts in dem Zeitsig­ nal, um einen Koordinatentupel aus dem Frequenzwert und der Auftrittszeit für diesen Frequenzwert zu er­ halten; und
Erzeugen (18) der Signalkennung aus einer Mehrzahl von Koordinatentupeln, wobei jeder Koordinatentupel einen Frequenzwert und eine Auftrittszeit umfaßt, wodurch die Signalkennung eine Folge von Signalkennungswerten umfaßt, die den zeitlichen Verlauf des Zeitsignals wiedergibt.
2. Verfahren nach Anspruch 1, bei dem im Schritt des De­ tektierens (12) eine Signalflanke nur dann als Signal­ flanke detektiert, wenn dieselbe über ihrer spezifi­ zierten zeitlichen Länge eine Amplitude aufweist, die größer als ein vorbestimmten Amplitudenschwellwert ist.
3. Verfahren nach Anspruch 1 oder 2, bei dem im Schritt des Detektierens (12) eine Signal­ flanke nur dann als Signalflanke detektiert wird, wenn ihre spezifizierte zeitliche Länge größer als eine minimale Grenzlänge und kleiner als eine maximale Grenz­ länge ist.
4. Verfahren nach Anspruch 3, bei dem das Zeitsignal ein Audiosignal ist, und bei dem die minimale zeitliche Grenzlänge anhand einer maximalen hörbaren Grenzfre­ quenz und die maximale zeitliche Grenzlänge anhand ei­ ner minimalen hörbaren Grenzfrequenz festgelegt sind.
5. Verfahren nach Anspruch 3, bei dem das Zeitsignal ein Audiosignal ist, und bei dem die minimale zeitliche Grenzlänge anhand einer maximalen durch ein Instrument erzeugbaren Tonfrequenz und die maximale zeitliche Grenzlänge anhand einer minimalen durch ein Instrument erzeugbaren Tonfrequenz festgelegt sind.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt des Erzeugens (18) der Signalkennung folgenden Schritt aufweist:
Eliminieren (18a) von Koordinatentupeln, die mehr als einen vorbestimmten Schwellenabstand von einem benach­ barten Koordinatentupel in einem Frequenz-Zeit- Diagramm beabstandet sind, um Häufungen von Koordina­ ten-Tupeln zu ermitteln.
7. Verfahren nach Anspruch 5 oder 6, bei dem der Schritt des Erzeugens (18) folgenden Schritt aufweist:
Gruppieren (18b) von Koordinaten-Tupeln in aufeinan­ derfolgenden Zeitintervallen zu Blöcken von Koordina­ tentupeln.
8. Verfahren nach Anspruch 7, bei dem die aufeinanderfol­ genden Zeitintervalle eine feste und/oder eine variab­ le Länge haben.
9. Verfahren nach Anspruch 7 oder 8, bei dem der Schritt des Erzeugens (18) der Signalkennung folgenden Schritt aufweist:
Mitteln (18c) der Frequenzwerte von Koordinaten-Tupeln in den Zeitintervallen, um eine Folge von gemittelten Frequenzwerten für eine Folge von Zeitintervallen zu erhalten, wobei die Folge von gemittelten Frequenzwer­ ten einen Merkmalsvektor darstellt.
10. Verfahren nach Anspruch 9, bei dem der Schritt (18) des Erzeugens der Signalkennung folgenden Schritt auf­ weist:
Quantisieren (18e) des Merkmalsvektors, um einen quan­ tisierten Merkmalsvektor zu erhalten.
11. Verfahren nach Anspruch 10, bei dem der Schritt des Quantisierens (18e) unter Verwendung nicht-äquidistant verteilter Rasterpunkte durchgeführt wird, wobei Ab­ stände zwischen zwei benachbarten Rasterpunkten gemäß einer Tonfrequenzskala bestimmt sind.
12. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt (12) des Detektierens von Signalflanken eine Hough-Transformation verwendet wird.
13. Verfahren zum Erzeugen einer Datenbank (40) aus Refe­ renz-Signalkennungen für eine Mehrzahl von Zeitsigna­ len, mit folgenden Schritten:
Extrahieren einer ersten Signalkennung für ein erstes Zeitsignal durch das Verfahren gemäß einem der Ansprü­ che 1 bis 12;
Extrahieren einer zweiten Signalkennung für ein zwei­ tes Zeitsignal durch ein Verfahren gemäß einem der An­ sprüche 1 bis 12; und
Speichern der extrahierten ersten Signalkennung in Zu­ ordnung zu dem ersten Zeitsignal in der Datenbank (40); und
Speichern der extrahierten zweiten Signalkennung in Zuordnung zu dem zweiten Zeitsignal in der Datenbank (40).
14. Verfahren zum Referenzieren eines Such-Zeitsignals un­ ter Verwendung einer Datenbank (40), wobei die Daten­ bank Referenz-Signalkennungen einer Mehrzahl von Da­ tenbank-Zeitsignalen aufweist, wobei eine Referenz- Signalkennung eines Datenbank-Zeitsignals durch ein Verfahren gemäß einem der Patentansprüche 1 bis 12 er­ mittelt worden ist, mit folgenden Schritten:
Vorgeben zumindest eines Abschnitts eines Such- Zeitsignals (41);
Extrahieren (43) einer Such-Signalkennung aus dem Such-Zeitsignal durch ein Verfahren gemäß einem der Patentansprüche 1 bis 12; und
Vergleichen (46) der Such-Signalkennung mit der Mehr­ zahl von Referenz-Signalkennungen, und, ansprechend auf den Schritt des Vergleichens, Treffen einer Aussa­ ge über das Such-Zeitsignal bezüglich der Mehrzahl von Datenbank-Zeitsignalen.
15. Verfahren nach Anspruch 14, bei dem im Schritt des Treffens einer Aussage ein Such-Zeitsignal als Refe­ renz-Zeitsignal identifiziert wird, wenn die Such- Signalkennung zumindest mit einem Abschnitt einer Re­ ferenz-Signalkennung übereinstimmt.
16. Verfahren nach Anspruch 14, bei dem im Schritt des Treffens einer Aussage eine Ähnlichkeit zwischen einem Such-Zeitsignal und einem Datenbank-Zeitsignal festge­ stellt wird, falls die Such-Signalkennung und/oder zu­ mindest ein Abschnitt einer Datenbank-Signalkennung durch eine reproduzierbare Manipulation in Überein­ stimmung bringbar sind.
17. Verfahren nach einem der Patentansprüche 14 bis 16,
bei dem die Datenbank-Signalkennung eine Folge von Da­ tenbank-Signalkennungswerten aufweist, die den zeitli­ chen Verlauf des Datenbank-Zeitsignals wiedergeben,
bei dem die Such-Signalkennung eine Suchfolge von Such-Signalkennungswerten aufweist, die den zeitlichen Verlauf des Such-Zeitsignals wiedergeben,
bei dem die Länge der Datenbank-Folge größer als die Länge der Such-Folge ist, und
bei dem die Such-Folge sequentiell mit der Datenbank- Folge verglichen wird.
18. Verfahren nach Anspruch 17, bei dem während des se­ quentiellen Vergleichens der Suchfolge mit der Daten­ bankfolge eine Korrektur der Werte der Such- und/oder der Datenbank-Signalkennung durch eine Ersetzen-, Ein­ fügen- oder Löschen-Operation von zumindest einem Wert der Such- und/oder der Datenbank-Signalkennung durch­ geführt wird, um eine Ähnlichkeit des Such-Zeitsignals und des Datenbank-Zeitsignals zu ermitteln.
19. Verfahren nach einem der Ansprüche 14 bis 18, bei dem der Schritt des Vergleichens (46) unter Ver­ wendung eines DNA-Sequencing-Algorithmus und/oder un­ ter Verwendung des Boyer-Moore-Algorithmus durchge­ führt wird.
20. Vorrichtung zum Extrahieren einer Signalkennung aus einem Zeitsignal, das einen harmonischen Anteil hat, mit folgenden Merkmalen:
einer Einrichtung zum Detektieren (12) des zeitlichen Auftretens von Signalflanken in dem Zeitsignal;
einer Einrichtung zum Ermitteln (14) eines zeitlichen Abstands zwischen zwei ausgewählten detektierten Sig­ nalflanken;
einer Einrichtung zum Berechnen (16) eines Frequenz­ werts aus dem ermittelten zeitlichen Abstand und Zu­ ordnen des Frequenzwerts zu einer Auftrittszeit des Frequenzwerts in dem Zeitsignal, um einen Koordinaten­ tupel aus dem Frequenzwert und der Auftrittszeit für diesen Frequenzwert zu erhalten; und
einer Einrichtung zum Erzeugen (18) der Signalkennung aus einer Mehrzahl von Koordinatentupeln, wobei jeder Koordinatentupel einen Frequenzwert und eine Auf­ trittszeit umfaßt, wodurch die Signalkennung eine Fol­ ge von Signalkennungswerten umfaßt, die den zeitlichen Verlauf des Zeitsignals wiedergibt.
21. Vorrichtung zum Erzeugen einer Datenbank (40) aus Re­ ferenz-Signalkennungen für eine Mehrzahl von Zeitsig­ nalen, mit folgenden Merkmalen:
einer Einrichtung zum Extrahieren einer ersten Signal­ kennung für ein erstes Zeitsignal durch das Verfahren gemäß einem der Ansprüche 1 bis 12;
einer Einrichtung zum Extrahieren einer zweiten Sig­ nalkennung für ein zweites Zeitsignal durch ein Ver­ fahren gemäß einem der Ansprüche 1 bis 12; und
einer Einrichtung zum Speichern der extrahierten ers­ ten Signalkennung in Zuordnung zu dem ersten Zeitsig­ nal in der Datenbank (40); und
einer Einrichtung zum Speichern der extrahierten zwei­ ten Signalkennung in Zuordnung zu dem zweiten Zeitsig­ nal in der Datenbank (40).
22. Vorrichtung zum Referenzieren eines Such-Zeitsignals unter Verwendung einer Datenbank (40), wobei die Da­ tenbank Referenz-Signalkennungen einer Mehrzahl von Datenbank-Zeitsignalen aufweist, wobei eine Referenz- Signalkennung eines Datenbank-Zeitsignals durch ein Verfahren gemäß einem der Patentansprüche 1 bis 12 er­ mittelt worden ist, mit folgenden Merkmalen:
einer Einrichtung zum Vorgeben zumindest eines Ab­ schnitts eines Such-Zeitsignals (41);
einer Einrichtung zum Extrahieren (43) einer Such- Signalkennung durch ein Verfahren gemäß einem der Pa­ tentansprüche 1 bis 12; und
einer Einrichtung zum Vergleichen (46) der Such- Signalkennung mit der Mehrzahl von Referenz- Signalkennungen, und, ansprechend auf den Schritt des Vergleichens, Treffen einer Aussage über das Such- Zeitsignal bezüglich der Mehrzahl von Datenbank- Zeitsignalen.
DE10117871A 2001-04-10 2001-04-10 Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals Expired - Fee Related DE10117871C1 (de)

Priority Applications (10)

Application Number Priority Date Filing Date Title
DE10117871A DE10117871C1 (de) 2001-04-10 2001-04-10 Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
US10/473,801 US20040158437A1 (en) 2001-04-10 2002-03-12 Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal
EP02714186A EP1377924B1 (de) 2001-04-10 2002-03-12 VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
AT02714186T ATE277381T1 (de) 2001-04-10 2002-03-12 Verfahren und vorrichtung zum extrahieren einer signalkennung, verfahren und vorrichtung zum erzeugen einer dazugehörigen databank und verfahren und vorrichtung zum referenzieren eines such-zeitsignals
PCT/EP2002/002703 WO2002084539A2 (de) 2001-04-10 2002-03-12 Verfahren und vorrichtung zum extrahieren einer signalkennung, verfahren und vorrichtung zum erzeugen einer dazugehörigen databank
AU2002246109A AU2002246109A1 (en) 2001-04-10 2002-03-12 Method and device for extracting a signal identifier, method and device for creating a corresponding database
JP2002582410A JP3934556B2 (ja) 2001-04-10 2002-03-12 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置
CA002443202A CA2443202A1 (en) 2001-04-10 2002-03-12 Method and apparatus for extracting a signal identifier, method and apparatus for creating a database from signal identifiers, and method and apparatus for referencing a search time signal
DE50201116T DE50201116D1 (de) 2001-04-10 2002-03-12 VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
HK04102412A HK1059492A1 (en) 2001-04-10 2004-04-02 Method and device for extracting a signal identifier, method and device for creating a database fromsignal identifiers and method and device for refe rencing a search time signal.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10117871A DE10117871C1 (de) 2001-04-10 2001-04-10 Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals

Publications (1)

Publication Number Publication Date
DE10117871C1 true DE10117871C1 (de) 2002-07-04

Family

ID=7681083

Family Applications (2)

Application Number Title Priority Date Filing Date
DE10117871A Expired - Fee Related DE10117871C1 (de) 2001-04-10 2001-04-10 Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
DE50201116T Expired - Lifetime DE50201116D1 (de) 2001-04-10 2002-03-12 VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE50201116T Expired - Lifetime DE50201116D1 (de) 2001-04-10 2002-03-12 VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals

Country Status (9)

Country Link
US (1) US20040158437A1 (de)
EP (1) EP1377924B1 (de)
JP (1) JP3934556B2 (de)
AT (1) ATE277381T1 (de)
AU (1) AU2002246109A1 (de)
CA (1) CA2443202A1 (de)
DE (2) DE10117871C1 (de)
HK (1) HK1059492A1 (de)
WO (1) WO2002084539A2 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10232916B4 (de) * 2002-07-19 2008-08-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals
ATE467207T1 (de) * 2005-01-21 2010-05-15 Unltd Media Gmbh Vervahren zum erzeugen eines abdrucks eines audiosignals
US7996212B2 (en) * 2005-06-29 2011-08-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for analyzing an audio signal
DE102005030326B4 (de) 2005-06-29 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Analyse eines Audiosignals
US8687839B2 (en) * 2009-05-21 2014-04-01 Digimarc Corporation Robust signatures derived from local nonlinear filters
DE102017213510A1 (de) * 2017-08-03 2019-02-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen eines maschinellen Lernsystems, und virtuelle Sensorvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4324497A1 (de) * 1992-07-23 1994-04-21 Roman Koller Verfahren und Anordnung zur ferngewirkten Schaltung eines Verbrauchers
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
DE19948974A1 (de) * 1999-10-11 2001-04-12 Nokia Mobile Phones Ltd Verfahren zum Erkennen und Auswählen einer Tonfolge, insbesondere eines Musikstücks

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR772961A (fr) * 1934-05-07 1934-11-09 Procédé d'enregistrement de la musique jouée sur un instrument à clavier, et appareil basé sur ce procédé
US3069654A (en) * 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
US3979557A (en) * 1974-07-03 1976-09-07 International Telephone And Telegraph Corporation Speech processor system for pitch period extraction using prediction filters
US4697209A (en) * 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
US6480825B1 (en) * 1997-01-31 2002-11-12 T-Netix, Inc. System and method for detecting a recorded voice
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4324497A1 (de) * 1992-07-23 1994-04-21 Roman Koller Verfahren und Anordnung zur ferngewirkten Schaltung eines Verbrauchers
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
DE19948974A1 (de) * 1999-10-11 2001-04-12 Nokia Mobile Phones Ltd Verfahren zum Erkennen und Auswählen einer Tonfolge, insbesondere eines Musikstücks

Also Published As

Publication number Publication date
EP1377924B1 (de) 2004-09-22
HK1059492A1 (en) 2004-07-02
WO2002084539A2 (de) 2002-10-24
CA2443202A1 (en) 2002-10-24
US20040158437A1 (en) 2004-08-12
AU2002246109A1 (en) 2002-10-28
EP1377924A2 (de) 2004-01-07
JP2004531758A (ja) 2004-10-14
JP3934556B2 (ja) 2007-06-20
ATE277381T1 (de) 2004-10-15
DE50201116D1 (de) 2004-10-28
WO2002084539A3 (de) 2003-10-02

Similar Documents

Publication Publication Date Title
EP1523719B1 (de) Vorrichtung und verfahren zum charakterisieren eines informationssignals
DE10117870B4 (de) Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank
EP1368805B1 (de) Verfahren und vorrichtung zum charakterisieren eines signals und verfahren und vorrichtung zum erzeugen eines indexierten signals
EP1371055B1 (de) Vorrichtung zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen des audiosignals unter verwendung einer autokorrelationsfunktion
EP1407446B1 (de) Verfahren und vorrichtung zum charakterisieren eines signals und zum erzeugen eines indexierten signals
EP2099024B1 (de) Verfahren zur klangobjektorientierten Analyse und zur notenobjektorientierten Bearbeitung polyphoner Klangaufnahmen
EP1405222B1 (de) Verfahren und vorrichtung zum erzeugen eines fingerabdrucks und verfahren und vorrichtung zum identifizieren eines audiosignals
EP1388145B1 (de) Vorrichtung und verfahren zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen
DE10157454B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Kennung für ein Audiosignal, Verfahren und Vorrichtung zum Aufbauen einer Instrumentendatenbank und Verfahren und Vorrichtung zum Bestimmen der Art eines Instruments
DE10117871C1 (de) Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
DE102004028693B4 (de) Vorrichtung und Verfahren zum Bestimmen eines Akkordtyps, der einem Testsignal zugrunde liegt
EP1671315B1 (de) Vorrichtung und verfahren zum charakterisieren eines tonsignals
EP1743324B1 (de) Vorrichtung und verfahren zum analysieren eines informationssignals
EP1381024B1 (de) Verfahren zum Auffinden einer Tonfolge

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20111102