EP1381024A1 - Method for retrieving a tone sequence - Google Patents

Method for retrieving a tone sequence Download PDF

Info

Publication number
EP1381024A1
EP1381024A1 EP02015381A EP02015381A EP1381024A1 EP 1381024 A1 EP1381024 A1 EP 1381024A1 EP 02015381 A EP02015381 A EP 02015381A EP 02015381 A EP02015381 A EP 02015381A EP 1381024 A1 EP1381024 A1 EP 1381024A1
Authority
EP
European Patent Office
Prior art keywords
tone
sequences
sequence
tone sequence
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP02015381A
Other languages
German (de)
French (fr)
Other versions
EP1381024B1 (en
Inventor
Christoph Dr. Pörschmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palm Inc
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP02015381A priority Critical patent/EP1381024B1/en
Priority to DE50214167T priority patent/DE50214167D1/en
Priority to AT02015381T priority patent/ATE455347T1/en
Publication of EP1381024A1 publication Critical patent/EP1381024A1/en
Application granted granted Critical
Publication of EP1381024B1 publication Critical patent/EP1381024B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments

Definitions

  • the invention relates to a method for finding a tone sequence, such as a piece of music or a ring tone sequence, in a tone sequence reference database, the reference tone sequences contains, due to a reproduced tone sequence.
  • Under a reproduced tone sequence is, for example a melody played by a person with their voice to understand.
  • the invention is based on the object to provide a method for finding a tone sequence, automatically based on a played sequence of tones can provide the desired reference tone sequence.
  • a reproduced tone sequence is generally both a complete sequence of tones that corresponds to a piece of music or Ringtone can correspond overall, but especially a tone sequence of any length within a piece of music or a ring tone understood.
  • the the latter case in practice the main use case be, for example, if a person has a special characteristic part of a musical piece-tone sequence hums or whistles to which she is looking for the entire piece of music.
  • tone sequence reference database There are pieces of music on the tone sequence reference database as tone sequences in the form of successive data Pitches and / or pitches. For this purpose you can common audio files with regard to their temporal Frequency curve can be analyzed with software support. Regarding the recorded, reproduced tone sequence in the prior art literature for determining a temporal frequency response, for example, a summed Tone sequence procedures like CEPSTRUM or Autocorrelation method known.
  • step c) won sequence of pitches and / or pitches in several, sound sequences connected under predetermined criteria divide. The same happens with the reference tone sequences, so that a comparison was made in step e) can be.
  • At least the Reference tone sequence with the most matches between Sound sequences and reference sound sequences output are the largest Matches to the sound sequences on the recorded sequence of tones.
  • step d) can be a Occurrence of pauses in the played sequence or also the consideration of periodicities, such as bars, in the reproduced tone sequence can be used.
  • a break in thus forms a reproduced tone sequence, for example a boundary between two sound sequences. Unless it is it is clear whether a sequence separation is to be carried out or not, both the individual sound sequences are preferred as also a composite sound sequence in the Comparison step e) used.
  • a similarity list can also be used in comparison step e) include the associations between each other contains similar reference sound sequences. As similar to each other For example, two sound sequences can be viewed, the in a sequence of tones only in one tone, the is characterized by its pitch and length, differ.
  • step g) Frequency curve from step b) with temporal reference frequency curves from a reference frequency response Database compared.
  • This database can be used with the above mentioned tone sequence reference database.
  • step g) the frequency course over time can be determined Step b) for comparison in terms of absolute Frequency values and / or its timeline systematically be modified. For example, if the one being played If the tone sequence is in an incorrect octave, the entire tone sequence in terms of a constant factor their frequency values shifted on a frequency scale become. If the sound sequence played is incorrect Speed, the entire frequency response can stretched or shortened in time, d. H. everyone Frequency value is changed from a time t to a time k x t shifted.
  • the frequency curves based on the reproduced tone sequences can be divided into frequency response sequences, where the criteria to split the criteria described above can correspond to a tone sequence in tone sequences. Then can the individual frequency response sequences one after the other can be compared with the reference frequency profiles.
  • a temporal resolution of the temporal Frequency characteristics is not sufficient to with adequate Probability to determine a desired tone sequence, it can be increased. In the opposite case, d. H. If empirically shows that a lower temporal Resolution is sufficient, it can also be reduced.
  • the tone sequence reference database becomes a reproduced tone sequence recorded, d. H. a desired one Tone sequence is reproduced by a sound source at which it is a human voice, but also an acoustic one Playback devices of any kind can act.
  • the recorded reproduced tone sequence a temporal frequency course of the Tone sequence determined.
  • a frequency curve over time is also referred to in the specialist literature as a "pitch structure" designated.
  • the in previous process step obtained sequence of tones under predetermined criteria in contiguous Sound sequences divided.
  • coherent Sound sequences can also be referred to as "acoustic motifs" become.
  • a split criterion for winning Tone sequences from tone sequences can cause pauses to occur his. Let pauses between two possible sound sequences not reliably determine, so both the undivided Sound sequence as well as the two divided sound sequences determined. For each sound sequence won, both the Pitch and pitch lengths standardized and saved.
  • tone sequence reference database Before comparing with reference tone sequences or sequences should be made on the part of a Tone sequence reference database the following features must be fulfilled:
  • tone sequence reference database is based on Figure 1 explains.
  • Tone sequence reference database are complete pieces of music or ringtone sequences as reference tone sequences R1, R2, R3 stored individually. They are in the form of Pitch sequences, pitch sequences or preferably in the form of successive tones represented by a pitch and a Tone length are marked in front.
  • Figure 1 are the For the sake of simplicity, only pitches within one octave, however no sound lengths are shown.
  • the tone sequence reference database also contains one Lexicon area 2, in which sound sequences contain # 1, # 2, # 3 are, which result from a division of the reference tone sequences R1, R2, R3 result under predetermined criteria. With these Criteria are preferably the same as those used to divide the sound sequences played become.
  • the tone sequence reference database also contains one Similarity list area 3, the mappings between Sound sequences # 1, # 2, # 3 from lexicon area 2 with regard to contains similarity.
  • the lexicon entries # 2 differ and # 3 just in one tone, so in that Similarity list area for tone sequence # 2 on the Sound sequence # 3 is referenced and vice versa.
  • the tone sequence reference database also contains one Hit list area 4, with the references between the Sound sequences # 1, # 2, # 3 from the lexicon area 2 and the Reference tone sequences R1, R2, R3 contains, the Includes information from the similarity list area 3 are. It goes without saying that the inclusion of the Similarity list is just a preferred feature, however not mandatory.
  • the hit list is used to determine for which reference tone sequence most matches between reproduced sound sequences and sound sequences # 1, # 2, # 3 the lexicon can be found.
  • the resulting one Reference tone sequence is most likely the wanted sequence of tones.
  • a hit list of Reference tone sequences result.
  • the entries in this hit list For example, the person who is looking for a tone sequence has been played, so the last one Definition of the desired reference tone sequence by this Person can be done.
  • a frequency frequency curve is compared, which is assigned to a reproduced tone sequence, with a Part or preferably an entire temporal frequency profile to a reference tone sequence.
  • FIG. 3 now shows a frequency course over time a reference tone sequence (curve K5) and a reproduced one temporal frequency response (curve K6) that already, like explained with reference to Figure 2 is modified.
  • the pitch [Hz] or the playback speed can each be multiplied by 2 x , where X is a positive real number.
  • the starting point of the tone sequence played can be in with respect to the reference tone sequence within the reference tone sequence can be varied.
  • any matches are z. B. with the help of a Error algorithm determined, in particular the Least squares error is determined.
  • a respective degree of agreement with the reproduced tone sequence recorded and saved. yield too many essentially due to this procedure equivalent hits, the resolution of the temporal Be enlarged over time.
  • the person who the reproduced tone sequence as a reference tone sequence can be in ascending order of the distance of the error criterion each suggested a reference tone sequence or also be played.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Channel Selection Circuits, Automatic Tuning Circuits (AREA)

Abstract

The method involves receiving a reproduced sound sequence, determining a frequency time profile, sound level and/or duration, separating into sound sub-sequences related in accordance with certain criteria, comparing with reference sub-sequences related to a breakdown of the reference sound sequence in accordance with the same criteria and outputting a reference sequence(s) with the closest match between received sound and reference sub-sequences. The method involves receiving a reproduced sound sequence, determining a frequency time profile and sound level and/or duration, separating the sound sequence into several sound sub-sequences related in accordance with certain criteria, comparing the sub-sequences with reference sub-sequences (R1-R3) related to a breakdown of the reference sound sequence (1-3) in accordance with the same criteria and outputting at least one reference sequence with the closest agreement between received sound and reference sub-sequences.

Description

Die Erfindung bezieht sich auf ein Verfahren zum Auffinden einer Tonfolge, wie ein Musikstück oder eine Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge.The invention relates to a method for finding a tone sequence, such as a piece of music or a ring tone sequence, in a tone sequence reference database, the reference tone sequences contains, due to a reproduced tone sequence.

Unter einer wiedergegebenen Tonfolge ist dabei beispielsweise eine von einer Person mit ihrer Stimme wiedergegebene Melodie zu verstehen.Under a reproduced tone sequence is, for example a melody played by a person with their voice to understand.

Es ist bereits bekannt, aus einer Audio-Datei, wie beispielsweise WAV und MIDI, den zeitlichen Frequenzverlauf zu extrahieren. Auch sind bereits Verfahren erprobt worden, welche eine Tonfolge ermitteln und ggf. in eine Notenschreibweise umwandeln.It is already known from an audio file like for example WAV and MIDI, the temporal frequency curve to extract. Procedures have also been tried which determine a tone sequence and, if necessary, in a Convert musical notation.

Die Extraktion des Titels eines Musikstücks aus einer wiedergegebenen Tonfolge in ein zugehöriges Musikstück in automatischer Weise ist jedoch bisher nicht möglich. Vielmehr ist man in erster Linie auf das eigene Gedächtnis angewiesen, um aufgrund einer wiedergegebenen Tonfolge herauszufinden, zu welchem Musikstück es gehört.The extraction of the title of a piece of music from a reproduced tone sequence in an associated piece of music in However, it has not been possible to do this automatically. Much more you are primarily dependent on your own memory, to find out based on a sound sequence being played back to what piece of music it belongs to.

Ausgehend hiervon liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zum Auffinden einer Tonfolge bereit zu stellen, das automatisch aufgrund einer wiedergegebenen Tonfolge eine gesuchte Referenz-Tonfolge liefern kann.Proceeding from this, the invention is based on the object to provide a method for finding a tone sequence, automatically based on a played sequence of tones can provide the desired reference tone sequence.

Diese Aufgabe wird gelöst durch ein Verfahren zum Auffinden einer Tonfolge, wie einem Musikstück oder einer Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge, mit den aufeinander folgenden Schritten:

  • a) Aufnehmen der wiedergegebenen Tonfolge,
  • b) Ermitteln eines zeitlichen Frequenzverlaufs der in Schritt a) aufgenommenen Tonfolge,
  • c) Ermitteln der Tonhöhen und/oder Tonlängen aus dem zeitlichen Frequenzverlauf,
  • d) Aufteilen der in Schritt c) gewonnenen Tonfolge in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen,
  • e) Vergleichen der in Schritt d) gewonnenen Tonsequenzen mit Referenz-Tonsequenzen, die auf einer Zerlegung der Referenz-Tonfolgen nach den Kriterien aus Schritt d) beruhen, und Erfassen von Übereinstimmungen und
  • f) Ausgeben wenigstens der Referenz-Tonfolge mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen.
    • This object is achieved by a method for finding a tone sequence, such as a piece of music or a ring tone sequence, in a tone sequence reference database, which contains reference tone sequences, on the basis of a reproduced tone sequence, with the following steps:
  • a) recording the reproduced tone sequence,
  • b) determining a temporal frequency profile of the tone sequence recorded in step a),
  • c) determining the pitches and / or pitch lengths from the temporal frequency curve,
  • d) splitting the tone sequence obtained in step c) into several tone sequences connected according to predetermined criteria,
  • e) comparing the tone sequences obtained in step d) with reference tone sequences which are based on a decomposition of the reference tone sequences according to the criteria from step d), and detecting matches and
  • f) outputting at least the reference tone sequence with the most matches between tone sequences and reference tone sequences.

    • Unter einer wiedergegebenen Tonfolge wird allgemein sowohl eine vollständige Tonfolge, die einem Musikstück oder Klingelton insgesamt entsprechen kann, insbesondere aber auch eine Tonfolge beliebiger Länge innerhalb eines Musikstücks oder eines Klingeltons verstanden. Dabei dürfte der letztgenannte Fall in der Praxis der Hauptanwendungsfall sein, wenn beispielsweise eine Person einen besonders charakteristischen Teil einer Musikstück-Tonfolge summt oder pfeift, zu dem sie das Gesamt-Musikstück sucht.Under a reproduced tone sequence is generally both a complete sequence of tones that corresponds to a piece of music or Ringtone can correspond overall, but especially a tone sequence of any length within a piece of music or a ring tone understood. The the latter case in practice the main use case be, for example, if a person has a special characteristic part of a musical piece-tone sequence hums or whistles to which she is looking for the entire piece of music.

    Auf Seiten der Tonfolgen-Referenzdatenbank liegen Musikstücke als Tonfolgen in Form von aufeinanderfolgenden Daten zu Tonhöhen und/oder Tonlängen vor. Zu diesem Zweck können gängige Audio-Dateien hinsichtlich ihres zeitlichen Frequenzverlaufs software-unterstützt analysiert werden. Hinsichtlich der aufgenommen, wiedergegebenen Tonfolge sind in der Literatur zum Stand der Technik zum Ermitteln eines zeitlichen Frequenzverlaufs beispielsweise einer gesummten Tonfolge Verfahren wie CEPSTRUM bzw. Autokorrelationsverfahren bekannt. There are pieces of music on the tone sequence reference database as tone sequences in the form of successive data Pitches and / or pitches. For this purpose you can common audio files with regard to their temporal Frequency curve can be analyzed with software support. Regarding the recorded, reproduced tone sequence in the prior art literature for determining a temporal frequency response, for example, a summed Tone sequence procedures like CEPSTRUM or Autocorrelation method known.

    Aus den jeweils gewonnenen zeitlichen Frequenzverläufen werden sowohl für die aufgenommenen Tonfolgen als auch für die Referenz-Tonfolgen auf entsprechende Tonhöhen- und/oder Tonlängen-Folgen geschlossen.From the frequency curves obtained in each case are used both for the recorded sound sequences and for the reference tone sequences to corresponding pitch and / or Tone length sequences closed.

    Von wesentlicher Bedeutung ist es, die im Schritt c) gewonnene Folge von Tonhöhen und/oder Tonlängen in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen aufzuteilen. Gleiches geschieht auch mit den Referenz-Tonfolgen, so dass in Schritt e) ein Vergleich vorgenommen werden kann.It is essential that in step c) won sequence of pitches and / or pitches in several, sound sequences connected under predetermined criteria divide. The same happens with the reference tone sequences, so that a comparison was made in step e) can be.

    In einem abschließenden Verfahrensschritt wird wenigstens die Referenz-Tonfolge mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen ausgegeben. Selbstverständlich kann auch eine Liste derjenigen Referenz-Tonsequenzen ausgegeben werden, welche die größten Übereinstimmungen zu den Tonsequenzen, die auf der aufgenommen Tonfolge beruhen, aufweisen.In a final process step, at least the Reference tone sequence with the most matches between Sound sequences and reference sound sequences output. Of course, a list of those reference sound sequences can also be used which are the largest Matches to the sound sequences on the recorded sequence of tones.

    Obwohl es grundsätzlich möglich ist, entweder nur die Tonhöhen oder ausschließlich die Tonlängen in Schritt c) zu ermitteln und als Grundlage für einen späteren Vergleich in Schritt e) heranzuziehen, wird es als bevorzugt angesehen, sowohl die Tonhöhen als auch die Tonlängen in die Vergleichsprozedur einfließen zu lassen.Although it is basically possible, either only that Pitches or only the pitches in step c) determine and as a basis for a later comparison in To use step e), it is considered preferred both the pitches and the pitches in the Let the comparison procedure flow.

    Als in Schritt d) zu beachtende Kriterien können ein Auftreten von Pausen in der wiedergegebenen Tonfolge oder auch die Berücksichtigung von Periodizitäten, wie Takten, in der wiedergegebenen Tonfolge benutzt werden. Eine Pause in einer wiedergegebenen Tonfolge bildet somit beispielsweise eine Grenze zwischen zwei Tonsequenzen. Sofern es nicht eindeutig ist, ob eine Sequenztrennung vorzunehmen ist oder nicht, werden bevorzugt sowohl die einzelnen Tonsequenzen als auch eine zusammengesetzte Tonsequenz in dem Vergleichsschritt e) verwendet. The criteria to be observed in step d) can be a Occurrence of pauses in the played sequence or also the consideration of periodicities, such as bars, in the reproduced tone sequence can be used. A break in thus forms a reproduced tone sequence, for example a boundary between two sound sequences. Unless it is it is clear whether a sequence separation is to be carried out or not, both the individual sound sequences are preferred as also a composite sound sequence in the Comparison step e) used.

    In den Vergleichsschritt e) kann auch eine Ähnlichkeitsliste einbezogen werden, die Zuordnungen zwischen einander ähnlichen Referenz-Tonsequenzen enthält. Als einander ähnlich können beispielsweise zwei Tonsequenzen angesehen werden, die sich bei einer Folge von Tönen lediglich in einem Ton, der durch seine Tonhöhe und seine Tonlänge gekennzeichnet ist, unterscheiden.A similarity list can also be used in comparison step e) include the associations between each other contains similar reference sound sequences. As similar to each other For example, two sound sequences can be viewed, the in a sequence of tones only in one tone, the is characterized by its pitch and length, differ.

    Das vorbeschriebene Verfahren zeichnet sich insbesondere durch eine günstige Geschwindigkeit zum Auffinden von gewünschten Tonfolgen aus, da es grundsätzlich auf einem Vergleich von Tonsequenzen basiert. Es kann sowohl im unmittelbaren Auffinden gewünschter Tonfolgen als auch als Vorauswahlverfahren verwendet werden. Im Falle seiner Benutzung als Vorauswahlverfahren kann es um nachfolgend beschriebene Verfahrensschritte ergänzt sein.The method described above is particularly noteworthy through a convenient speed to locate desired tone sequences, since it is basically on a Comparison of sound sequences based. It can be used both in immediate finding of desired tone sequences as well as Pre-selection procedures can be used. In the case of his Use as a pre-selection procedure can be as follows described process steps must be supplemented.

    Dazu wird bevorzugt in einem Schritt g) der zeitliche Frequenzverlauf aus Schritt b) mit zeitlichen Referenz-Frequenzverläufen aus einer Referenz-Frequenzverlaufs Datenbank verglichen. Diese Datenbank kann mit der oben erwähnten Tonfolgen-Referenzdatenbank verknüpft sein.For this purpose, the time is preferred in step g) Frequency curve from step b) with temporal reference frequency curves from a reference frequency response Database compared. This database can be used with the above mentioned tone sequence reference database.

    In dem Schritt g) kann der zeitliche Frequenzverlauf aus Schritt b) für den Vergleich hinsichtlich der absoluten Frequenzwerte und/oder seiner Zeitachse systematisch modifiziert sein. Wenn beispielsweise die wiedergegebene Tonfolge in einer unzutreffenden Oktave vorliegt, kann die gesamte Tonfolge um einen konstanten Faktor hinsichtlich ihrer Frequenzwerte auf einer Frequenzskala verschoben werden. Wenn die wiedergegebene Tonfolge in unzutreffender Geschwindigkeit vorliegt, kann der gesamte Frequenzverlauf zeitlich gestreckt oder verkürzt werden, d. h. jeder Frequenzwert wird von einem Zeitpunkt t auf einen Zeitpunkt k x t verschoben. In step g), the frequency course over time can be determined Step b) for comparison in terms of absolute Frequency values and / or its timeline systematically be modified. For example, if the one being played If the tone sequence is in an incorrect octave, the entire tone sequence in terms of a constant factor their frequency values shifted on a frequency scale become. If the sound sequence played is incorrect Speed, the entire frequency response can stretched or shortened in time, d. H. everyone Frequency value is changed from a time t to a time k x t shifted.

    Die Frequenzverläufe aufgrund der wiedergegebenen Tonfolgen können in Frequenzverlaufssequenzen unterteilt sein, wobei die Kriterien den oben beschriebenen Kriterien zum Aufteilen einer Tonfolge in Tonsequenzen entsprechen können. Dann können die einzelnen Frequenzverlaufssequenzen nacheinander mit den Referenz-Frequenzverläufen verglichen werden.The frequency curves based on the reproduced tone sequences can be divided into frequency response sequences, where the criteria to split the criteria described above can correspond to a tone sequence in tone sequences. Then can the individual frequency response sequences one after the other can be compared with the reference frequency profiles.

    Sofern eine zeitliche Auflösung der zeitlichen Frequenzverläufe nicht ausreichend ist, um mit hinreichender Wahrscheinlichkeit eine gewünschte Tonfolge zu ermitteln, kann sie erhöht werden. Im umgekehrten Fall, d. h. wenn sich empirisch herausstellt, dass eine geringere zeitliche Auflösung ausreichend ist, kann sie auch vermindert werden.If a temporal resolution of the temporal Frequency characteristics is not sufficient to with adequate Probability to determine a desired tone sequence, it can be increased. In the opposite case, d. H. If empirically shows that a lower temporal Resolution is sufficient, it can also be reduced.

    Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnungen noch näher erläutert. Es zeigen:

    Figur 1:
    einen Aufbau einer Tonfolgen-Referenzdatenbank,
    Figur 2:
    zeitliche Frequenzverläufe einer wiedergegebenen Tonfolge im Original und modifiziert und
    Figur 3:
    zeitliche Frequenzverläufe einer wiedergegebenen Tonfolge und einer Referenz-Tonfolge.
    An embodiment of the invention is explained in more detail below with reference to the drawings. Show it:
    Figure 1:
    a structure of a tone sequence reference database,
    Figure 2:
    temporal frequency profiles of a reproduced tone sequence in the original and modified and
    Figure 3:
    temporal frequency profiles of a reproduced tone sequence and a reference tone sequence.

    Bei einem Verfahren zum Auffinden einer Tonfolge in einer Tonfolgen-Referenzdatenbank wird in einem ersten Schritt eine wiedergegebene Tonfolge aufgenommen, d. h. eine gewünschte Tonfolge wird von einer Schallquelle wiedergegeben, bei der es sich um eine menschliche Stimme, aber auch um akustische Wiedergabegeräte jeder Art handeln kann.In a method for finding a tone sequence in a In a first step, the tone sequence reference database becomes a reproduced tone sequence recorded, d. H. a desired one Tone sequence is reproduced by a sound source at which it is a human voice, but also an acoustic one Playback devices of any kind can act.

    In einem nächsten Schritt wird aus der aufgenommenen, wiedergegebenen Tonfolge ein zeitlicher Frequenzverlauf der Tonfolge ermittelt. Ein solcher zeitlicher Frequenzverlauf wird in der Fachliteratur auch als "Pitch-Struktur" bezeichnet. In a next step, the recorded reproduced tone sequence a temporal frequency course of the Tone sequence determined. Such a frequency curve over time is also referred to in the specialist literature as a "pitch structure" designated.

    Es gehört zum Stand der Technik, analog aufgenommene Tonfolgen in Audio-Dateien, wie eine WAV- oder MIDI-Datei, umzuwandeln. Außerdem sind Verfahren bekannt, aus solchen Dateien die der Tonfolge zugehörigen zeitlichen Frequenzverläufe zu ermitteln. Bei der Ermittlung des zeitlichen Frequenzverlaufs können zunächst beispielsweise mit einer Periode von 0,5 Sekunden Abtastwerte für eine jeweils aktuelle Frequenz erfasst werden. Zum Erfassen des zeitlichen Frequenzverlaufs sind in der Fachliteratur verschiedene Verfahren beschrieben, von denen das CEPSTRUM-Verfahren und auf Autokorrelation beruhende Verfahren besonders hervorzuheben sind.It is part of the state of the art, analog recorded Tone sequences in audio files, such as a WAV or MIDI file, convert. Methods are also known from such Files the time associated with the tone sequence To determine frequency profiles. When determining the temporal frequency response can initially, for example with a period of 0.5 seconds samples for one current frequency are recorded. To capture the temporal frequency response are in the specialist literature various procedures are described, of which the CEPSTRUM procedure and methods based on autocorrelation are particularly noteworthy.

    In einem nächsten Schritt werden für die wiedergegebene Tonfolge aus ihrem zugehörigen zeitlichen Frequenzverlauf die aufeinanderfolgenden Tonhöhen und Tonlängen ermittelt, wobei eine Tonhöhe zusammen mit einer zugehörigen Tonlänge einen Ton im Sinne dieser Beschreibung definieren. Hierbei ist darauf hinzuweisen, dass für den späteren Vergleich mit Referenz-Tonfolgen bzw. -Tonsequenzen es auch ausreichend sein kann, entweder nur die Tonhöhen oder nur die Tonlängen heranzuziehen.The next step will be for the reproduced Tone sequence from their associated temporal frequency profile successive pitches and pitches are determined, whereby a pitch along with an associated pitch one Define tone in the sense of this description. Here is point out that for later comparison with Reference tone sequences or tone sequences are also sufficient can be either just the pitches or just the pitches consulted.

    Nach der Ermittlung der Tonhöhen und Tonlängen bei dem hier erläuterten, bevorzugten Ausführungsbeispiel, wird die im vorhergehenden Verfahrensschritt gewonnene Folge von Tönen unter vorbestimmten Kriterien in zusammenhängende Tonsequenzen unterteilt. Solche zusammenhängenden Tonsequenzen können auch als "akustische Motive" bezeichnet werden. Ein Aufteilungskriterium zum Gewinnen von Tonsequenzen aus Tonfolgen kann das Auftreten von Pausen sein. Lassen sich Pausen zwischen zwei möglichen Tonsequenzen nicht zuverlässig bestimmen, so wird sowohl die ungeteilte Tonsequenz als auch die beiden geteilten Tonsequenzen ermittelt. Für jede gewonnene Tonsequenz werden sowohl die Tonhöhen als auch die Tonlängen normiert und gespeichert. After determining the pitches and pitches of this one explained, preferred embodiment, the in previous process step obtained sequence of tones under predetermined criteria in contiguous Sound sequences divided. Such coherent Sound sequences can also be referred to as "acoustic motifs" become. A split criterion for winning Tone sequences from tone sequences can cause pauses to occur his. Let pauses between two possible sound sequences not reliably determine, so both the undivided Sound sequence as well as the two divided sound sequences determined. For each sound sequence won, both the Pitch and pitch lengths standardized and saved.

    Bevor nun Vergleiche mit Referenz-Tonfolgen bzw. -Sequenzen vorgenommen werden können, sollten auf Seiten einer Tonfolgen-Referenzdatenbank folgende Merkmale erfüllt sein:Before comparing with reference tone sequences or sequences should be made on the part of a Tone sequence reference database the following features must be fulfilled:

    Der Aufbau der Tonfolgen-Referenzdatenbank wird anhand von Figur 1 erläutert. In einem Referenz-Tonfolgen-Bereich 1 der Tonfolgen-Referenzdatenbank sind vollständige Musikstücke oder Klingeltonfolgen als Referenz-Tonfolgen R1, R2, R3 jeweils einzeln abgelegt. Sie liegen in Form von Tonhöhenfolgen, Tonlängenfolgen oder bevorzugt in Form von aufeinanderfolgenden Tönen, die durch eine Tonhöhe und eine Tonlänge gekennzeichnet sind, vor. In der Figur 1 sind der Einfachheit halber nur Tonhöhen innerhalb einer Oktave, jedoch keine Tonlängen dargestellt.The structure of the tone sequence reference database is based on Figure 1 explains. In a reference tone sequence area 1 the Tone sequence reference database are complete pieces of music or ringtone sequences as reference tone sequences R1, R2, R3 stored individually. They are in the form of Pitch sequences, pitch sequences or preferably in the form of successive tones represented by a pitch and a Tone length are marked in front. In Figure 1 are the For the sake of simplicity, only pitches within one octave, however no sound lengths are shown.

    Des weiteren enthält die Tonfolgen-Referenzdatenbank einen Lexikonbereich 2, in dem Tonsequenzen #1, #2, #3 enthalten sind, die sich aus einer Aufteilung der Referenz-Tonfolgen R1, R2, R3 unter vorbestimmten Kriterien ergeben. Bei diesen Kriterien handelt es sich bevorzugt um dieselben, die auch zur Aufteilung der wiedergegebenen Tonfolgen verwendet werden.The tone sequence reference database also contains one Lexicon area 2, in which sound sequences contain # 1, # 2, # 3 are, which result from a division of the reference tone sequences R1, R2, R3 result under predetermined criteria. With these Criteria are preferably the same as those used to divide the sound sequences played become.

    In dem Lexikonbereich sind somit sämtliche Tonsequenzen aus sämtlichen Gesamttonfolgen abgelegt. Sofern es unklar ist, ob eine ermittelte Tonsequenz noch weiter unterteilbar ist, liegt diese Tonsequenz sowohl unterteilt als auch vollständig in dem Lexikonbereich vor.In the lexicon area, all sound sequences are therefore off all the overall sound sequences filed. If it is unclear whether a determined sound sequence can be further subdivided, this sound sequence is both subdivided and complete in the lexicon area.

    Außerdem enthält die Tonfolgen-Referenzdatenbank einen Ähnlichkeitslisten-Bereich 3, der Zuordnungen zwischen Tonsequenzen #1, #2, #3 aus dem Lexikon-Bereich 2 im Hinblick auf Ähnlichkeit enthält. Im in Figur 1 dargestellten Ausführungsbeispiel unterscheiden sich die Lexikoneinträge #2 und #3 lediglich in einem Ton, so dass in dem Ähnlichkeitslisten-Bereich für die Tonsequenz #2 auf die Tonsequenz #3 verwiesen wird und umgekehrt. The tone sequence reference database also contains one Similarity list area 3, the mappings between Sound sequences # 1, # 2, # 3 from lexicon area 2 with regard to contains similarity. In the illustrated in Figure 1 In the exemplary embodiment, the lexicon entries # 2 differ and # 3 just in one tone, so in that Similarity list area for tone sequence # 2 on the Sound sequence # 3 is referenced and vice versa.

    Weiterhin enthält die Tonfolgen-Referenzdatenbank auch einen Trefferlisten-Bereich 4, mit der Verweise zwischen den Tonsequenzen #1, #2, #3 aus dem Lexikon-Bereich 2 und den Referenz-Tonfolgen R1, R2, R3 enthält, wobei die Informationen aus dem Ähnlichkeitslisten-Bereich 3 einbezogen sind. Es ergibt sich von selbst, dass die Einbeziehung der Ähnlichkeitsliste lediglich bevorzugtes Merkmal ist, jedoch nicht zwingend vorliegt.The tone sequence reference database also contains one Hit list area 4, with the references between the Sound sequences # 1, # 2, # 3 from the lexicon area 2 and the Reference tone sequences R1, R2, R3 contains, the Includes information from the similarity list area 3 are. It goes without saying that the inclusion of the Similarity list is just a preferred feature, however not mandatory.

    Aufgrund des vorstehend dargelegten Aufbaus der Tonfolgen-Referenzdatenbank und der Zerlegung der wiedergegebenen Tonfolge in Tonsequenzen kann nunmehr ein Vergleich der Tonsequenzen, die einer wiedergegebenen Tonfolge zugeordnet sind, mit Tonsequenzen in dem Lexikon-Bereich vorgenommen werden.Due to the structure of the tone sequence reference database set out above and the decomposition of the reproduced Tone sequence in tone sequences can now be compared Sound sequences assigned to a played sound sequence are made with sound sequences in the lexicon area become.

    Nacheinander wird für jede wiedergegebene Tonsequenz festgestellt, ob sie in dem Lexikon-Bereich 2 ihre Entsprechung findet. Liegt keine Entsprechung vor, wird, ggf. mehrmals, auf die Ähnlichkeitsliste Bezug genommen.One after the other is played for each sound sequence determined whether they are in the lexicon area 2 Finds correspondence. If there is no correspondence, several times, referred to the similarity list.

    Anhand der Trefferliste wird ermittelt, für welche Referenz-Tonfolge die meisten Übereinstimmungen zwischen wiedergegebenen Tonsequenzen und Tonsequenzen #1, #2, #3 aus dem Lexikon gefunden werden. Die sich daraus ergebende Referenz-Tonfolge ist mit höchster Wahrscheinlichkeit die gesuchte Tonfolge. Insgesamt kann sich eine Hitliste von Referenz-Tonfolgen ergeben. Die Einträge dieser Hitliste können beispielsweise der Person, die eine gesuchte Tonfolge wiedergegeben hat, vorgespielt werden, so dass die letzte Festlegung der gewünschten Referenz-Tonfolge durch diese Person erfolgen kann.The hit list is used to determine for which reference tone sequence most matches between reproduced sound sequences and sound sequences # 1, # 2, # 3 the lexicon can be found. The resulting one Reference tone sequence is most likely the wanted sequence of tones. Overall, a hit list of Reference tone sequences result. The entries in this hit list For example, the person who is looking for a tone sequence has been played, so the last one Definition of the desired reference tone sequence by this Person can be done.

    Das vorstehend erläuterte Verfahren eignet sich insbesondere bei großen Musikdatenbanken und kann sowohl zum tatsächlichen Auffinden einer bestimmten Referenz-Tonfolge als auch als The method explained above is particularly suitable with large music databases and can be used both for the actual Finding a specific reference tone sequence as well

    Vorstufe zu einem detaillierteren Verfahren eingesetzt werden. Beispielsweise kann die sich ergebende Hitliste in einem nachgeschalteten Verfahren weiter analysiert werden. Ein solches, nachgeschaltetes Verfahren wird nunmehr anhand der Figuren 2 und 3 erläutert.Prepress used for a more detailed procedure become. For example, the resulting hit list in can be further analyzed in a downstream process. Such a subsequent process is now based on of Figures 2 and 3 explained.

    Zur Durchführung des Verfahrens werden die zeitlichen Frequenzverläufe der oben erläuterten Referenz-Tonfolgen herangezogen. Diese Frequenzverläufe können in einem weiteren Bereich der Tonfolgen-Referenzdatenbank gespeichert sein. In ähnlicher Weise, wie oben erläutert, werden von einer wiedergegebenen, beispielsweise gesummten oder gepfiffenen Tonfolge, zeitliche Frequenzverläufe ermittelt, wobei zu berücksichtigen ist, dass in den meisten Fällen lediglich ein Abschnitt einer Gesamttonfolge wiedergegeben wird.To carry out the procedure, the time Frequency curves of the reference tone sequences explained above used. These frequency profiles can be in a further Area of the tone sequence reference database. In similarly, as explained above, by a reproduced, for example humming or whistled Tone sequence, temporal frequency profiles determined, whereby to take into account that in most cases only one Section of a total tone sequence is reproduced.

    Es erfolgt ein Vergleich eines zeitlichen Frequenzverlaufs, der einer wiedergegebenen Tonfolge zugeordnet ist, mit einem Teil oder bevorzugt einem gesamten zeitlichen Frequenzverlauf zu einer Referenz-Tonfolge.A frequency frequency curve is compared, which is assigned to a reproduced tone sequence, with a Part or preferably an entire temporal frequency profile to a reference tone sequence.

    In vielen Fällen wird die Geschwindigkeit der wiedergegebenen Tonfolge oder die Höhe der Töne nicht mit derjenigen der passenden Referenz-Tonfolge übereinstimmen. Insofern kann ein zeitlicher Frequenzverlauf, der einer wiedergegebenen Tonfolge zugeordnet ist, systematisch modifiziert werden, was anhand der Figur 2 veranschaulicht ist. Die Kurve K1 stellt den ursprünglich ermittelten zeitlichen Frequenzverlauf dar, während bei den Kurven K2 und K3 jeweils der Frequenzwert erhöht, bzw. erniedrigt ist. Bei der Kurve K4 wurde der Intensitätsverlauf hinsichtlich seiner Zeitachse mittels eines konstanten Multiplikationsfaktors geändert.In many cases the speed is reproduced Tone sequence or the height of the tones does not match that of the matching reference tone sequence. In this respect, a temporal frequency response, that of a reproduced Tone sequence is assigned, systematically modified what is illustrated with reference to Figure 2. The curve K1 represents represents the originally determined temporal frequency curve, while for curves K2 and K3 the frequency value is increased or decreased. At curve K4 the Intensity course with regard to its time axis by means of a constant multiplication factor changed.

    Die Figur 3 zeigt nunmehr einen zeitlichen Frequenzverlauf einer Referenz-Tonfolge (Kurve K5) und einen wiedergegebenen zeitlichen Frequenzverlauf (Kurve K6), der bereits, wie anhand von Figur 2 erläutert, modifiziert ist. FIG. 3 now shows a frequency course over time a reference tone sequence (curve K5) and a reproduced one temporal frequency response (curve K6) that already, like explained with reference to Figure 2 is modified.

    Im Einzelnen kann die Tonhöhe [Hz] bzw. die Abspielgeschwindigkeit jeweils mit 2x multipliziert sein, wobei X eine positive reelle Zahl ist.In particular, the pitch [Hz] or the playback speed can each be multiplied by 2 x , where X is a positive real number.

    Außerdem kann der Startpunkt der wiedergegebenen Tonfolge in bezug auf die Referenz-Tonfolge innerhalb der Referenz-Tonfolge variiert werden.In addition, the starting point of the tone sequence played can be in with respect to the reference tone sequence within the reference tone sequence can be varied.

    Etwaige Übereinstimmungen werden z. B. mit Hilfe eines Fehler-Algorithmus ermittelt, wobei insbesondere der Kleinste-Quadrate-Fehler bestimmt wird. Für jede Referenz-Tonfolge wird ein jeweiliger Grad an Übereinstimmung mit der wiedergegebenen Tonfolge erfasst und gespeichert. Ergeben sich aufgrund dieses Verfahrens zu viele im wesentlichen gleichwertige Treffer, kann die Auflösung des zeitlichen Verlaufs vergrößert werden. Der Person, welche die wiedergegebene Tonfolge als Referenz-Tonfolge sucht, kann in aufsteigender Reihenfolge des Abstandes des Fehlerkriteriums jeweils eine betreffende Referenz-Tonfolge vorgeschlagen oder auch vorgespielt werden.Any matches are z. B. with the help of a Error algorithm determined, in particular the Least squares error is determined. For each reference tone sequence a respective degree of agreement with the reproduced tone sequence recorded and saved. yield too many essentially due to this procedure equivalent hits, the resolution of the temporal Be enlarged over time. The person who the reproduced tone sequence as a reference tone sequence can be in ascending order of the distance of the error criterion each suggested a reference tone sequence or also be played.

    In ähnlicher Weise, wie in Figur 3 dargestellt ist, kann anstelle des zeitlichen Frequenzverlaufs, der einer gesamten, wiedergegebenen Tonfolge zugeordnet ist, auch eine Frequenzverlaufssequenz aus dem zeitlichen Frequenzverlauf für den abschnittsweisen Vergleich mit Referenz-Frequenzverläufen herangezogen werden. Für eine solche Aufteilung können dieselben Kriterien verwendet werden, wie sie oben anhand der Aufteilung wiedergegebener Tonfolgen in Tonfolgensequenzen erläutert sind. Die Aufteilung der zeitlichen Frequenzverläufe, die einer gesamten wiedergegebenen Tonfolge zugeordnet sind, in Frequenzverlaufssequenzen hat den Vorteil, dass der durchzuführende Vergleich, der dann nacheinander für bevorzugt sämtliche Frequenzverlaufssequenzen vorgenommen wird, gegenüber unzutreffenden Geschwindigkeiten bei der Wiedergabe der wiedergegebenen Tonfolge unempfindlicher ist.In a similar manner, as shown in Figure 3, can instead of the temporal frequency response that an entire, reproduced tone sequence is assigned, also a Frequency response sequence from the temporal frequency response for the section-by-section comparison with reference frequency profiles be used. For one Split can use the same criteria as them above based on the division of sound sequences into Tone sequence sequences are explained. The division of the temporal frequency profiles that an entire reproduced tone sequence are assigned in Frequency response sequences has the advantage that the comparison to be carried out, which in turn for preferably carried out all frequency response sequences against incorrect speeds at the Playback of the played tone sequence is less sensitive.

    Claims (8)

    Verfahren zum Auffinden einer Tonfolge, wie einem Musikstück oder einer Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge, mit den aufeinander folgenden Schritten: a) Aufnehmen der wiedergegebenen Tonfolge, b) Ermitteln eines zeitlichen Frequenzverlaufs der in Schritt a) aufgenommenen Tonfolge, c) Ermitteln der Tonhöhen und/oder Tonlängen aus dem zeitlichen Frequenzverlauf, d) Aufteilen der in Schritt c) gewonnenen Tonfolge in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen, e) Vergleichen der in Schritt d) gewonnenen Tonsequenzen mit Referenz-Tonsequenzen (#1, #2, #3), die auf einer Zerlegung der Referenz-Tonfolgen (R1, R2,R3) nach den Kriterien aus Schritt d) beruhen, und Erfassen von Übereinstimmungen und f) Ausgeben wenigstens der Referenz-Tonfolge (R1, R2, R3) mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen (#1, #2, #3). Method for finding a tone sequence, such as a piece of music or a ring tone sequence, in a tone sequence reference database which contains reference tone sequences, on the basis of a reproduced tone sequence, with the following steps: a) recording the reproduced tone sequence, b) determining a temporal frequency profile of the tone sequence recorded in step a), c) determining the pitches and / or pitch lengths from the temporal frequency curve, d) splitting the tone sequence obtained in step c) into several tone sequences connected according to predetermined criteria, e) comparing the tone sequences obtained in step d) with reference tone sequences (# 1, # 2, # 3) which are based on a decomposition of the reference tone sequences (R1, R2, R3) according to the criteria from step d), and Capture matches and f) Outputting at least the reference tone sequence (R1, R2, R3) with the most matches between tone sequences and reference tone sequences (# 1, # 2, # 3). Verfahren nach Anspruch 1,
    bei dem in Schritt e) die Kriterien ein Auftreten von Pausen in der wiedergegebenen Tonfolge umfassen.    Method according to claim 1,
    in which the criteria in step e) include an appearance of pauses in the reproduced tone sequence.         Verfahren nach einem der Ansprüche 1 oder 2,
    bei dem in Schritt e) die Kriterien Periodizitäten wie Takte in der wiedergegeben Tonfolge umfassen.     Method according to one of claims 1 or 2,
    in which in step e) the criteria include periodicities such as bars in the reproduced tone sequence.         Verfahren nach einem der Ansprüche 1 bis 3,
    bei dem in Schritt e) in das Vergleichen eine Ähnlichkeits-Liste einbezogen wird, die Zuordnungen zwischen einander ähnlichen Referenz-Tonsequenzen (#1, #2, #3) enthält.    Method according to one of claims 1 to 3,
    in which a similarity list is included in the comparison in step e), which contains assignments between mutually similar reference sound sequences (# 1, # 2, # 3).         Verfahren nach einem der Ansprüche 1 bis 4,
    bei dem in einem Schritt g) der zeitliche Frequenzverlauf aus Schritt b) mit zeitlichen Referenz-Frequenzverläufen aus einer Referenz-Frequenzverlaufs-Datenbank verglichen wird.    Method according to one of claims 1 to 4,
    in which in a step g) the temporal frequency curve from step b) is compared with temporal reference frequency curves from a reference frequency curve database.         Verfahren nach Anspruch 5,
    bei dem in Schritt g) der zeitliche Frequenzverlauf aus Schritt b) für den Vergleich hinsichtlich der absoluten Frequenzwerte und/oder seiner Zeitachse systematisch modifiziert wird.    Method according to claim 5,
    in which in step g) the temporal frequency curve from step b) is systematically modified for comparison with regard to the absolute frequency values and / or its time axis.         Verfahren nach einem der Ansprüche 5 oder 6,
    bei dem die Frequenzverläufe in Frequenzverlaufssequenzen unterteilt sind.    Method according to one of claims 5 or 6,
    in which the frequency profiles are divided into frequency profile sequences.         Verfahren nach einem der Ansprüche 5 bis 7,
    bei dem, abhängig von dem Vergleichsergebnis in Schritt g), die zeitliche Auflösung für die Frequenzverläufe verändert wird.    Method according to one of claims 5 to 7,
    in which, depending on the comparison result in step g), the temporal resolution for the frequency profiles is changed.
    EP02015381A 2002-07-10 2002-07-10 Method for retrieving a tone sequence Expired - Lifetime EP1381024B1 (en)

    Priority Applications (3)

    Application Number Priority Date Filing Date Title
    EP02015381A EP1381024B1 (en) 2002-07-10 2002-07-10 Method for retrieving a tone sequence
    DE50214167T DE50214167D1 (en) 2002-07-10 2002-07-10 Method for finding a tone sequence
    AT02015381T ATE455347T1 (en) 2002-07-10 2002-07-10 METHOD FOR FINDING A SOUND SEQUENCE

    Applications Claiming Priority (1)

    Application Number Priority Date Filing Date Title
    EP02015381A EP1381024B1 (en) 2002-07-10 2002-07-10 Method for retrieving a tone sequence

    Publications (2)

    Publication Number Publication Date
    EP1381024A1 true EP1381024A1 (en) 2004-01-14
    EP1381024B1 EP1381024B1 (en) 2010-01-13

    Family

    ID=29724426

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP02015381A Expired - Lifetime EP1381024B1 (en) 2002-07-10 2002-07-10 Method for retrieving a tone sequence

    Country Status (3)

    Country Link
    EP (1) EP1381024B1 (en)
    AT (1) ATE455347T1 (en)
    DE (1) DE50214167D1 (en)

    Citations (5)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
    US5402339A (en) * 1992-09-29 1995-03-28 Fujitsu Limited Apparatus for making music database and retrieval apparatus for such database
    US5874686A (en) * 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
    EP0944033A1 (en) * 1998-03-19 1999-09-22 Tomonari Sonoda Melody retrieval system and method
    WO2001069575A1 (en) * 2000-03-13 2001-09-20 Perception Digital Technology (Bvi) Limited Melody retrieval system

    Patent Citations (5)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
    US5402339A (en) * 1992-09-29 1995-03-28 Fujitsu Limited Apparatus for making music database and retrieval apparatus for such database
    US5874686A (en) * 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
    EP0944033A1 (en) * 1998-03-19 1999-09-22 Tomonari Sonoda Melody retrieval system and method
    WO2001069575A1 (en) * 2000-03-13 2001-09-20 Perception Digital Technology (Bvi) Limited Melody retrieval system

    Also Published As

    Publication number Publication date
    DE50214167D1 (en) 2010-03-04
    EP1381024B1 (en) 2010-01-13
    ATE455347T1 (en) 2010-01-15

    Similar Documents

    Publication Publication Date Title
    DE10232916B4 (en) Apparatus and method for characterizing an information signal
    EP1371055B1 (en) Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function
    DE102008013172B4 (en) Method for sound-object-oriented analysis and notation-oriented processing of polyphonic sound recordings
    DE2918533C2 (en)
    EP0925461B1 (en) Process for the multilingual use of a hidden markov sound model in a speech recognition system
    DE60320414T2 (en) Apparatus and method for the automatic extraction of important events in audio signals
    DE2659096C2 (en)
    EP1388145B1 (en) Device and method for analysing an audio signal in view of obtaining rhythm information
    DE102007034774A1 (en) Apparatus for the determination of chord names and program for the determination of chord names
    EP1280138A1 (en) Method for audio signals analysis
    EP2180463A1 (en) Method to detect note patterns in pieces of music
    DE212016000292U1 (en) Text-to-speech performance evaluation system
    DE2519483A1 (en) Extra compact coded digital storage - is for short word list for synthesized speech read-out from a calculator
    DE10022586A1 (en) Generating speech database for target vocabulary involves concatenating training text segments with target vocabulary words according to phonetic description
    DE60318450T2 (en) Apparatus and method for segmentation of audio data in meta-patterns
    DE10311581A1 (en) Process and system for the automated creation of vocabulary
    EP1381024B1 (en) Method for retrieving a tone sequence
    EP1377924B1 (en) Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal
    EP1063633B1 (en) Method of training an automatic speech recognizer
    DE2357949A1 (en) PROCEDURE FOR DETERMINING THE INTERVAL CORRESPONDING TO THE PERIOD OF THE EXCITATION FREQUENCY OF THE VOICE RANGES
    DE4111781A1 (en) COMPUTER SYSTEM FOR VOICE RECOGNITION
    DE1547002A1 (en) Apparatus responsive to spoken information, particularly a phonetic typewriter
    DE3935308C1 (en) Speech recognition method by digitising microphone signal - using delta modulator to produce continuous of equal value bits for data reduction
    DE102016226042A1 (en) Device, means of transport and method for designing a transition between two audio files
    EP1170723A2 (en) Method for the computation of phoneme duration statistics and method for the determination of the duration of isolated phonemes for speech synthesis

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    AX Request for extension of the european patent

    Extension state: AL LT LV MK RO SI

    17P Request for examination filed

    Effective date: 20040216

    AKX Designation fees paid

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    RAP1 Party data changed (applicant data changed or rights of an application transferred)

    Owner name: BENQ MOBILE GMBH & CO. OHG

    GRAP Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOSNIGR1

    19U Interruption of proceedings before grant

    Effective date: 20070101

    19W Proceedings resumed before grant after interruption of proceedings

    Effective date: 20070702

    GRAS Grant fee paid

    Free format text: ORIGINAL CODE: EPIDOSNIGR3

    19W Proceedings resumed before grant after interruption of proceedings

    Effective date: 20090803

    RAP1 Party data changed (applicant data changed or rights of an application transferred)

    Owner name: PALM, INC.

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: FG4D

    Free format text: NOT ENGLISH

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: EP

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FG4D

    REF Corresponds to:

    Ref document number: 50214167

    Country of ref document: DE

    Date of ref document: 20100304

    Kind code of ref document: P

    REG Reference to a national code

    Ref country code: NL

    Ref legal event code: VDEP

    Effective date: 20100113

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: NL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: PT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100513

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100424

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FD4D

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: FI

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: SE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: EE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: CY

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: GR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100414

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: SK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: CZ

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: BG

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100413

    26N No opposition filed

    Effective date: 20101014

    BERE Be: lapsed

    Owner name: PALM, INC.

    Effective date: 20100731

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: MC

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: PL

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: ST

    Effective date: 20110331

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LI

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    Ref country code: CH

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: 732E

    Free format text: REGISTERED BETWEEN 20110407 AND 20110413

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: FR

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100802

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R081

    Ref document number: 50214167

    Country of ref document: DE

    Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

    Free format text: FORMER OWNER: PALM, INC., SUNNYVALE, CALIF., US

    Effective date: 20110406

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: BE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LU

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100710

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: TR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: AT

    Payment date: 20120620

    Year of fee payment: 11

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

    REG Reference to a national code

    Ref country code: AT

    Ref legal event code: MM01

    Ref document number: 455347

    Country of ref document: AT

    Kind code of ref document: T

    Effective date: 20130710

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS, DE

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R081

    Ref document number: 50214167

    Country of ref document: DE

    Owner name: QUALCOMM INCORPORATED, US

    Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT CO., L.P., HOUSTON, US

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R081

    Ref document number: 50214167

    Country of ref document: DE

    Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

    Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, TEX., US

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: SAMSON & PARTNER PATENTANWAELTE MBB, DE

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

    Effective date: 20140307

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: AT

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20130710

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: 732E

    Free format text: REGISTERED BETWEEN 20140508 AND 20140514

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS, DE

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: GB

    Payment date: 20170626

    Year of fee payment: 16

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20170726

    Year of fee payment: 16

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R119

    Ref document number: 50214167

    Country of ref document: DE

    GBPC Gb: european patent ceased through non-payment of renewal fee

    Effective date: 20180710

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20190201

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20180710