EP1381024A1 - Verfahren zum Auffinden einer Tonfolge - Google Patents

Verfahren zum Auffinden einer Tonfolge Download PDF

Info

Publication number
EP1381024A1
EP1381024A1 EP02015381A EP02015381A EP1381024A1 EP 1381024 A1 EP1381024 A1 EP 1381024A1 EP 02015381 A EP02015381 A EP 02015381A EP 02015381 A EP02015381 A EP 02015381A EP 1381024 A1 EP1381024 A1 EP 1381024A1
Authority
EP
European Patent Office
Prior art keywords
tone
sequences
sequence
tone sequence
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP02015381A
Other languages
English (en)
French (fr)
Other versions
EP1381024B1 (de
Inventor
Christoph Dr. Pörschmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palm Inc
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Priority to EP02015381A priority Critical patent/EP1381024B1/de
Priority to AT02015381T priority patent/ATE455347T1/de
Priority to DE50214167T priority patent/DE50214167D1/de
Publication of EP1381024A1 publication Critical patent/EP1381024A1/de
Application granted granted Critical
Publication of EP1381024B1 publication Critical patent/EP1381024B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments

Definitions

  • the invention relates to a method for finding a tone sequence, such as a piece of music or a ring tone sequence, in a tone sequence reference database, the reference tone sequences contains, due to a reproduced tone sequence.
  • Under a reproduced tone sequence is, for example a melody played by a person with their voice to understand.
  • the invention is based on the object to provide a method for finding a tone sequence, automatically based on a played sequence of tones can provide the desired reference tone sequence.
  • a reproduced tone sequence is generally both a complete sequence of tones that corresponds to a piece of music or Ringtone can correspond overall, but especially a tone sequence of any length within a piece of music or a ring tone understood.
  • the the latter case in practice the main use case be, for example, if a person has a special characteristic part of a musical piece-tone sequence hums or whistles to which she is looking for the entire piece of music.
  • tone sequence reference database There are pieces of music on the tone sequence reference database as tone sequences in the form of successive data Pitches and / or pitches. For this purpose you can common audio files with regard to their temporal Frequency curve can be analyzed with software support. Regarding the recorded, reproduced tone sequence in the prior art literature for determining a temporal frequency response, for example, a summed Tone sequence procedures like CEPSTRUM or Autocorrelation method known.
  • step c) won sequence of pitches and / or pitches in several, sound sequences connected under predetermined criteria divide. The same happens with the reference tone sequences, so that a comparison was made in step e) can be.
  • At least the Reference tone sequence with the most matches between Sound sequences and reference sound sequences output are the largest Matches to the sound sequences on the recorded sequence of tones.
  • step d) can be a Occurrence of pauses in the played sequence or also the consideration of periodicities, such as bars, in the reproduced tone sequence can be used.
  • a break in thus forms a reproduced tone sequence, for example a boundary between two sound sequences. Unless it is it is clear whether a sequence separation is to be carried out or not, both the individual sound sequences are preferred as also a composite sound sequence in the Comparison step e) used.
  • a similarity list can also be used in comparison step e) include the associations between each other contains similar reference sound sequences. As similar to each other For example, two sound sequences can be viewed, the in a sequence of tones only in one tone, the is characterized by its pitch and length, differ.
  • step g) Frequency curve from step b) with temporal reference frequency curves from a reference frequency response Database compared.
  • This database can be used with the above mentioned tone sequence reference database.
  • step g) the frequency course over time can be determined Step b) for comparison in terms of absolute Frequency values and / or its timeline systematically be modified. For example, if the one being played If the tone sequence is in an incorrect octave, the entire tone sequence in terms of a constant factor their frequency values shifted on a frequency scale become. If the sound sequence played is incorrect Speed, the entire frequency response can stretched or shortened in time, d. H. everyone Frequency value is changed from a time t to a time k x t shifted.
  • the frequency curves based on the reproduced tone sequences can be divided into frequency response sequences, where the criteria to split the criteria described above can correspond to a tone sequence in tone sequences. Then can the individual frequency response sequences one after the other can be compared with the reference frequency profiles.
  • a temporal resolution of the temporal Frequency characteristics is not sufficient to with adequate Probability to determine a desired tone sequence, it can be increased. In the opposite case, d. H. If empirically shows that a lower temporal Resolution is sufficient, it can also be reduced.
  • the tone sequence reference database becomes a reproduced tone sequence recorded, d. H. a desired one Tone sequence is reproduced by a sound source at which it is a human voice, but also an acoustic one Playback devices of any kind can act.
  • the recorded reproduced tone sequence a temporal frequency course of the Tone sequence determined.
  • a frequency curve over time is also referred to in the specialist literature as a "pitch structure" designated.
  • the in previous process step obtained sequence of tones under predetermined criteria in contiguous Sound sequences divided.
  • coherent Sound sequences can also be referred to as "acoustic motifs" become.
  • a split criterion for winning Tone sequences from tone sequences can cause pauses to occur his. Let pauses between two possible sound sequences not reliably determine, so both the undivided Sound sequence as well as the two divided sound sequences determined. For each sound sequence won, both the Pitch and pitch lengths standardized and saved.
  • tone sequence reference database Before comparing with reference tone sequences or sequences should be made on the part of a Tone sequence reference database the following features must be fulfilled:
  • tone sequence reference database is based on Figure 1 explains.
  • Tone sequence reference database are complete pieces of music or ringtone sequences as reference tone sequences R1, R2, R3 stored individually. They are in the form of Pitch sequences, pitch sequences or preferably in the form of successive tones represented by a pitch and a Tone length are marked in front.
  • Figure 1 are the For the sake of simplicity, only pitches within one octave, however no sound lengths are shown.
  • the tone sequence reference database also contains one Lexicon area 2, in which sound sequences contain # 1, # 2, # 3 are, which result from a division of the reference tone sequences R1, R2, R3 result under predetermined criteria. With these Criteria are preferably the same as those used to divide the sound sequences played become.
  • the tone sequence reference database also contains one Similarity list area 3, the mappings between Sound sequences # 1, # 2, # 3 from lexicon area 2 with regard to contains similarity.
  • the lexicon entries # 2 differ and # 3 just in one tone, so in that Similarity list area for tone sequence # 2 on the Sound sequence # 3 is referenced and vice versa.
  • the tone sequence reference database also contains one Hit list area 4, with the references between the Sound sequences # 1, # 2, # 3 from the lexicon area 2 and the Reference tone sequences R1, R2, R3 contains, the Includes information from the similarity list area 3 are. It goes without saying that the inclusion of the Similarity list is just a preferred feature, however not mandatory.
  • the hit list is used to determine for which reference tone sequence most matches between reproduced sound sequences and sound sequences # 1, # 2, # 3 the lexicon can be found.
  • the resulting one Reference tone sequence is most likely the wanted sequence of tones.
  • a hit list of Reference tone sequences result.
  • the entries in this hit list For example, the person who is looking for a tone sequence has been played, so the last one Definition of the desired reference tone sequence by this Person can be done.
  • a frequency frequency curve is compared, which is assigned to a reproduced tone sequence, with a Part or preferably an entire temporal frequency profile to a reference tone sequence.
  • FIG. 3 now shows a frequency course over time a reference tone sequence (curve K5) and a reproduced one temporal frequency response (curve K6) that already, like explained with reference to Figure 2 is modified.
  • the pitch [Hz] or the playback speed can each be multiplied by 2 x , where X is a positive real number.
  • the starting point of the tone sequence played can be in with respect to the reference tone sequence within the reference tone sequence can be varied.
  • any matches are z. B. with the help of a Error algorithm determined, in particular the Least squares error is determined.
  • a respective degree of agreement with the reproduced tone sequence recorded and saved. yield too many essentially due to this procedure equivalent hits, the resolution of the temporal Be enlarged over time.
  • the person who the reproduced tone sequence as a reference tone sequence can be in ascending order of the distance of the error criterion each suggested a reference tone sequence or also be played.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Channel Selection Circuits, Automatic Tuning Circuits (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Auffinden einer Tonfolge, wie einem Musikstück oder einer Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge, mit den aufeinander folgenden Schritten: a) Aufnehmen der wiedergegebenen Tonfolge, b) Ermitteln eines zeitlichen Frequenzverlaufs der in Schritt a) aufgenommenen Tonfolge, c) Ermitteln der Tonhöhen und/oder Tonlängen aus dem zeitlichen Frequenzverlauf, d) Aufteilen der in Schritt c) gewonnenen Tonfolge in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen, e) Vergleichen der in Schritt d) gewonnenen Tonsequenzen mit Referenz-Tonsequenzen (#1, #2, #3), die auf einer Zerlegung der Referenz-Tonfolgen (R1, R2,R3) nach den Kriterien aus Schritt d) beruhen, und Erfassen von Übereinstimmungen und f) Ausgeben wenigstens der Referenz-Tonfolge (R1, R2, R3) mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen (#1, #2, #3). <IMAGE>

Description

Die Erfindung bezieht sich auf ein Verfahren zum Auffinden einer Tonfolge, wie ein Musikstück oder eine Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge.
Unter einer wiedergegebenen Tonfolge ist dabei beispielsweise eine von einer Person mit ihrer Stimme wiedergegebene Melodie zu verstehen.
Es ist bereits bekannt, aus einer Audio-Datei, wie beispielsweise WAV und MIDI, den zeitlichen Frequenzverlauf zu extrahieren. Auch sind bereits Verfahren erprobt worden, welche eine Tonfolge ermitteln und ggf. in eine Notenschreibweise umwandeln.
Die Extraktion des Titels eines Musikstücks aus einer wiedergegebenen Tonfolge in ein zugehöriges Musikstück in automatischer Weise ist jedoch bisher nicht möglich. Vielmehr ist man in erster Linie auf das eigene Gedächtnis angewiesen, um aufgrund einer wiedergegebenen Tonfolge herauszufinden, zu welchem Musikstück es gehört.
Ausgehend hiervon liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zum Auffinden einer Tonfolge bereit zu stellen, das automatisch aufgrund einer wiedergegebenen Tonfolge eine gesuchte Referenz-Tonfolge liefern kann.
Diese Aufgabe wird gelöst durch ein Verfahren zum Auffinden einer Tonfolge, wie einem Musikstück oder einer Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge, mit den aufeinander folgenden Schritten:
  • a) Aufnehmen der wiedergegebenen Tonfolge,
  • b) Ermitteln eines zeitlichen Frequenzverlaufs der in Schritt a) aufgenommenen Tonfolge,
  • c) Ermitteln der Tonhöhen und/oder Tonlängen aus dem zeitlichen Frequenzverlauf,
  • d) Aufteilen der in Schritt c) gewonnenen Tonfolge in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen,
  • e) Vergleichen der in Schritt d) gewonnenen Tonsequenzen mit Referenz-Tonsequenzen, die auf einer Zerlegung der Referenz-Tonfolgen nach den Kriterien aus Schritt d) beruhen, und Erfassen von Übereinstimmungen und
  • f) Ausgeben wenigstens der Referenz-Tonfolge mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen.
    • Unter einer wiedergegebenen Tonfolge wird allgemein sowohl eine vollständige Tonfolge, die einem Musikstück oder Klingelton insgesamt entsprechen kann, insbesondere aber auch eine Tonfolge beliebiger Länge innerhalb eines Musikstücks oder eines Klingeltons verstanden. Dabei dürfte der letztgenannte Fall in der Praxis der Hauptanwendungsfall sein, wenn beispielsweise eine Person einen besonders charakteristischen Teil einer Musikstück-Tonfolge summt oder pfeift, zu dem sie das Gesamt-Musikstück sucht.
    Auf Seiten der Tonfolgen-Referenzdatenbank liegen Musikstücke als Tonfolgen in Form von aufeinanderfolgenden Daten zu Tonhöhen und/oder Tonlängen vor. Zu diesem Zweck können gängige Audio-Dateien hinsichtlich ihres zeitlichen Frequenzverlaufs software-unterstützt analysiert werden. Hinsichtlich der aufgenommen, wiedergegebenen Tonfolge sind in der Literatur zum Stand der Technik zum Ermitteln eines zeitlichen Frequenzverlaufs beispielsweise einer gesummten Tonfolge Verfahren wie CEPSTRUM bzw. Autokorrelationsverfahren bekannt.
    Aus den jeweils gewonnenen zeitlichen Frequenzverläufen werden sowohl für die aufgenommenen Tonfolgen als auch für die Referenz-Tonfolgen auf entsprechende Tonhöhen- und/oder Tonlängen-Folgen geschlossen.
    Von wesentlicher Bedeutung ist es, die im Schritt c) gewonnene Folge von Tonhöhen und/oder Tonlängen in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen aufzuteilen. Gleiches geschieht auch mit den Referenz-Tonfolgen, so dass in Schritt e) ein Vergleich vorgenommen werden kann.
    In einem abschließenden Verfahrensschritt wird wenigstens die Referenz-Tonfolge mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen ausgegeben. Selbstverständlich kann auch eine Liste derjenigen Referenz-Tonsequenzen ausgegeben werden, welche die größten Übereinstimmungen zu den Tonsequenzen, die auf der aufgenommen Tonfolge beruhen, aufweisen.
    Obwohl es grundsätzlich möglich ist, entweder nur die Tonhöhen oder ausschließlich die Tonlängen in Schritt c) zu ermitteln und als Grundlage für einen späteren Vergleich in Schritt e) heranzuziehen, wird es als bevorzugt angesehen, sowohl die Tonhöhen als auch die Tonlängen in die Vergleichsprozedur einfließen zu lassen.
    Als in Schritt d) zu beachtende Kriterien können ein Auftreten von Pausen in der wiedergegebenen Tonfolge oder auch die Berücksichtigung von Periodizitäten, wie Takten, in der wiedergegebenen Tonfolge benutzt werden. Eine Pause in einer wiedergegebenen Tonfolge bildet somit beispielsweise eine Grenze zwischen zwei Tonsequenzen. Sofern es nicht eindeutig ist, ob eine Sequenztrennung vorzunehmen ist oder nicht, werden bevorzugt sowohl die einzelnen Tonsequenzen als auch eine zusammengesetzte Tonsequenz in dem Vergleichsschritt e) verwendet.
    In den Vergleichsschritt e) kann auch eine Ähnlichkeitsliste einbezogen werden, die Zuordnungen zwischen einander ähnlichen Referenz-Tonsequenzen enthält. Als einander ähnlich können beispielsweise zwei Tonsequenzen angesehen werden, die sich bei einer Folge von Tönen lediglich in einem Ton, der durch seine Tonhöhe und seine Tonlänge gekennzeichnet ist, unterscheiden.
    Das vorbeschriebene Verfahren zeichnet sich insbesondere durch eine günstige Geschwindigkeit zum Auffinden von gewünschten Tonfolgen aus, da es grundsätzlich auf einem Vergleich von Tonsequenzen basiert. Es kann sowohl im unmittelbaren Auffinden gewünschter Tonfolgen als auch als Vorauswahlverfahren verwendet werden. Im Falle seiner Benutzung als Vorauswahlverfahren kann es um nachfolgend beschriebene Verfahrensschritte ergänzt sein.
    Dazu wird bevorzugt in einem Schritt g) der zeitliche Frequenzverlauf aus Schritt b) mit zeitlichen Referenz-Frequenzverläufen aus einer Referenz-Frequenzverlaufs Datenbank verglichen. Diese Datenbank kann mit der oben erwähnten Tonfolgen-Referenzdatenbank verknüpft sein.
    In dem Schritt g) kann der zeitliche Frequenzverlauf aus Schritt b) für den Vergleich hinsichtlich der absoluten Frequenzwerte und/oder seiner Zeitachse systematisch modifiziert sein. Wenn beispielsweise die wiedergegebene Tonfolge in einer unzutreffenden Oktave vorliegt, kann die gesamte Tonfolge um einen konstanten Faktor hinsichtlich ihrer Frequenzwerte auf einer Frequenzskala verschoben werden. Wenn die wiedergegebene Tonfolge in unzutreffender Geschwindigkeit vorliegt, kann der gesamte Frequenzverlauf zeitlich gestreckt oder verkürzt werden, d. h. jeder Frequenzwert wird von einem Zeitpunkt t auf einen Zeitpunkt k x t verschoben.
    Die Frequenzverläufe aufgrund der wiedergegebenen Tonfolgen können in Frequenzverlaufssequenzen unterteilt sein, wobei die Kriterien den oben beschriebenen Kriterien zum Aufteilen einer Tonfolge in Tonsequenzen entsprechen können. Dann können die einzelnen Frequenzverlaufssequenzen nacheinander mit den Referenz-Frequenzverläufen verglichen werden.
    Sofern eine zeitliche Auflösung der zeitlichen Frequenzverläufe nicht ausreichend ist, um mit hinreichender Wahrscheinlichkeit eine gewünschte Tonfolge zu ermitteln, kann sie erhöht werden. Im umgekehrten Fall, d. h. wenn sich empirisch herausstellt, dass eine geringere zeitliche Auflösung ausreichend ist, kann sie auch vermindert werden.
    Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnungen noch näher erläutert. Es zeigen:
    Figur 1:
    einen Aufbau einer Tonfolgen-Referenzdatenbank,
    Figur 2:
    zeitliche Frequenzverläufe einer wiedergegebenen Tonfolge im Original und modifiziert und
    Figur 3:
    zeitliche Frequenzverläufe einer wiedergegebenen Tonfolge und einer Referenz-Tonfolge.
    Bei einem Verfahren zum Auffinden einer Tonfolge in einer Tonfolgen-Referenzdatenbank wird in einem ersten Schritt eine wiedergegebene Tonfolge aufgenommen, d. h. eine gewünschte Tonfolge wird von einer Schallquelle wiedergegeben, bei der es sich um eine menschliche Stimme, aber auch um akustische Wiedergabegeräte jeder Art handeln kann.
    In einem nächsten Schritt wird aus der aufgenommenen, wiedergegebenen Tonfolge ein zeitlicher Frequenzverlauf der Tonfolge ermittelt. Ein solcher zeitlicher Frequenzverlauf wird in der Fachliteratur auch als "Pitch-Struktur" bezeichnet.
    Es gehört zum Stand der Technik, analog aufgenommene Tonfolgen in Audio-Dateien, wie eine WAV- oder MIDI-Datei, umzuwandeln. Außerdem sind Verfahren bekannt, aus solchen Dateien die der Tonfolge zugehörigen zeitlichen Frequenzverläufe zu ermitteln. Bei der Ermittlung des zeitlichen Frequenzverlaufs können zunächst beispielsweise mit einer Periode von 0,5 Sekunden Abtastwerte für eine jeweils aktuelle Frequenz erfasst werden. Zum Erfassen des zeitlichen Frequenzverlaufs sind in der Fachliteratur verschiedene Verfahren beschrieben, von denen das CEPSTRUM-Verfahren und auf Autokorrelation beruhende Verfahren besonders hervorzuheben sind.
    In einem nächsten Schritt werden für die wiedergegebene Tonfolge aus ihrem zugehörigen zeitlichen Frequenzverlauf die aufeinanderfolgenden Tonhöhen und Tonlängen ermittelt, wobei eine Tonhöhe zusammen mit einer zugehörigen Tonlänge einen Ton im Sinne dieser Beschreibung definieren. Hierbei ist darauf hinzuweisen, dass für den späteren Vergleich mit Referenz-Tonfolgen bzw. -Tonsequenzen es auch ausreichend sein kann, entweder nur die Tonhöhen oder nur die Tonlängen heranzuziehen.
    Nach der Ermittlung der Tonhöhen und Tonlängen bei dem hier erläuterten, bevorzugten Ausführungsbeispiel, wird die im vorhergehenden Verfahrensschritt gewonnene Folge von Tönen unter vorbestimmten Kriterien in zusammenhängende Tonsequenzen unterteilt. Solche zusammenhängenden Tonsequenzen können auch als "akustische Motive" bezeichnet werden. Ein Aufteilungskriterium zum Gewinnen von Tonsequenzen aus Tonfolgen kann das Auftreten von Pausen sein. Lassen sich Pausen zwischen zwei möglichen Tonsequenzen nicht zuverlässig bestimmen, so wird sowohl die ungeteilte Tonsequenz als auch die beiden geteilten Tonsequenzen ermittelt. Für jede gewonnene Tonsequenz werden sowohl die Tonhöhen als auch die Tonlängen normiert und gespeichert.
    Bevor nun Vergleiche mit Referenz-Tonfolgen bzw. -Sequenzen vorgenommen werden können, sollten auf Seiten einer Tonfolgen-Referenzdatenbank folgende Merkmale erfüllt sein:
    Der Aufbau der Tonfolgen-Referenzdatenbank wird anhand von Figur 1 erläutert. In einem Referenz-Tonfolgen-Bereich 1 der Tonfolgen-Referenzdatenbank sind vollständige Musikstücke oder Klingeltonfolgen als Referenz-Tonfolgen R1, R2, R3 jeweils einzeln abgelegt. Sie liegen in Form von Tonhöhenfolgen, Tonlängenfolgen oder bevorzugt in Form von aufeinanderfolgenden Tönen, die durch eine Tonhöhe und eine Tonlänge gekennzeichnet sind, vor. In der Figur 1 sind der Einfachheit halber nur Tonhöhen innerhalb einer Oktave, jedoch keine Tonlängen dargestellt.
    Des weiteren enthält die Tonfolgen-Referenzdatenbank einen Lexikonbereich 2, in dem Tonsequenzen #1, #2, #3 enthalten sind, die sich aus einer Aufteilung der Referenz-Tonfolgen R1, R2, R3 unter vorbestimmten Kriterien ergeben. Bei diesen Kriterien handelt es sich bevorzugt um dieselben, die auch zur Aufteilung der wiedergegebenen Tonfolgen verwendet werden.
    In dem Lexikonbereich sind somit sämtliche Tonsequenzen aus sämtlichen Gesamttonfolgen abgelegt. Sofern es unklar ist, ob eine ermittelte Tonsequenz noch weiter unterteilbar ist, liegt diese Tonsequenz sowohl unterteilt als auch vollständig in dem Lexikonbereich vor.
    Außerdem enthält die Tonfolgen-Referenzdatenbank einen Ähnlichkeitslisten-Bereich 3, der Zuordnungen zwischen Tonsequenzen #1, #2, #3 aus dem Lexikon-Bereich 2 im Hinblick auf Ähnlichkeit enthält. Im in Figur 1 dargestellten Ausführungsbeispiel unterscheiden sich die Lexikoneinträge #2 und #3 lediglich in einem Ton, so dass in dem Ähnlichkeitslisten-Bereich für die Tonsequenz #2 auf die Tonsequenz #3 verwiesen wird und umgekehrt.
    Weiterhin enthält die Tonfolgen-Referenzdatenbank auch einen Trefferlisten-Bereich 4, mit der Verweise zwischen den Tonsequenzen #1, #2, #3 aus dem Lexikon-Bereich 2 und den Referenz-Tonfolgen R1, R2, R3 enthält, wobei die Informationen aus dem Ähnlichkeitslisten-Bereich 3 einbezogen sind. Es ergibt sich von selbst, dass die Einbeziehung der Ähnlichkeitsliste lediglich bevorzugtes Merkmal ist, jedoch nicht zwingend vorliegt.
    Aufgrund des vorstehend dargelegten Aufbaus der Tonfolgen-Referenzdatenbank und der Zerlegung der wiedergegebenen Tonfolge in Tonsequenzen kann nunmehr ein Vergleich der Tonsequenzen, die einer wiedergegebenen Tonfolge zugeordnet sind, mit Tonsequenzen in dem Lexikon-Bereich vorgenommen werden.
    Nacheinander wird für jede wiedergegebene Tonsequenz festgestellt, ob sie in dem Lexikon-Bereich 2 ihre Entsprechung findet. Liegt keine Entsprechung vor, wird, ggf. mehrmals, auf die Ähnlichkeitsliste Bezug genommen.
    Anhand der Trefferliste wird ermittelt, für welche Referenz-Tonfolge die meisten Übereinstimmungen zwischen wiedergegebenen Tonsequenzen und Tonsequenzen #1, #2, #3 aus dem Lexikon gefunden werden. Die sich daraus ergebende Referenz-Tonfolge ist mit höchster Wahrscheinlichkeit die gesuchte Tonfolge. Insgesamt kann sich eine Hitliste von Referenz-Tonfolgen ergeben. Die Einträge dieser Hitliste können beispielsweise der Person, die eine gesuchte Tonfolge wiedergegeben hat, vorgespielt werden, so dass die letzte Festlegung der gewünschten Referenz-Tonfolge durch diese Person erfolgen kann.
    Das vorstehend erläuterte Verfahren eignet sich insbesondere bei großen Musikdatenbanken und kann sowohl zum tatsächlichen Auffinden einer bestimmten Referenz-Tonfolge als auch als
    Vorstufe zu einem detaillierteren Verfahren eingesetzt werden. Beispielsweise kann die sich ergebende Hitliste in einem nachgeschalteten Verfahren weiter analysiert werden. Ein solches, nachgeschaltetes Verfahren wird nunmehr anhand der Figuren 2 und 3 erläutert.
    Zur Durchführung des Verfahrens werden die zeitlichen Frequenzverläufe der oben erläuterten Referenz-Tonfolgen herangezogen. Diese Frequenzverläufe können in einem weiteren Bereich der Tonfolgen-Referenzdatenbank gespeichert sein. In ähnlicher Weise, wie oben erläutert, werden von einer wiedergegebenen, beispielsweise gesummten oder gepfiffenen Tonfolge, zeitliche Frequenzverläufe ermittelt, wobei zu berücksichtigen ist, dass in den meisten Fällen lediglich ein Abschnitt einer Gesamttonfolge wiedergegeben wird.
    Es erfolgt ein Vergleich eines zeitlichen Frequenzverlaufs, der einer wiedergegebenen Tonfolge zugeordnet ist, mit einem Teil oder bevorzugt einem gesamten zeitlichen Frequenzverlauf zu einer Referenz-Tonfolge.
    In vielen Fällen wird die Geschwindigkeit der wiedergegebenen Tonfolge oder die Höhe der Töne nicht mit derjenigen der passenden Referenz-Tonfolge übereinstimmen. Insofern kann ein zeitlicher Frequenzverlauf, der einer wiedergegebenen Tonfolge zugeordnet ist, systematisch modifiziert werden, was anhand der Figur 2 veranschaulicht ist. Die Kurve K1 stellt den ursprünglich ermittelten zeitlichen Frequenzverlauf dar, während bei den Kurven K2 und K3 jeweils der Frequenzwert erhöht, bzw. erniedrigt ist. Bei der Kurve K4 wurde der Intensitätsverlauf hinsichtlich seiner Zeitachse mittels eines konstanten Multiplikationsfaktors geändert.
    Die Figur 3 zeigt nunmehr einen zeitlichen Frequenzverlauf einer Referenz-Tonfolge (Kurve K5) und einen wiedergegebenen zeitlichen Frequenzverlauf (Kurve K6), der bereits, wie anhand von Figur 2 erläutert, modifiziert ist.
    Im Einzelnen kann die Tonhöhe [Hz] bzw. die Abspielgeschwindigkeit jeweils mit 2x multipliziert sein, wobei X eine positive reelle Zahl ist.
    Außerdem kann der Startpunkt der wiedergegebenen Tonfolge in bezug auf die Referenz-Tonfolge innerhalb der Referenz-Tonfolge variiert werden.
    Etwaige Übereinstimmungen werden z. B. mit Hilfe eines Fehler-Algorithmus ermittelt, wobei insbesondere der Kleinste-Quadrate-Fehler bestimmt wird. Für jede Referenz-Tonfolge wird ein jeweiliger Grad an Übereinstimmung mit der wiedergegebenen Tonfolge erfasst und gespeichert. Ergeben sich aufgrund dieses Verfahrens zu viele im wesentlichen gleichwertige Treffer, kann die Auflösung des zeitlichen Verlaufs vergrößert werden. Der Person, welche die wiedergegebene Tonfolge als Referenz-Tonfolge sucht, kann in aufsteigender Reihenfolge des Abstandes des Fehlerkriteriums jeweils eine betreffende Referenz-Tonfolge vorgeschlagen oder auch vorgespielt werden.
    In ähnlicher Weise, wie in Figur 3 dargestellt ist, kann anstelle des zeitlichen Frequenzverlaufs, der einer gesamten, wiedergegebenen Tonfolge zugeordnet ist, auch eine Frequenzverlaufssequenz aus dem zeitlichen Frequenzverlauf für den abschnittsweisen Vergleich mit Referenz-Frequenzverläufen herangezogen werden. Für eine solche Aufteilung können dieselben Kriterien verwendet werden, wie sie oben anhand der Aufteilung wiedergegebener Tonfolgen in Tonfolgensequenzen erläutert sind. Die Aufteilung der zeitlichen Frequenzverläufe, die einer gesamten wiedergegebenen Tonfolge zugeordnet sind, in Frequenzverlaufssequenzen hat den Vorteil, dass der durchzuführende Vergleich, der dann nacheinander für bevorzugt sämtliche Frequenzverlaufssequenzen vorgenommen wird, gegenüber unzutreffenden Geschwindigkeiten bei der Wiedergabe der wiedergegebenen Tonfolge unempfindlicher ist.

    Claims (8)

    1. Verfahren zum Auffinden einer Tonfolge, wie einem Musikstück oder einer Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge, mit den aufeinander folgenden Schritten:
      a) Aufnehmen der wiedergegebenen Tonfolge,
      b) Ermitteln eines zeitlichen Frequenzverlaufs der in Schritt a) aufgenommenen Tonfolge,
      c) Ermitteln der Tonhöhen und/oder Tonlängen aus dem zeitlichen Frequenzverlauf,
      d) Aufteilen der in Schritt c) gewonnenen Tonfolge in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen,
      e) Vergleichen der in Schritt d) gewonnenen Tonsequenzen mit Referenz-Tonsequenzen (#1, #2, #3), die auf einer Zerlegung der Referenz-Tonfolgen (R1, R2,R3) nach den Kriterien aus Schritt d) beruhen, und Erfassen von Übereinstimmungen und
      f) Ausgeben wenigstens der Referenz-Tonfolge (R1, R2, R3) mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen (#1, #2, #3).
    2. Verfahren nach Anspruch 1,
      bei dem in Schritt e) die Kriterien ein Auftreten von Pausen in der wiedergegebenen Tonfolge umfassen.
    3. Verfahren nach einem der Ansprüche 1 oder 2,
      bei dem in Schritt e) die Kriterien Periodizitäten wie Takte in der wiedergegeben Tonfolge umfassen.
    4. Verfahren nach einem der Ansprüche 1 bis 3,
      bei dem in Schritt e) in das Vergleichen eine Ähnlichkeits-Liste einbezogen wird, die Zuordnungen zwischen einander ähnlichen Referenz-Tonsequenzen (#1, #2, #3) enthält.
    5. Verfahren nach einem der Ansprüche 1 bis 4,
      bei dem in einem Schritt g) der zeitliche Frequenzverlauf aus Schritt b) mit zeitlichen Referenz-Frequenzverläufen aus einer Referenz-Frequenzverlaufs-Datenbank verglichen wird.
    6. Verfahren nach Anspruch 5,
      bei dem in Schritt g) der zeitliche Frequenzverlauf aus Schritt b) für den Vergleich hinsichtlich der absoluten Frequenzwerte und/oder seiner Zeitachse systematisch modifiziert wird.
    7. Verfahren nach einem der Ansprüche 5 oder 6,
      bei dem die Frequenzverläufe in Frequenzverlaufssequenzen unterteilt sind.
    8. Verfahren nach einem der Ansprüche 5 bis 7,
      bei dem, abhängig von dem Vergleichsergebnis in Schritt g), die zeitliche Auflösung für die Frequenzverläufe verändert wird.
    EP02015381A 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge Expired - Lifetime EP1381024B1 (de)

    Priority Applications (3)

    Application Number Priority Date Filing Date Title
    EP02015381A EP1381024B1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge
    AT02015381T ATE455347T1 (de) 2002-07-10 2002-07-10 Verfahren zum auffinden einer tonfolge
    DE50214167T DE50214167D1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge

    Applications Claiming Priority (1)

    Application Number Priority Date Filing Date Title
    EP02015381A EP1381024B1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge

    Publications (2)

    Publication Number Publication Date
    EP1381024A1 true EP1381024A1 (de) 2004-01-14
    EP1381024B1 EP1381024B1 (de) 2010-01-13

    Family

    ID=29724426

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP02015381A Expired - Lifetime EP1381024B1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge

    Country Status (3)

    Country Link
    EP (1) EP1381024B1 (de)
    AT (1) ATE455347T1 (de)
    DE (1) DE50214167D1 (de)

    Citations (5)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
    US5402339A (en) * 1992-09-29 1995-03-28 Fujitsu Limited Apparatus for making music database and retrieval apparatus for such database
    US5874686A (en) * 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
    EP0944033A1 (de) * 1998-03-19 1999-09-22 Tomonari Sonoda Vorrichtung und Verfahren zum Wiederauffinden von Melodien
    WO2001069575A1 (en) * 2000-03-13 2001-09-20 Perception Digital Technology (Bvi) Limited Melody retrieval system

    Patent Citations (5)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
    US5402339A (en) * 1992-09-29 1995-03-28 Fujitsu Limited Apparatus for making music database and retrieval apparatus for such database
    US5874686A (en) * 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
    EP0944033A1 (de) * 1998-03-19 1999-09-22 Tomonari Sonoda Vorrichtung und Verfahren zum Wiederauffinden von Melodien
    WO2001069575A1 (en) * 2000-03-13 2001-09-20 Perception Digital Technology (Bvi) Limited Melody retrieval system

    Also Published As

    Publication number Publication date
    EP1381024B1 (de) 2010-01-13
    DE50214167D1 (de) 2010-03-04
    ATE455347T1 (de) 2010-01-15

    Similar Documents

    Publication Publication Date Title
    DE10232916B4 (de) Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals
    EP1371055B1 (de) Vorrichtung zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen des audiosignals unter verwendung einer autokorrelationsfunktion
    DE102008013172B4 (de) Verfahren zur klangobjektorientierten Analyse und zur notenobjektorientierten Bearbeitung polyphoner Klangaufnahmen
    DE69311303T2 (de) Sprachtrainingshilfe für kinder.
    DE2918533C2 (de)
    EP0925461B1 (de) Verfahren zur mehrsprachenverwendung eines hidden markov lautmodelles in einem spracherkennungssystem
    DE60320414T2 (de) Vorrichtung und Verfahren zur automatischen Extraktion von wichtigen Ereignissen in Audiosignalen
    DE69608826T2 (de) Vorrichtung zur Verarbeitung von Audiosignalen, wobei eine harmonische Stimme von polyphonischen Stimmen abgeleitet wird
    DE2659096C2 (de)
    DE3884880T2 (de) Billige Spracherkennungseinrichtung und Verfahren.
    EP1388145B1 (de) Vorrichtung und verfahren zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen
    EP1280138A1 (de) Verfahren zur Analyse von Audiosignalen
    DE2020753A1 (de) Einrichtung zum Erkennen vorgegebener Sprachlaute
    DE212016000292U1 (de) System zur Text-zu-Sprache-Leistungsbewertung
    DE3043516C2 (de) Verfahren und Vorrichtung zur Spracherkennung
    DE60318450T2 (de) Vorrichtung und Verfahren zur Segmentation von Audiodaten in Metamustern
    EP1282897A1 (de) Verfahren zum erzeugen einer sprachdatenbank für einen zielwortschatz zum trainieren eines spracherkennungssystems
    EP1381024B1 (de) Verfahren zum Auffinden einer Tonfolge
    EP1377924B1 (de) VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
    DE2357949A1 (de) Verfahren zum ermitteln des der periode der anregungsfrequenz der stimmbaender entsprechenden intervalls
    DE69318223T2 (de) Verfahren zur sprachanalyse
    DE68911858T2 (de) Verfahren und Vorrichtung zum automatischen Transkribieren.
    EP1063633A2 (de) Verfahren zum Training eines automatischen Spracherkenners
    DE1547002A1 (de) Vorrichtung,die auf gesprochene Informationen anspricht,insbesondere phonetische Schreibmaschine
    DE102016226042A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Gestaltung eines Übergangs zwischen zwei Audio-Dateien

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    AX Request for extension of the european patent

    Extension state: AL LT LV MK RO SI

    17P Request for examination filed

    Effective date: 20040216

    AKX Designation fees paid

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    RAP1 Party data changed (applicant data changed or rights of an application transferred)

    Owner name: BENQ MOBILE GMBH & CO. OHG

    GRAP Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOSNIGR1

    19U Interruption of proceedings before grant

    Effective date: 20070101

    19W Proceedings resumed before grant after interruption of proceedings

    Effective date: 20070702

    GRAS Grant fee paid

    Free format text: ORIGINAL CODE: EPIDOSNIGR3

    19W Proceedings resumed before grant after interruption of proceedings

    Effective date: 20090803

    RAP1 Party data changed (applicant data changed or rights of an application transferred)

    Owner name: PALM, INC.

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: FG4D

    Free format text: NOT ENGLISH

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: EP

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FG4D

    REF Corresponds to:

    Ref document number: 50214167

    Country of ref document: DE

    Date of ref document: 20100304

    Kind code of ref document: P

    REG Reference to a national code

    Ref country code: NL

    Ref legal event code: VDEP

    Effective date: 20100113

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: NL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: PT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100513

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100424

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FD4D

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: FI

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: SE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: EE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: CY

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: GR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100414

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: SK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: CZ

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    Ref country code: BG

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100413

    26N No opposition filed

    Effective date: 20101014

    BERE Be: lapsed

    Owner name: PALM, INC.

    Effective date: 20100731

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: MC

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: PL

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: ST

    Effective date: 20110331

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LI

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    Ref country code: CH

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: 732E

    Free format text: REGISTERED BETWEEN 20110407 AND 20110413

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: FR

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100802

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R081

    Ref document number: 50214167

    Country of ref document: DE

    Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

    Free format text: FORMER OWNER: PALM, INC., SUNNYVALE, CALIF., US

    Effective date: 20110406

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: BE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100731

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LU

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20100710

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: TR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20100113

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: AT

    Payment date: 20120620

    Year of fee payment: 11

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

    REG Reference to a national code

    Ref country code: AT

    Ref legal event code: MM01

    Ref document number: 455347

    Country of ref document: AT

    Kind code of ref document: T

    Effective date: 20130710

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS, DE

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R081

    Ref document number: 50214167

    Country of ref document: DE

    Owner name: QUALCOMM INCORPORATED, US

    Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT CO., L.P., HOUSTON, US

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R081

    Ref document number: 50214167

    Country of ref document: DE

    Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

    Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, TEX., US

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: SAMSON & PARTNER PATENTANWAELTE MBB, DE

    Effective date: 20140307

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

    Effective date: 20140307

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: AT

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20130710

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: 732E

    Free format text: REGISTERED BETWEEN 20140508 AND 20140514

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS, DE

    Ref country code: DE

    Ref legal event code: R082

    Ref document number: 50214167

    Country of ref document: DE

    Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: GB

    Payment date: 20170626

    Year of fee payment: 16

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20170726

    Year of fee payment: 16

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R119

    Ref document number: 50214167

    Country of ref document: DE

    GBPC Gb: european patent ceased through non-payment of renewal fee

    Effective date: 20180710

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20190201

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20180710