EP1381024B1 - Verfahren zum Auffinden einer Tonfolge - Google Patents

Verfahren zum Auffinden einer Tonfolge Download PDF

Info

Publication number
EP1381024B1
EP1381024B1 EP02015381A EP02015381A EP1381024B1 EP 1381024 B1 EP1381024 B1 EP 1381024B1 EP 02015381 A EP02015381 A EP 02015381A EP 02015381 A EP02015381 A EP 02015381A EP 1381024 B1 EP1381024 B1 EP 1381024B1
Authority
EP
European Patent Office
Prior art keywords
tone
sequences
sequence
frequency
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP02015381A
Other languages
English (en)
French (fr)
Other versions
EP1381024A1 (de
Inventor
Christoph Dr. Pörschmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palm Inc
Original Assignee
Palm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palm Inc filed Critical Palm Inc
Priority to AT02015381T priority Critical patent/ATE455347T1/de
Priority to DE50214167T priority patent/DE50214167D1/de
Priority to EP02015381A priority patent/EP1381024B1/de
Publication of EP1381024A1 publication Critical patent/EP1381024A1/de
Application granted granted Critical
Publication of EP1381024B1 publication Critical patent/EP1381024B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments

Definitions

  • the invention relates to a method for finding a tone sequence, such as a piece of music or a ring tone sequence, in a tone sequence reference database containing reference tone sequences, based on a reproduced tone sequence.
  • a reproduced tone sequence is a melody reproduced by a person with her voice.
  • the object of the invention is to provide a method for finding a sequence of notes which can deliver a searched reference sequence of notes in a simple and efficient manner automatically on the basis of a reproduced tone sequence.
  • a reproduced tone sequence is understood to mean both a complete tone sequence, which may correspond to a piece of music or a ring tone as a whole, but in particular also a tone sequence of any length within a piece of music or a ring tone.
  • the latter case may in practice be the main application case, for example when a person hums or whistles a particularly characteristic part of a piece of music sequence to which he is seeking the entire piece of music.
  • tone sequence reference database On the part of the tone sequence reference database, pieces of music are present as tone sequences in the form of successive data on pitches and / or tone lengths. For this purpose, common audio files can be analyzed in terms of their temporal frequency response with software support. With regard to the recorded, reproduced tone sequence, methods such as CEPSTRUM or autocorrelation methods are known in the prior art literature for determining a temporal frequency profile of, for example, a hummed tone sequence.
  • step c) It is essential to divide the sequence of pitches and / or tone lengths obtained in step c) into a plurality of tone sequences which are related under predetermined criteria. The same happens with the reference tone sequences, so that in step e) a comparison can be made.
  • At least the reference tone sequence with the most matches between tone sequences and reference tone sequences is output.
  • a list of those reference sound sequences can be output, which have the largest matches to the sound sequences that are based on the recorded tone sequence.
  • step c determines either only the pitches or only the tone lengths in step c) and to use them as the basis for a later comparison in step e)
  • step d an occurrence of pauses in the reproduced tone sequence or even the consideration of periodicities, such as clocks, in the reproduced tone sequence can be used.
  • a break in a reproduced tone sequence thus forms, for example, a boundary between two tone sequences. Unless it is unclear whether a sequence separation is to be made or not, both the individual tone sequences and a composite tone sequence are preferably used in the comparison step e).
  • a similarity list may also be included, which contains associations between similar reference tone sequences.
  • two tone sequences may be considered similar to one another which differ in a sequence of tones only in a tone which is characterized by its pitch and its tone length.
  • the above-described method is characterized in particular by a favorable speed for finding desired tone sequences, since it is fundamentally based on a comparison of tone sequences. It can be used both in the immediate finding of desired tone sequences as well as preselection methods. In the case of its use as a preselection method, it may be supplemented by method steps described below.
  • the temporal frequency profile from step b) is preferably compared with temporal reference frequency profiles from a reference frequency profile database.
  • This database may be linked to the above-mentioned tone sequence reference database.
  • the temporal frequency profile from step b) can be systematically modified for the comparison with regard to the absolute frequency values and / or its time axis. For example, if the reproduced tone sequence is in an incorrect octave, the entire tone sequence may be shifted by a constant factor in terms of its frequency values on a frequency scale. If the reproduced sound sequence is at an incorrect speed, the entire frequency response can be extended or shortened in time, ie each frequency value is shifted from a time t to a time kxt.
  • the frequency responses due to the reproduced sound sequences can be subdivided into frequency response sequences, the criteria corresponding to the above-described criteria for splitting a sound sequence into sound sequences. Then the individual frequency response sequences can be compared one after the other with the reference frequency responses.
  • a temporal resolution of the temporal frequency curves is not sufficient to determine a desired tone sequence with sufficient probability, it can be increased. In the opposite case, d. H. if it turns out empirically that a lower temporal resolution is sufficient, it can also be reduced.
  • a reproduced tone sequence is recorded in a first step, i. H.
  • a desired sequence of notes is reproduced by a source of sound, which may be a human voice, but may also be any type of acoustic reproducer.
  • a temporal frequency profile of the tone sequence is determined from the recorded, reproduced tone sequence.
  • a temporal frequency profile is also referred to in the specialist literature as a "pitch structure".
  • the successive pitches and tone lengths are determined for the reproduced tone sequence from its associated temporal frequency curve, wherein a pitch together with an associated tone length define a tone in the sense of this description. It should be noted that for later comparison with reference tone sequences or tone sequences it may also be sufficient to use either only the pitches or only the tone lengths.
  • the sequence of tones obtained in the preceding method step is subdivided into contiguous tone sequences under predetermined criteria.
  • contiguous tone sequences may also be referred to as "acoustic motifs".
  • a sharing criterion for obtaining tone sequences from tone sequences may be the occurrence of pauses. If pauses between two possible tone sequences can not be reliably determined, then both the undivided tone sequence and the two divided tone sequences are determined. For each tone sequence obtained, both the pitches and the tone lengths are normalized and stored.
  • tone sequence reference database Before comparisons can be made with reference tone sequences or sequences, the following features should be fulfilled on the part of a tone sequence reference database:
  • tone sequence reference database The structure of the tone sequence reference database is determined by FIG. 1 explained.
  • complete music pieces or ring tone sequences are stored individually as reference tone sequences R1, R2, R3. They are in the form of pitch sequences, tone length sequences or preferably in the form of successive tones which are characterized by a pitch and an audio length.
  • R1, R2, R3 reference tone sequences
  • They are in the form of pitch sequences, tone length sequences or preferably in the form of successive tones which are characterized by a pitch and an audio length.
  • FIG. 1 For the sake of simplicity, only pitches within an octave but no sound lengths are shown.
  • the tone sequence reference database contains a lexicon area 2 in which tone sequences # 1, # 2, # 3 are contained, which result from a division of the reference tone sequences R1, R2, R3 under predetermined criteria. These criteria are preferably the same as those used to split the displayed tone sequences.
  • the tone sequence reference database includes a similarity list area 3 containing associations between tone sequences # 1, # 2, # 3 from the dictionary area 2 in terms of similarity.
  • the lexicon entries # 2 and # 3 differ only in one tone, so that reference is made in the similarity list area for the sound sequence # 2 on the sound sequence # 3 and vice versa.
  • the tone sequence reference database also contains a hit list area 4 containing references between the tone sequences # 1, # 2, # 3 from the dictionary area 2 and the reference tone sequences R1, R2, R3, the information from the Similarity list area 3 are included. It turns out that the inclusion of the similarity list is merely a preferred feature, but not mandatory.
  • a hit list of reference tone sequences can result.
  • the entries of this hit list can be played, for example, to the person who has played a sought-after tone sequence, so that the last determination of the desired reference tone sequence can be made by this person.
  • the method explained above is particularly suitable for large music databases and can be used both for the actual finding of a specific reference tone sequence and as
  • the resulting hit list can be further analyzed in a downstream process.
  • Such a downstream process will now be described with reference to FIGS. 2 and 3 explained.
  • temporal frequency profiles of the reference tone sequences explained above are used. These frequency curves can be stored in a further area of the tone sequence reference database.
  • temporal frequency characteristics are determined from a reproduced, for example, hummed or whistled tone sequence, wherein it should be noted that in most cases only a portion of a total tone sequence is reproduced.
  • the speed of the reproduced tone sequence or the height of the tones will not match that of the matching reference tone sequence.
  • a temporal frequency profile which is assigned to a reproduced tone sequence, be systematically modified, which is based on the FIG. 2 is illustrated.
  • the curve K1 represents the originally determined temporal frequency curve, while in the curves K2 and K3 the frequency value is respectively increased or decreased.
  • the intensity profile was changed with respect to its time axis by means of a constant multiplication factor.
  • FIG. 3 shows now a temporal frequency characteristic of a reference tone sequence (curve K5) and a reproduced temporal frequency curve (curve K6), which already, as with reference to FIG. 2 is explained, modified.
  • the pitch [Hz] or the playback speed can each be multiplied by 2 times , where X is a positive real number.
  • the starting point of the reproduced tone sequence with respect to the reference tone sequence within the reference tone sequence can be varied.
  • Any matches are z. B. determined using an error algorithm, in particular the least squares error is determined.
  • a respective degree of coincidence with the reproduced tone sequence is detected and stored. If there are too many substantially equivalent hits due to this method, the resolution of the time course can be increased.
  • the person who searches the reproduced tone sequence as a reference tone sequence, in each case a respective reference tone sequence can be proposed or played in ascending order of the distance of the error criterion.
  • a frequency response sequence from the temporal frequency response for the sectional comparison with reference frequency curves are used instead of the temporal frequency curve, which is associated with an entire, reproduced tone sequence.
  • the same criteria can be used, as explained above on the basis of the distribution of reproduced tone sequences in tone sequence sequences.
  • the division of the temporal frequency profiles, which are assigned to an entire reproduced tone sequence, in frequency sequence sequences has the advantage that the comparison to be carried out is then carried out successively for preferably all frequency profile sequences is less sensitive to inappropriate speeds in the playback of the reproduced sound sequence.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Channel Selection Circuits, Automatic Tuning Circuits (AREA)

Description

  • Die Erfindung bezieht sich auf ein Verfahren zum Auffinden einer Tonfolge, wie ein Musikstück oder eine Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge.
  • Unter einer wiedergegebenen Tonfolge ist dabei beispielsweise eine von einer Person mit ihrer Stimme wiedergegebene Melodie zu verstehen.
  • Es ist bereits bekannt, aus einer Audio-Datei, wie beispielsweise WAV und MIDI, den zeitlichen Frequenzverlauf zu extrahieren. Auch sind bereits Verfahren erprobt worden, welche eine Tonfolge ermitteln und ggf. in eine Notenschreibweise umwandeln.
  • Das Auffinden einer Melodie aufgrund einer eingegebenen Tonfolge ist z.B. aus den Dokumenten US-A-5 402 339 , US-A-5 874 686 , EP-A-0 944 033 oder WO-A-0 169 575 bekannt.
  • Ausgehend hiervon liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zum Auffinden einer Tonfolge bereit zu stellen, das auf einfache über effiziente Weise automatisch aufgrund einer wiedergegebenen Tonfolge eine gesuchte Referenz-Tonfolge liefern kann.
  • Diese Aufgabe wird gelöst durch ein Verfahren zum Auffinden einer Tonfolge, wie eines Musikstücks oder einer Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge, mit den aufeinander folgenden Schritten:
    1. a) Aufnehmen der wiedergegebenen Tonfolge,
    2. b) Ermitteln eines zeitlichen Frequenzverlaufs der in Schritt a) aufgenommenen Tonfolge,
    3. c) Ermitteln der Tonhöhen und/oder Tonlängen aus dem zeitlichen Frequenzverlauf,
    4. d) Aufteilen der in Schritt c) gewonnenen Tonfolge in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen,
    5. e) Vergleichen der in Schritt d) gewonnenen Tonsequenzen mit Referenz-Tonsequenzen, die auf einer Zerlegung der Referenz-Tonfolgen nach den Kriterien aus Schritt d) beruhen, und Erfassen von Übereinstimmungen und
    6. f) Ausgeben wenigstens der Referenz-Tonfolge mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen.
  • Unter einer wiedergegebenen Tonfolge wird allgemein sowohl eine vollständige Tonfolge, die einem Musikstück oder Klingelton insgesamt entsprechen kann, insbesondere aber auch eine Tonfolge beliebiger Länge innerhalb eines Musikstücks oder eines Klingeltons verstanden. Dabei dürfte der letztgenannte Fall in der Praxis der Hauptanwendungsfall sein, wenn beispielsweise eine Person einen besonders charakteristischen Teil einer Musikstück-Tonfolge summt oder pfeift, zu dem sie das Gesamt-Musikstück sucht.
  • Auf Seiten der Tonfolgen-Referenzdatenbank liegen Musikstücke als Tonfolgen in Form von aufeinanderfolgenden Daten zu Tonhöhen und/oder Tonlängen vor. Zu diesem Zweck können gängige Audio-Dateien hinsichtlich ihres zeitlichen Frequenzverlaufs software-unterstützt analysiert werden. Hinsichtlich der aufgenommen, wiedergegebenen Tonfolge sind in der Literatur zum Stand der Technik zum Ermitteln eines zeitlichen Frequenzverlaufs beispielsweise einer gesummten Tonfolge Verfahren wie CEPSTRUM bzw. Autokorrelationsverfahren bekannt.
  • Aus den jeweils gewonnenen zeitlichen Frequenzverläufen werden sowohl für die aufgenommenen Tonfolgen als auch für die Referenz-Tonfolgen auf entsprechende Tonhöhen- und/oder Tonlängen-Folgen geschlossen.
  • Von wesentlicher Bedeutung ist es, die im Schritt c) gewonnene Folge von Tonhöhen und/oder Tonlängen in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen aufzuteilen. Gleiches geschieht auch mit den Referenz-Tonfolgen, so dass in Schritt e) ein Vergleich vorgenommen werden kann.
  • In einem abschließenden Verfahrensschritt wird wenigstens die Referenz-Tonfolge mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen ausgegeben. Selbstverständlich kann auch eine Liste derjenigen Referenz-Tonsequenzen ausgegeben werden, welche die größten Übereinstimmungen zu den Tonsequenzen, die auf der aufgenommen Tonfolge beruhen, aufweisen.
  • Obwohl es grundsätzlich möglich ist, entweder nur die Tonhöhen oder ausschließlich die Tonlängen in Schritt c) zu ermitteln und als Grundlage für einen späteren Vergleich in Schritt e) heranzuziehen, wird es als bevorzugt angesehen, sowohl die Tonhöhen als auch die Tonlängen in die Vergleichsprozedur einfließen zu lassen.
  • Als in Schritt d) zu beachtende Kriterien können ein Auftreten von Pausen in der wiedergegebenen Tonfolge oder auch die Berücksichtigung von Periodizitäten, wie Takten, in der wiedergegebenen Tonfolge benutzt werden. Eine Pause in einer wiedergegebenen Tonfolge bildet somit beispielsweise eine Grenze zwischen zwei Tonsequenzen. Sofern es nicht eindeutig ist, ob eine Sequenztrennung vorzunehmen ist oder nicht, werden bevorzugt sowohl die einzelnen Tonsequenzen als auch eine zusammengesetzte Tonsequenz in dem Vergleichsschritt e) verwendet.
  • In den Vergleichsschritt e) kann auch eine Ähnlichkeitsliste einbezogen werden, die Zuordnungen zwischen einander ähnlichen Referenz-Tonsequenzen enthält. Als einander ähnlich können beispielsweise zwei Tonsequenzen angesehen werden, die sich bei einer Folge von Tönen lediglich in einem Ton, der durch seine Tonhöhe und seine Tonlänge gekennzeichnet ist, unterscheiden.
  • Das vorbeschriebene Verfahren zeichnet sich insbesondere durch eine günstige Geschwindigkeit zum Auffinden von gewünschten Tonfolgen aus, da es grundsätzlich auf einem Vergleich von Tonsequenzen basiert. Es kann sowohl im unmittelbaren Auffinden gewünschter Tonfolgen als auch als Vorauswahlverfahren verwendet werden. Im Falle seiner Benutzung als Vorauswahlverfahren kann es um nachfolgend beschriebene Verfahrensschritte ergänzt sein.
  • Dazu wird bevorzugt in einem Schritt g) der zeitliche Frequenzverlauf aus Schritt b) mit zeitlichen Referenz-Frequenzverläufen aus einer Referenz-Frequenzverlaufs Datenbank verglichen. Diese Datenbank kann mit der oben erwähnten Tonfolgen-Referenzdatenbank verknüpft sein.
  • In dem Schritt g) kann der zeitliche Frequenzverlauf aus Schritt b) für den Vergleich hinsichtlich der absoluten Frequenzwerte und/oder seiner Zeitachse systematisch modifiziert sein. Wenn beispielsweise die wiedergegebene Tonfolge in einer unzutreffenden Oktave vorliegt, kann die gesamte Tonfolge um einen konstanten Faktor hinsichtlich ihrer Frequenzwerte auf einer Frequenzskala verschoben werden. Wenn die wiedergegebene Tonfolge in unzutreffender Geschwindigkeit vorliegt, kann der gesamte Frequenzverlauf zeitlich gestreckt oder verkürzt werden, d. h. jeder Frequenzwert wird von einem Zeitpunkt t auf einen Zeitpunkt k x t verschoben.
  • Die Frequenzverläufe aufgrund der wiedergegebenen Tonfolgen können in Frequenzverlaufssequenzen unterteilt sein, wobei die Kriterien den oben beschriebenen Kriterien zum Aufteilen einer Tonfolge in Tonsequenzen entsprechen können. Dann können die einzelnen Frequenzverlaufssequenzen nacheinander mit den Referenz-Frequenzverläufen verglichen werden.
  • Sofern eine zeitliche Auflösung der zeitlichen Frequenzverläufe nicht ausreichend ist, um mit hinreichender Wahrscheinlichkeit eine gewünschte Tonfolge zu ermitteln, kann sie erhöht werden. Im umgekehrten Fall, d. h. wenn sich empirisch herausstellt, dass eine geringere zeitliche Auflösung ausreichend ist, kann sie auch vermindert werden.
  • Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnungen noch näher erläutert. Es zeigen:
    • Figur 1:
    einen Aufbau einer Tonfolgen-Referenzdatenbank,
    Figur 2:
    zeitliche Frequenzverläufe einer wiedergegebenen Tonfolge im Original und modifiziert und
    Figur 3:
    zeitliche Frequenzverläufe einer wiedergegebenen Tonfolge und einer Referenz-Tonfolge.
  • Bei einem Verfahren zum Auffinden einer Tonfolge in einer Tonfolgen-Referenzdatenbank wird in einem ersten Schritt eine wiedergegebene Tonfolge aufgenommen, d. h. eine gewünschte Tonfolge wird von einer Schallquelle wiedergegeben, bei der es sich um eine menschliche Stimme, aber auch um akustische Wiedergabegeräte jeder Art handeln kann.
  • In einem nächsten Schritt wird aus der aufgenommenen, wiedergegebenen Tonfolge ein zeitlicher Frequenzverlauf der Tonfolge ermittelt. Ein solcher zeitlicher Frequenzverlauf wird in der Fachliteratur auch als "Pitch-Struktur" bezeichnet.
  • Es gehört zum Stand der Technik, analog aufgenommene Tonfolgen in Audio-Dateien, wie eine WAV- oder MIDI-Datei, umzuwandeln. Außerdem sind Verfahren bekannt, aus solchen Dateien die der Tonfolge zugehörigen zeitlichen Frequenzverläufe zu ermitteln. Bei der Ermittlung des zeitlichen Frequenzverlaufs können zunächst beispielsweise mit einer Periode von 0,5 Sekunden Abtastwerte für eine jeweils aktuelle Frequenz erfasst werden. Zum Erfassen des zeitlichen Frequenzverlaufs sind in der Fachliteratur verschiedene Verfahren beschrieben, von denen das CEPSTRUM-Verfahren und auf Autokorrelation beruhende Verfahren besonders hervorzuheben sind.
  • In einem nächsten Schritt werden für die wiedergegebene Tonfolge aus ihrem zugehörigen zeitlichen Frequenzverlauf die aufeinanderfolgenden Tonhöhen und Tonlängen ermittelt, wobei eine Tonhöhe zusammen mit einer zugehörigen Tonlänge einen Ton im Sinne dieser Beschreibung definieren. Hierbei ist darauf hinzuweisen, dass für den späteren Vergleich mit Referenz-Tonfolgen bzw. -Tonsequenzen es auch ausreichend sein kann, entweder nur die Tonhöhen oder nur die Tonlängen heranzuziehen.
  • Nach der Ermittlung der Tonhöhen und Tonlängen bei dem hier erläuterten, bevorzugten Ausführungsbeispiel, wird die im vorhergehenden Verfahrensschritt gewonnene Folge von Tönen unter vorbestimmten Kriterien in zusammenhängende Tonsequenzen unterteilt. Solche zusammenhängenden Tonsequenzen können auch als "akustische Motive" bezeichnet werden. Ein Aufteilungskriterium zum Gewinnen von Tonsequenzen aus Tonfolgen kann das Auftreten von Pausen sein. Lassen sich Pausen zwischen zwei möglichen Tonsequenzen nicht zuverlässig bestimmen, so wird sowohl die ungeteilte Tonsequenz als auch die beiden geteilten Tonsequenzen ermittelt. Für jede gewonnene Tonsequenz werden sowohl die Tonhöhen als auch die Tonlängen normiert und gespeichert.
  • Bevor nun Vergleiche mit Referenz-Tonfolgen bzw. -Sequenzen vorgenommen werden können, sollten auf Seiten einer Tonfolgen-Referenzdatenbank folgende Merkmale erfüllt sein:
  • Der Aufbau der Tonfolgen-Referenzdatenbank wird anhand von Figur 1 erläutert. In einem Referenz-Tonfolgen-Bereich 1 der Tonfolgen-Referenzdatenbank sind vollständige Musikstücke oder Klingeltonfolgen als Referenz-Tonfolgen R1, R2, R3 jeweils einzeln abgelegt. Sie liegen in Form von Tonhöhenfolgen, Tonlängenfolgen oder bevorzugt in Form von aufeinanderfolgenden Tönen, die durch eine Tonhöhe und eine Tonlänge gekennzeichnet sind, vor. In der Figur 1 sind der Einfachheit halber nur Tonhöhen innerhalb einer Oktave, jedoch keine Tonlängen dargestellt.
  • Des weiteren enthält die Tonfolgen-Referenzdatenbank einen Lexikonbereich 2, in dem Tonsequenzen #1, #2, #3 enthalten sind, die sich aus einer Aufteilung der Referenz-Tonfolgen R1, R2, R3 unter vorbestimmten Kriterien ergeben. Bei diesen Kriterien handelt es sich bevorzugt um dieselben, die auch zur Aufteilung der wiedergegebenen Tonfolgen verwendet werden.
  • In dem Lexikonbereich sind somit sämtliche Tonsequenzen aus sämtlichen Gesamttonfolgen abgelegt. Sofern es unklar ist, ob eine ermittelte Tonsequenz noch weiter unterteilbar ist, liegt diese Tonsequenz sowohl unterteilt als auch vollständig in dem Lexikonbereich vor.
  • Außerdem enthält die Tonfolgen-Referenzdatenbank einen Ähnlichkeitslisten-Bereich 3, der Zuordnungen zwischen Tonsequenzen #1, #2, #3 aus dem Lexikon-Bereich 2 im Hinblick auf Ähnlichkeit enthält. Im in Figur 1 dargestellten Ausführungsbeispiel unterscheiden sich die Lexikoneinträge #2 und #3 lediglich in einem Ton, so dass in dem Ähnlichkeitslisten-Bereich für die Tonsequenz #2 auf die Tonsequenz #3 verwiesen wird und umgekehrt.
  • Weiterhin enthält die Tonfolgen-Referenzdatenbank auch einen Trefferlisten-Bereich 4, mit der Verweise zwischen den Tonsequenzen #1, #2, #3 aus dem Lexikon-Bereich 2 und den Referenz-Tonfolgen R1, R2, R3 enthält, wobei die Informationen aus dem Ähnlichkeitslisten-Bereich 3 einbezogen sind. Es ergibt sich von selbst, dass die Einbeziehung der Ähnlichkeitsliste lediglich bevorzugtes Merkmal ist, jedoch nicht zwingend vorliegt.
  • Aufgrund des vorstehend dargelegten Aufbaus der Tonfolgen-Referenzdatenbank und der Zerlegung der wiedergegebenen Tonfolge in Tonsequenzen kann nunmehr ein Vergleich der Tonsequenzen, die einer wiedergegebenen Tonfolge zugeordnet sind, mit Tonsequenzen in dem Lexikon-Bereich vorgenommen werden.
  • Nacheinander wird für jede wiedergegebene Tonsequenz festgestellt, ob sie in dem Lexikon-Bereich 2 ihre Entsprechung findet. Liegt keine Entsprechung vor, wird, ggf. mehrmals, auf die Ähnlichkeitsliste Bezug genommen.
  • Anhand der Trefferliste wird ermittelt, für welche Referenz-Tonfolge die meisten Übereinstimmungen zwischen wiedergegebenen Tonsequenzen und Tonsequenzen #1, #2, #3 aus dem Lexikon gefunden werden. Die sich daraus ergebende Referenz-Tonfolge ist mit höchster Wahrscheinlichkeit die gesuchte Tonfolge. Insgesamt kann sich eine Hitliste von Referenz-Tonfolgen ergeben. Die Einträge dieser Hitliste können beispielsweise der Person, die eine gesuchte Tonfolge wiedergegeben hat, vorgespielt werden, so dass die letzte Festlegung der gewünschten Referenz-Tonfolge durch diese Person erfolgen kann.
  • Das vorstehend erläuterte Verfahren eignet sich insbesondere bei großen Musikdatenbanken und kann sowohl zum tatsächlichen Auffinden einer bestimmten Referenz-Tonfolge als auch als
  • Vorstufe zu einem detaillierteren Verfahren eingesetzt werden. Beispielsweise kann die sich ergebende Hitliste in einem nachgeschalteten Verfahren weiter analysiert werden. Ein solches, nachgeschaltetes Verfahren wird nunmehr anhand der Figuren 2 und 3 erläutert.
  • Zur Durchführung des Verfahrens werden die zeitlichen Frequenzverläufe der oben erläuterten Referenz-Tonfolgen herangezogen. Diese Frequenzverläufe können in einem weiteren Bereich der Tonfolgen-Referenzdatenbank gespeichert sein. In ähnlicher Weise, wie oben erläutert, werden von einer wiedergegebenen, beispielsweise gesummten oder gepfiffenen Tonfolge, zeitliche Frequenzverläufe ermittelt, wobei zu berücksichtigen ist, dass in den meisten Fällen lediglich ein Abschnitt einer Gesamttonfolge wiedergegeben wird.
  • Es erfolgt ein Vergleich eines zeitlichen Frequenzverlaufs, der einer wiedergegebenen Tonfolge zugeordnet ist, mit einem Teil oder bevorzugt einem gesamten zeitlichen Frequenzverlauf zu einer Referenz-Tonfolge.
  • In vielen Fällen wird die Geschwindigkeit der wiedergegebenen Tonfolge oder die Höhe der Töne nicht mit derjenigen der passenden Referenz-Tonfolge übereinstimmen. Insofern kann ein zeitlicher Frequenzverlauf, der einer wiedergegebenen Tonfolge zugeordnet ist, systematisch modifiziert werden, was anhand der Figur 2 veranschaulicht ist. Die Kurve K1 stellt den ursprünglich ermittelten zeitlichen Frequenzverlauf dar, während bei den Kurven K2 und K3 jeweils der Frequenzwert erhöht, bzw. erniedrigt ist. Bei der Kurve K4 wurde der Intensitätsverlauf hinsichtlich seiner Zeitachse mittels eines konstanten Multiplikationsfaktors geändert.
  • Die Figur 3 zeigt nunmehr einen zeitlichen Frequenzverlauf einer Referenz-Tonfolge (Kurve K5) und einen wiedergegebenen zeitlichen Frequenzverlauf (Kurve K6), der bereits, wie anhand von Figur 2 erläutert, modifiziert ist.
  • Im Einzelnen kann die Tonhöhe [Hz] bzw. die Abspielgeschwindigkeit jeweils mit 2x multipliziert sein, wobei X eine positive reelle Zahl ist.
  • Außerdem kann der Startpunkt der wiedergegebenen Tonfolge in bezug auf die Referenz-Tonfolge innerhalb der Referenz-Tonfolge variiert werden.
  • Etwaige Übereinstimmungen werden z. B. mit Hilfe eines Fehler-Algorithmus ermittelt, wobei insbesondere der Kleinste-Quadrate-Fehler bestimmt wird. Für jede Referenz-Tonfolge wird ein jeweiliger Grad an Übereinstimmung mit der wiedergegebenen Tonfolge erfasst und gespeichert. Ergeben sich aufgrund dieses Verfahrens zu viele im wesentlichen gleichwertige Treffer, kann die Auflösung des zeitlichen Verlaufs vergrößert werden. Der Person, welche die wiedergegebene Tonfolge als Referenz-Tonfolge sucht, kann in aufsteigender Reihenfolge des Abstandes des Fehlerkriteriums jeweils eine betreffende Referenz-Tonfolge vorgeschlagen oder auch vorgespielt werden.
  • In ähnlicher Weise, wie in Figur 3 dargestellt ist, kann anstelle des zeitlichen Frequenzverlaufs, der einer gesamten, wiedergegebenen Tonfolge zugeordnet ist, auch eine Frequenzverlaufssequenz aus dem zeitlichen Frequenzverlauf für den abschnittsweisen Vergleich mit Referenz-Frequenzverläufen herangezogen werden. Für eine solche Aufteilung können dieselben Kriterien verwendet werden, wie sie oben anhand der Aufteilung wiedergegebener Tonfolgen in Tonfolgensequenzen erläutert sind. Die Aufteilung der zeitlichen Frequenzverläufe, die einer gesamten wiedergegebenen Tonfolge zugeordnet sind, in Frequenzverlaufssequenzen hat den Vorteil, dass der durchzuführende Vergleich, der dann nacheinander für bevorzugt sämtliche Frequenzverlaufssequenzen vorgenommen wird, gegenüber unzutreffenden Geschwindigkeiten bei der Wiedergabe der wiedergegebenen Tonfolge unempfindlicher ist.

Claims (8)

  1. Verfahren zum Auffinden einer Tonfolge, wie eines Musikstücks oder einer Klingeltonfolge, in einer Tonfolgen-Referenzdatenbank, die Referenz-Tonfolgen enthält, aufgrund einer wiedergegebenen Tonfolge, mit den aufeinander folgenden Schritten:
    a) Aufnehmen der wiedergegebenen Tonfolge,
    b) Ermitteln eines zeitlichen Frequenzverlaufs der in Schritt a) aufgenommenen Tonfolge,
    c) Ermitteln der Tonhöhen und/oder Tonlängen aus dem zeitlichen Frequenzverlauf,
    d) Aufteilen der in Schritt c) gewonnenen Tonfolge in mehrere, unter vorbestimmten Kriterien zusammenhängende Tonsequenzen,
    e) Vergleichen der in Schritt d) gewonnenen Tonsequenzen mit Referenz-Tonsequenzen (#1, #2, #3), die auf einer Zerlegung der Referenz-Tonfolgen (R1, R2,R3) nach den Kriterien aus Schritt d) beruhen, und Erfassen von Übereinstimmungen und
    f) Ausgeben wenigstens der Referenz-Tonfolge (R1, R2, R3) mit den meisten Übereinstimmungen zwischen Tonsequenzen und Referenz-Tonsequenzen (#1, #2, #3).
  2. Verfahren nach Anspruch 1,
    bei dem in Schritt e) die Kriterien ein Auftreten von Pausen in der wiedergegebenen Tonfolge umfassen.
  3. Verfahren nach einem der Ansprüche 1 oder 2,
    bei dem in Schritt e) die Kriterien Periodizitäten wie Takte in der wiedergegeben Tonfolge umfassen.
  4. Verfahren nach einem der Ansprüche 1 bis 3,
    bei dem in Schritt e) in das Vergleichen eine Ähnlichkeits-Liste einbezogen wird, die Zuordnungen zwischen einander ähnlichen Referenz-Tonsequenzen (#1, #2, #3) enthält.
  5. Verfahren nach einem der Ansprüche 1 bis 4,
    bei dem in einem Schritt g) der zeitliche Frequenzverlauf aus Schritt b) mit zeitlichen Referenz-Frequenzverläufen aus einer Referenz-Frequenzverlaufs-Datenbank verglichen wird.
  6. Verfahren nach Anspruch 5,
    bei dem in Schritt g) der zeitliche Frequenzverlauf aus Schritt b) für den Vergleich hinsichtlich der absoluten Frequenzwerte und/oder seiner Zeitachse systematisch modifiziert wird.
  7. Verfahren nach einem der Ansprüche 5 oder 6,
    bei dem die Frequenzverläufe in Frequenzverlaufssequenzen unterteilt sind.
  8. Verfahren nach einem der Ansprüche 5 bis 7,
    bei dem, abhängig von dem Vergleichsergebnis in Schritt g), die zeitliche Auflösung für die Frequenzverläufe verändert wird.
EP02015381A 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge Expired - Lifetime EP1381024B1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AT02015381T ATE455347T1 (de) 2002-07-10 2002-07-10 Verfahren zum auffinden einer tonfolge
DE50214167T DE50214167D1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge
EP02015381A EP1381024B1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP02015381A EP1381024B1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge

Publications (2)

Publication Number Publication Date
EP1381024A1 EP1381024A1 (de) 2004-01-14
EP1381024B1 true EP1381024B1 (de) 2010-01-13

Family

ID=29724426

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02015381A Expired - Lifetime EP1381024B1 (de) 2002-07-10 2002-07-10 Verfahren zum Auffinden einer Tonfolge

Country Status (3)

Country Link
EP (1) EP1381024B1 (de)
AT (1) ATE455347T1 (de)
DE (1) DE50214167D1 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
JPH06110945A (ja) * 1992-09-29 1994-04-22 Fujitsu Ltd 音楽データベース作成装置及びその検索装置
US5874686A (en) * 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
EP0944033B1 (de) * 1998-03-19 2003-05-28 Tomonari Sonoda Vorrichtung und Verfahren zum Wiederauffinden von Melodien
WO2001069575A1 (en) * 2000-03-13 2001-09-20 Perception Digital Technology (Bvi) Limited Melody retrieval system

Also Published As

Publication number Publication date
DE50214167D1 (de) 2010-03-04
EP1381024A1 (de) 2004-01-14
ATE455347T1 (de) 2010-01-15

Similar Documents

Publication Publication Date Title
EP1523719B1 (de) Vorrichtung und verfahren zum charakterisieren eines informationssignals
EP1371055B1 (de) Vorrichtung zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen des audiosignals unter verwendung einer autokorrelationsfunktion
DE102008013172B4 (de) Verfahren zur klangobjektorientierten Analyse und zur notenobjektorientierten Bearbeitung polyphoner Klangaufnahmen
EP0925461B1 (de) Verfahren zur mehrsprachenverwendung eines hidden markov lautmodelles in einem spracherkennungssystem
DE10117870B4 (de) Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank
EP2351017B1 (de) Verfahren zur erkennung von notenmustern in musikstücken
DE60303993T2 (de) Musikstrukturerkennungsgerät und -verfahren
EP1388145B1 (de) Vorrichtung und verfahren zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen
DE10058811A1 (de) Verfahren zur Identifizierung von Musikstücken
DE2918533A1 (de) Spracherkennungssystem
EP0836175B1 (de) Verfahren und Anordnung zum Ableiten wenigstens einer Folge von Wörtern aus einem Sprachsignal
DE60315880T2 (de) Datenerzeugungseinrichtung und verfahren für musikkompositionen
DE3043516C2 (de) Verfahren und Vorrichtung zur Spracherkennung
DE602004004345T2 (de) Vorrichtung zur Informationssuche, Verfahren zur Informationssuche und Aufzeichnungsmedium zur Speicherung des Informationssuchprogramms
DE60318450T2 (de) Vorrichtung und Verfahren zur Segmentation von Audiodaten in Metamustern
EP1381024B1 (de) Verfahren zum Auffinden einer Tonfolge
DE10311581A1 (de) Verfahren und System zum automatisierten Erstellen von Sprachwortschätzen
EP1377924B1 (de) VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
EP1671315B1 (de) Vorrichtung und verfahren zum charakterisieren eines tonsignals
DE112020002116T5 (de) Informationsverarbeitungsvorrichtung und Verfahren und Programm
DE3935308C1 (en) Speech recognition method by digitising microphone signal - using delta modulator to produce continuous of equal value bits for data reduction
DE102016226042A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Gestaltung eines Übergangs zwischen zwei Audio-Dateien
Marr Comparison of several clustering algorithms for data rate compression of lpc parameters
DE19844660A1 (de) Verfahren zur Bestimmung eines Diskriminanzmaßes zur Unterscheidung eines ersten Wortes von einem zweiten Wort

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17P Request for examination filed

Effective date: 20040216

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: BENQ MOBILE GMBH & CO. OHG

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

19U Interruption of proceedings before grant

Effective date: 20070101

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20070702

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20090803

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PALM, INC.

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 50214167

Country of ref document: DE

Date of ref document: 20100304

Kind code of ref document: P

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20100113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100513

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100424

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100414

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100413

26N No opposition filed

Effective date: 20101014

BERE Be: lapsed

Owner name: PALM, INC.

Effective date: 20100731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100731

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100731

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100731

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20110407 AND 20110413

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100802

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50214167

Country of ref document: DE

Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

Free format text: FORMER OWNER: PALM, INC., SUNNYVALE, CALIF., US

Effective date: 20110406

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100113

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20120620

Year of fee payment: 11

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50214167

Country of ref document: DE

Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 455347

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130710

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50214167

Country of ref document: DE

Representative=s name: MAUCHER JENKINS, DE

Effective date: 20140307

Ref country code: DE

Ref legal event code: R082

Ref document number: 50214167

Country of ref document: DE

Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE

Effective date: 20140307

Ref country code: DE

Ref legal event code: R081

Ref document number: 50214167

Country of ref document: DE

Owner name: QUALCOMM INCORPORATED, US

Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT CO., L.P., HOUSTON, US

Effective date: 20140307

Ref country code: DE

Ref legal event code: R081

Ref document number: 50214167

Country of ref document: DE

Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US

Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, TEX., US

Effective date: 20140307

Ref country code: DE

Ref legal event code: R082

Ref document number: 50214167

Country of ref document: DE

Representative=s name: SAMSON & PARTNER PATENTANWAELTE MBB, DE

Effective date: 20140307

Ref country code: DE

Ref legal event code: R082

Ref document number: 50214167

Country of ref document: DE

Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

Effective date: 20140307

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130710

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20140508 AND 20140514

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50214167

Country of ref document: DE

Representative=s name: MAUCHER JENKINS, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 50214167

Country of ref document: DE

Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20170626

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20170726

Year of fee payment: 16

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50214167

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20180710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190201

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180710