EP1377924A2 - Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal - Google Patents

Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal

Info

Publication number
EP1377924A2
EP1377924A2 EP02714186A EP02714186A EP1377924A2 EP 1377924 A2 EP1377924 A2 EP 1377924A2 EP 02714186 A EP02714186 A EP 02714186A EP 02714186 A EP02714186 A EP 02714186A EP 1377924 A2 EP1377924 A2 EP 1377924A2
Authority
EP
European Patent Office
Prior art keywords
signal
time
database
search
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP02714186A
Other languages
German (de)
French (fr)
Other versions
EP1377924B1 (en
Inventor
Frank Klefenz
Karlheinz Brandenburg
Wolfgang Hirsch
Christian Uhle
Christian Richter
Andras Katai
Matthias Kaufmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1377924A2 publication Critical patent/EP1377924A2/en
Application granted granted Critical
Publication of EP1377924B1 publication Critical patent/EP1377924B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/135—Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G10H2250/011—Genetic algorithms, i.e. using computational steps analogous to biological selection, recombination and mutation on an initial population of, e.g. sounds, pieces, melodies or loops to compose or otherwise generate, e.g. evolutionary music or sound synthesis

Definitions

  • Method and device for extracting a signal identifier Method and device for generating a database from signal identifiers and method and device for referencing a search time signal
  • the present invention relates to the processing of time signals having a harmonic component, and in particular to the generation of a signal identifier for a time signal to describe the time signal by means of a database in which a plurality of signal identifiers for a plurality of time signals are stored to be able to.
  • time signals with a harmonic component such as For example, audio data that can be identified and referenced are useful for many users. Particularly in a situation where there is an audio signal whose title and author are unknown, it is often desirable to find out who wrote the song. There is a need for this, for example, if the wish is present, e.g. B. to acquire a CD of the artist in question. If the present audio signal only includes the time signal content, but no name about the artist, the music publisher, etc., then it is not possible to identify the origin of the audio signal or who wrote the song. The only hope was then to hear the audio piece together with reference data regarding the author or the source, where the audio signal can be obtained, in order to then be able to obtain the desired title.
  • Audio signals or more generally, time signals that have a harmonic component can be searched by such search engines. are not processed if they do not include any textual search information.
  • a realistic inventory of audio files includes several thousand stored audio files up to hundreds of thousands of audio files.
  • Music database information can be stored on a central Internet server, and potential searches can be made over the Internet.
  • the central music databases on local hard disk systems are also conceivable for users. It is desirable to be able to search through such music databases in order to find reference data about an audio file, of which only the file itself, but no reference data, is known.
  • Similar pieces are, for example, the pieces with a similar melody, a similar set of instruments, or simply with similar sounds, such as. B. sound of the sea, twittering of birds, male voices, female voices, etc.
  • US Patent No. 5,918,223 discloses a method and apparatus for content based analysis, storage, retrieval and segmentation of audio information. This method is based on extracting several acoustic features from one audio signal. Volume, bass, pitch, brightness and melody-frequency-based cepstral coefficients are measured in a time window of a certain length at periodic intervals. Each measurement data record consists of a sequence of measured feature vectors. Each audio file is specified by the complete set of feature sequences calculated for each feature. Furthermore, the first derivatives are calculated for each sequence of feature vectors. Then statistical values such as mean and standard deviation are calculated. This Set of values is stored in an N vector, that is, a vector with n elements.
  • This procedure is applied to a variety of audio files to derive an N vector for each audio file.
  • This gradually builds up a database from a large number of N vectors.
  • a search N vector is then extracted from an unknown audio file using the same procedure.
  • a distance calculation of the predefined N vector and the N vectors stored in the database is then determined.
  • the N-vector is output which has the minimum distance to the search N-vector.
  • the output N-vector is assigned data about the author, the title, the source of procurement, etc., so that an audio file can be identified with regard to its origin.
  • the disadvantage of this method is that several characteristics are calculated and arbitrary heuristics for calculating the parameters are introduced.
  • the mean value and standard deviation calculations for all feature vectors for an entire audio file reduce the information given by the time history of the feature vectors to a few feature sizes. This leads to a high loss of information.
  • the object of the present invention is to provide a method and a device for extracting a signal identifier from a time signal, which enable a meaningful identification of a time signal without excessive loss of information.
  • This object is achieved by a method for extracting a signal identifier from a time signal according to patent claim 1 or by a device for extracting a signal identifier from a time signal according to patent claim 19.
  • Another object of the present invention is to provide a method and an apparatus for producing a ner database from signal identifiers and to create a method and an apparatus for referencing a search time signal by means of such a database.
  • This object is achieved by a method for generating a database according to claim 13, a device for generating a database according to claim 20, a method for referencing a search time signal according to claim 14 or a device for referencing a search time signal according to claim 21.
  • the present invention is based on the knowledge that with time signals that have a harmonic component, the time profile of the time signal can be used to extract a signal identifier of the time signal from the time signal, which on the one hand provides a good fingerprint for the time signal, but which on the other hand, it is manageable with regard to the amount of data to enable an efficient search of a large number of signal identifiers in a database.
  • An essential property of time signals with a harmonic component are recurring signal edges in the time signal. B. two successive signal edges with the same or similar length allow the specification of a period and thus a frequency in the time signal with high temporal and frequency resolution, if not only the presence of the signal edges themselves, but also the temporal occurrence of the signal edges in the time signal is taken into account.
  • the time signal consists of frequencies which are successive in time.
  • the audio signal is thus characterized in such a way that a tone, that is to say a frequency, is present at a certain point in time, and that this tone, ie this frequency, is followed by another tone, ie a different frequency, at a later point in time.
  • the description of the time signal by means of a sequence of temporal sampling values is therefore passed to a description of the time signal by coordinate tuples from frequency and time of occurrence of the frequency.
  • the signal identifier or in other words the feature vector (MV), which is used to describe the time signal, thus comprises a sequence of signal identification values which, depending on the embodiment, more or less roughly reproduces the time profile of the time signal.
  • the time signal is therefore not characterized on the basis of its spectral properties, as in the prior art, but on the basis of the chronological sequence of frequencies in the time signal.
  • At least two detected signal edges are thus required to calculate a frequency value from the detected signal edges.
  • the selection of these two signal edges from the total detected signal edges, on the basis of which frequency values are calculated, is diverse. First, two successive signal edges of essentially the same length can be used. The frequency value is then the reciprocal of the time interval between these edges. Alternatively, a selection can also be made based on the amplitude of the detected signal edges. In this way, two successive signal edges of the same amplitude can also be taken in order to determine a frequency value. However, it is not always necessary to take two successive signal edges, but e.g. B. always the second, third, fourth, ... signal edge of the same amplitude or length.
  • any two signal edges can also be taken in order to obtain the coordinate tuple using statistical methods and on the basis of the superposition laws.
  • a flute tone provides two signal edges with a high amplitude, between which there is a wave crest with a lower amplitude.
  • a selection of the two detected signal edges is made according to the amplitude.
  • the temporal sequence of tones is the most natural way of characterization, since, as can be recognized most easily by music signals, the essence of the audio signal lies in the temporal sequence of tones.
  • the most immediate sensation a listener receives from a music signal is the temporal sequence of tones.
  • a catchy melody which generally consists of a sequence consists of simple tones, whereby the theme or the simple melody significantly shapes the ability to recognize regardless of rhythm, pitch, any instrument accompaniment, etc.
  • the concept according to the invention is based on this knowledge and provides a signal identifier which consists of a chronological sequence of frequencies or, depending on the embodiment, of a chronological sequence of frequencies, i. H. Tones derived from statistical methods.
  • An advantage of the present invention is that the signal identification as a time sequence of frequencies represents a fingerprint of high information content for time signals with a harmonic component and to a certain extent constitutes the essential or the core of a time signal.
  • the signal identifier extracted according to the invention represents a strong compression of the time signal, but is still based on the temporal course of the time signal and thus on the natural understanding of time signals, e.g. B. pieces of music is adjusted.
  • Another advantage of the present invention is that the sequential nature of the signal identification means that the distance calculation referencing algorithms in the prior art can be dispensed with and algorithms known from DNA sequencing can be used in a database to reference the time signal and that, in addition, similarity calculations can also be performed using DNA sequencing algorithms with replace / insert / delete operations.
  • a further advantage of the present invention is that the Hough transformation, for which efficient algorithms exist from image processing and image recognition, can be used in a favorable manner to detect the time occurrence of signal edges in the time signal.
  • the signal identifier of a time signal extracted according to the invention is independent of whether the search signal identifier is derived from the entire time signal or only from a section of the time signal, since according to the algorithms of DNA sequencing, a time stepwise Comparison of the search signal identifier with a reference signal identifier can be carried out, the portion of the time signal to be identified being, so to speak, automatically identified in the reference time signal where the highest match between the search signal identifier and the reference signal identifier exists due to the temporally sequential comparison ,
  • FIG. 1 shows a block diagram of the device according to the invention for extracting a signal identifier from a time signal
  • FIG. 2 shows a block diagram of a preferred exemplary embodiment, in which preprocessing of the audio signal is shown
  • FIG. 3 shows a block diagram of an exemplary embodiment for the signal identification generation
  • FIG. 4 shows a block diagram for a device according to the invention for generating a database and for referencing a search time signal in the database.
  • Fig. 5 graphical representation of a section of Mozart KV 581 by frequency-time coordinate tuple.
  • the device comprises a device 12 for performing a signal edge detection, a device 14 for determining the distance between two selected detected edges, a device 16 for frequency calculation and a device 18 for signal recognition generation using coordinate tuples output from the device 16 for frequency calculation each have a frequency value and an occurrence time for this frequency value.
  • the device 12 for detecting the temporal occurrence of signal edges in the time signal preferably carries out a Hough transformation.
  • the Hough transformation is in the U.S. - Patent No. 3,069,654 by Paul V. C. Hough.
  • the Hough transformation is used for the detection of complex structures and in particular for the automatic detection of complex lines in photographs or other image representations.
  • the Hough transform is thus generally a technique that can be used to extract features with a special shape within an image.
  • the Hough transformation is used to extract signal edges with specified time lengths from the time signal.
  • a signal edge is initially specified by its length in time.
  • a signal edge would be defined by the rising edge of the sine function from 0 to 90 °.
  • a signal edge could also be specified by increasing the sine function from -90 ° to + 90 °.
  • the temporal length of a signal edge takes into account the sampling frequency with which the samples were generated, corresponds to a certain number of samples.
  • the length of a signal edge can thus be easily determined by the specification of the number of samples that the signal edge is to include.
  • a signal edge as a signal edge only if it is continuous and has a predominantly monotonic course, that is to say in the In the case of a positive signal edge it has a predominantly monotonously increasing profile.
  • negative signal edges ie monotonically falling signal edges, can also be detected.
  • Another criterion for the classification of signal edges is that a signal edge is only detected as a signal edge if it covers a certain level range. In order to suppress noise disturbances, it is preferred to specify a minimum level range or amplitude range for a signal edge, wherein monotonically increasing signal edges below this level range are not detected as signal edges.
  • a further restriction is made for referencing audio signals to the effect that only signal edges are sought whose specified time length is greater than a minimum limit length and less than a maximum time limit length.
  • the signal edge detection unit 12 thus supplies a signal edge and the time of the occurrence of the signal edge. It is irrelevant whether the time of the first sample value of the signal edge, the time of the last sample value of the signal edge or the time of any sample value is taken within the signal edge, as long as signal edges are treated equally.
  • the device 14 for determining a time interval between two successive signal edges, the lengths of which are the same apart from a predetermined tolerance value examines the signal edges output by the device 12 and extracts two successive signal edges that are the same or within a specific predetermined tolerance value in the are essentially the same. If a simple sine tone is considered, a period of the sine tone is determined by the time interval between two successive z. B. given positive quarter waves.
  • the device 16 for calculating a frequency value from the determined time interval is based on this. The frequency value corresponds to the inverse of the determined time interval.
  • a representation of a time signal can be provided with a high temporal and at the same time frequency resolution by specifying the frequencies occurring in the time signal and specifying the times of occurrence corresponding to the frequencies. If the results of the device 16 for frequency calculation are represented graphically, a diagram according to FIG. 5 is obtained.
  • FIG. 5 shows a section with a length of about 13 seconds of the clarinet quintet in A major, Larghetto, KV 581 by Wolfgang Amadeus Mozart, as it would appear at the output of the device 16 for frequency calculation.
  • This section features a clarinet that plays a melody-leading solo part and an accompanying string quartet.
  • the coordinate tuples shown in FIG. 5 result as they could be generated by the device 16 for frequency calculation.
  • the device 18 serves to generate from the results of the device 16 a signal identifier that is cheap and suitable for a signal identifier database.
  • the signal identifier is generally generated from a plurality of coordinate tuples, each coordinate tuple comprising a frequency value and an occurrence time, so that the signal identifier comprises a sequence of signal identifier values which reproduce the time profile of the time signal.
  • the device 18 serves to extract the essential information from the frequency-time diagram of FIG. 5, which could be generated by the device 16, in order to generate a fingerprint of the time signal, which is compact on the one hand and, on the other hand, can differentiate the time signal from other time signals with sufficient accuracy and differentiation.
  • An audio file 20 is input to an audio I / O handler as the time signal.
  • the audio I / O handler 22 reads the audio file from a hard drive, for example.
  • the audio data stream can also be read directly via a sound card.
  • the device 22 closes the audio file again and loads the next audio file to be processed or terminates the reading process.
  • the device 24 serves, on the one hand, to carry out a sampling rate conversion if necessary, or to achieve a volume modification of the audio signal.
  • Audio signals are available on different media in different sampling frequencies. As has already been explained, however, the time of the occurrence of a signal edge in the audio gnal used to describe the audio signal, so that the sampling rate must be known in order to correctly detect the occurrence times of signal edges, and in addition to correctly detect frequency values.
  • a sampling rate conversion can be carried out by decimation or interpolation in order to bring the audio signals of different sampling rates to the same sampling rate.
  • the device 24 is therefore provided in order to carry out a sampling rate setting.
  • the PCM samples are also subjected to an automatic level adjustment, which is also provided in the device 24.
  • the average signal power of the audio signal is determined in the device 24 for automatic level adjustment in a look-ahead buffer.
  • the audio signal section which lies between two signal power minima is multiplied by a scaling factor which is the product of a weighting factor and the quotient of the full scale and the maximum level within the segment.
  • the length of the look-ahead buffer is variable.
  • the audio signal which has been preprocessed in this way is then fed into the device 12, which carries out a signal edge detection, as has been described with reference to FIG. 1.
  • the Hough transformation is preferably used for this.
  • a circuit implementation of the Hough transformation is disclosed in WO 99/26167.
  • the amplitude of a signal edge determined by the Hough transformation and the time of detection of a signal edge are then transferred to the device 14 in FIG. 1.
  • the device 16 from FIG. 1 and, when a piece of music is processed accordingly, leads to the frequency-time diagram of FIG. 5, in which the frequency-time-coordinate tuples obtained are shown graphically, which by Mozart, Köchel-Directory 581.
  • the signal identification generator 18 can be constructed as shown in FIG. 3.
  • the device 18 is divided into a device 18a for determining the cluster areas, a device 18b for grouping, a device 18c for averaging over a group, a device 18d for interval setting, a device for quantizing 18e and finally a device 18f to get the signal identifier for the time signal.
  • characteristic distribution point clouds which are referred to as clusters or clusters, are worked out in the device 18a for determining the cluster areas. This is done by deleting all isolated frequency-time tuples that exceed a predetermined minimum distance from the nearest spatial neighbor. Such isolated frequency-time tuples are, for example, the points in the top right corner of the 5.
  • the pitch contour strip band d consists of clusters of a certain frequency width and length, these clusters being caused by played tones. These tones are indicated in Fig.
  • the tone al has a frequency of 440 Hz.
  • the tone hl has a frequency of 494 Hz.
  • the tone c2 has a frequency of 523 Hz, the tone cis2 has a frequency of 554 Hz, while the tone d2 has a frequency of 587 Hz ,
  • the strip width for single tones also depends on a vibrato of the musical instrument producing the single tones.
  • the coordinate tuples of the pitch contour strip band are combined or grouped into a processing block to be processed separately in a time window of n samples.
  • the block size can be chosen to be equidistant or variable.
  • a relatively rough division can be selected, for example a one-second raster, which corresponds to a certain number of samples per block over the present sampling rate, or a smaller division.
  • the grid can always be chosen so that a tone falls into the grid.
  • a group or a block is then determined by the time interval between two local extreme values of the polynomial.
  • This approach delivers particularly for relatively monophonic sections, relatively large groups of samples, such as occur between 6 and 12 seconds, while for relatively polyphonic intervals of the piece of music, in which the coordinate tuples are distributed over a large frequency range, such as e.g. B. at about 2 seconds in Fig. 5 or at 12 seconds of Fig. 5 smaller groups can be determined, which in turn leads to the fact that the signal recognition is carried out on the basis of relatively small groups, so that the information compression is smaller than with a fixed block formation is.
  • a weighted average over all coordinate tuples present in a block is determined as required.
  • the tuples outside the pitch contour strip band had already been "hidden" beforehand.
  • this fading out can also be dispensed with, which leads to all coordinate tuples calculated by the device 16 being averaged by the the device 18c is carried out are taken into account.
  • a jump distance for determining the center of the next, i.e. H. temporally following, group of samples determined.
  • the value that has been calculated by the device 18c is quantized into non-equidistant raster values.
  • the tone frequency scale As has already been explained, being divided according to the frequency range supplied by a conventional piano and deviating from 27.5 Hz (tone A2) extends to 4186 Hz (tone c5) and 88 tone stages includes. If the averaged value at the output of the device 18c lies between two adjacent semitones, it receives the value of the closest reference tone.
  • the quantized values can be post-processed by the device 18f, post-processing could consist, for example, of a pitch offset correction, a transposition into another tone scale, etc.
  • FIG. 4 schematically shows a device for referencing a search time signal in a database 40, the database 40 having signal identifiers of a plurality of database time signals Track_l to Track_m, which are stored in a library 42, which is preferably separate from the database 40.
  • the database In order to be able to reference a time signal on the basis of the database 40, the database must first be filled, which can be achieved in a “learning” mode.
  • audio files 41 are gradually fed to a vector generator 43 which has a reference identifier for each audio file and stores it in the database in such a way that it can be recognized to which audio file the signal identifier belongs, for example in library 42.
  • the signal identifier MVll, ...., MVln corresponds to the time signal Track_l.
  • the signal identifier MV21, .-., MV2n belongs to the time signal Track_2.
  • the signal identifier MVml, ..., MVmn belongs to the time signal Track_m.
  • the vector generator 43 is designed to generally perform the functions shown in FIG. 1, and is measured a preferred embodiment as shown in FIGS. 2 and 3 implemented. In the “learning” mode, the vector generator 43 gradually processes various audio files (Track_l to Track_m) in order to store signal identifiers for the time signals in the database, ie to fill the database.
  • an audio file 41 is to be referenced using the database 40.
  • the search time signal 41 is processed by the vector generator 43 in order to generate a search identifier 45.
  • the search identifier 45 is then converted into a DNA Sequencer 46 is fed in to be compared with the reference identifiers in database 40.
  • DNA sequencer 46 is also arranged to make a statement about the search time signal with regard to the plurality of database time signals from library 42. Der DNA sequencer searches the database 40 for a matching reference identifier with the search identifier 45 and transfers a pointer to the corresponding audio file in the library 42 associated with the reference identifier.
  • the DNA sequencer 46 thus compares the search identifier 45 or parts thereof with the reference identifiers in the database. If the specified sequence or a partial sequence thereof is present, the associated time signal is referenced in library 42.
  • the DNA sequencer 46 preferably executes a Boyer-Moore algorithm, which is described, for example, in the textbook “Algorithms on Strings, Trees and Sequences", Dan Gusfield, Cambridge University Press, 1997. According to a first alternative, exact agreement is sought Making a statement is therefore to say that the search time signal is identical to a time signal in library 42. Alternatively or in addition, the similarity of two sequences can also be achieved by using replace / insert / delete operations and a pitch offset correction (pitch offset correction) are examined.
  • pitch offset correction pitch offset correction
  • the database 40 is preferably structured in such a way that it is composed of the concatenation of signal identification sequences, the end of each vector signal identification of a time signal being defined by a separator, so that the search is not continued over time signal file boundaries. If several matches are found, all referenced time signals are given.
  • a similarity measure can be introduced by using the Replace / Insert / Delete operations, the time signal being referenced in the library 42 which is most similar to the search time signal 41 on the basis of a predetermined similarity measure. It is further preferred to determine a similarity measure of the search audio signal to a plurality of signals in the library and then to output the n most similar sections in the library 42 in descending order.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

In a method of extracting a signal identifier from a time signal, the temporal occurrence of signal edges in the time signal is detected (12), wherein a signal edge has a specified temporal length. In addition, the temporal interval between two selected detected signal edges is determined (14). From the temporal interval determined, a frequency value is calculated (16), the frequency value being associated with a time of occurrence of the frequency value in the time signal so as to obtain a coordinate tuple from the frequency value and the time of occurrence for this frequency value. A signal identifier is created from a plurality of coordinate tuples (18), each coordinate tuple including a frequency value and a time of occurrence, which is why the signal identifier includes a sequence of signal identifier values reproducing the temporal form of the time signal. The extracted signal identifier is based on signal edges of the time signal and thus reproduces the temporal form of the time signal. The signal identifier is therefore characteristic of the time signal, on the one hand, and robust towards changes in the time signal, on the other hand.

Description

Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals Method and device for extracting a signal identifier, method and device for generating a database from signal identifiers and method and device for referencing a search time signal
Beschreibungdescription
Die vorliegende Erfindung bezieht sich auf die Verarbeitung von Zeitsignalen, die einen harmonischen Anteil haben, und insbesondere auf das Erzeugen einer Signalkennung für ein Zeitsignal, um das Zeitsignal mittels einer Datenbank, in der eine Mehrzahl von Signalkennungen für eine Mehrzahl von Zeitsignalen gespeichert ist, beschreiben zu können.The present invention relates to the processing of time signals having a harmonic component, and in particular to the generation of a signal identifier for a time signal to describe the time signal by means of a database in which a plurality of signal identifiers for a plurality of time signals are stored to be able to.
Konzepte, durch die Zeitsignale mit einem harmonischen Anteil, wie z. B. Audiodaten, identifizierbar und referen- zierbar sind, sind für viele Anwender nützlich. Insbesondere in einer Situation, in der ein Audiosignal vorliegt, dessen Titel und Autor unbekannt sind, ist es oftmals wünschenswert, herauszufinden, von wem das entsprechende Lied stammt. Ein Bedarf hierzu besteht beispielsweise, wenn der Wunsch vorhanden ist, z. B. eine CD des betreffenden Interpreten zu erwerben. Wenn das vorliegende Audiosignal ledig- lieh den Zeitsignalinhalt umfaßt, jedoch keinen Namen über den Interpreten, den Musikverlag etc., so ist eine Identifizierung des Ursprungs des Audiosignals bzw. von wem ein Lied stammt, nicht möglich. Die einzige Hoffnung bestand dann darin, das Audiostück samt Referenzdaten bezüglich des Autors oder der Quelle, wo das Audiosignal zu erwerben ist, noch einmal zu hören, um dann den gewünschten Titel beschaffen zu können.Concepts through which time signals with a harmonic component, such as For example, audio data that can be identified and referenced are useful for many users. Particularly in a situation where there is an audio signal whose title and author are unknown, it is often desirable to find out who wrote the song. There is a need for this, for example, if the wish is present, e.g. B. to acquire a CD of the artist in question. If the present audio signal only includes the time signal content, but no name about the artist, the music publisher, etc., then it is not possible to identify the origin of the audio signal or who wrote the song. The only hope was then to hear the audio piece together with reference data regarding the author or the source, where the audio signal can be obtained, in order to then be able to obtain the desired title.
Im Internet ist es nicht möglich, Audiodaten unter Verwen- düng herkömmlicher Suchmaschinen zu suchen, da die Suchmaschinen lediglich mit textuellen Daten umgehen können. Audiosignale bzw. allgemeiner gesagt, Zeitsignale, die einen harmonischen Anteil haben, können durch solche Suchmaschi- nen nicht verarbeitet werden, wenn sie keine textuellen Suchangaben umfassen.On the Internet, it is not possible to search for audio data using conventional search engines, since the search engines can only deal with textual data. Audio signals or more generally, time signals that have a harmonic component can be searched by such search engines. are not processed if they do not include any textual search information.
Ein realistischer Bestand an Audiodateien liegt bei mehre- ren tausend gespeicherten Audiodateien bis zu hunderttau- senden von Audiodateien. Musikdatenbankinformationen können auf einem zentralen Internet-Server abgelegt sein, und potentielle Suchanfragen könnten über das Internet erfolgen. Alternativ sind bei heutigen Festplattenkapazitäten auch die zentrale Musikdatenbanken auf lokalen Festplattensystemen von Benutzern denkbar. Es ist wünschenswert, solche Musikdatenbanken durchsuchen zu können, um Referenzdaten über eine Audiodatei zu erfahren, von der lediglich die Datei selbst, jedoch keine Referenzdaten bekannt sind.A realistic inventory of audio files includes several thousand stored audio files up to hundreds of thousands of audio files. Music database information can be stored on a central Internet server, and potential searches can be made over the Internet. Alternatively, with today's hard disk capacities, the central music databases on local hard disk systems are also conceivable for users. It is desirable to be able to search through such music databases in order to find reference data about an audio file, of which only the file itself, but no reference data, is known.
Darüber hinaus ist es gleichermaßen wünschenswert, Musikdatenbanken unter Verwendung vorgegebener Kriterien durchsuchen zu können, die beispielsweise dahingehend lauten, ähnliche Stücke herausfinden zu können. Ähnliche Stücke sind beispielsweise die Stücke mit einer ähnlichen Melodie, einem ähnlichen Instrumentensatz, oder einfach mit ähnlichen Geräuschen, wie z. B. Meeresrauschen, Vogelgezwitscher, männliche Stimmen, weibliche Stimmen, etc.In addition, it is equally desirable to be able to search through music databases using predetermined criteria, such as being able to find similar pieces. Similar pieces are, for example, the pieces with a similar melody, a similar set of instruments, or simply with similar sounds, such as. B. sound of the sea, twittering of birds, male voices, female voices, etc.
Das U.S. -Patent Nr. 5,918,223 offenbart ein Verfahren und eine Vorrichtung für eine Inhalts-basierte Analyse, Speicherung, Wiedergewinnung und Segmentierung von Audioinformationen. Dieses Verfahren beruht darauf, mehrere akustische Merkmale aus einem Audiosignal zu extrahieren. Gemes- sen werden Lautstärke, Baß, Tonhöhe, Brightness und Melfre- quenz-basierte Cepstral-Koffizienten in einem Zeitfenster bestimmter Länge in periodischen Intervallabständen. Jeder Meßdatensatz besteht aus einer Folge von gemessenen Merkmalsvektoren. Jede Audiodatei ist durch den kompletten Satz der pro Merkmal berechneten Merkmalsfolgen spezifiziert. Ferner werden die ersten Ableitungen für jede Folge von Merkmalsvektoren berechnet. Dann werden statistische Werte wie Mittelwert und Standardabweichung berechnet. Dieser Satz von Werten wird in einem N-Vektor, d. h. einem Vektor mit n Elementen, gespeichert. Diese Vorgehensweise wird auf eine Vielzahl von Audiodateien angewendet, um für jede Audiodatei einen N-Vektor abzuleiten. Damit wird nach und nach eine Datenbank aus einer Vielzahl von N-Vektoren aufgebaut. Aus einer unbekannten Audiodatei wird dann unter Verwendung derselben Vorgehensweise ein Such-N-Vektor extrahiert. Bei einer Suchanfrage wird dann eine Abstandsberechnung des vorgegebenen N-Vektors und der in der Daten- bank gespeicherten N-Vektoren ermittelt. Schließlich wird der N-Vektor ausgegeben, der den minimalen Abstand zu dem Such-N-Vektor hat. Dem ausgegebenen N-Vektor sind Daten über den Autor, den Titel, die Beschaffungsquelle etc. zugeordnet, so daß eine Audiodatei hinsichtlich ihres Ur- sprungs identifiziert werden kann.US Patent No. 5,918,223 discloses a method and apparatus for content based analysis, storage, retrieval and segmentation of audio information. This method is based on extracting several acoustic features from one audio signal. Volume, bass, pitch, brightness and melody-frequency-based cepstral coefficients are measured in a time window of a certain length at periodic intervals. Each measurement data record consists of a sequence of measured feature vectors. Each audio file is specified by the complete set of feature sequences calculated for each feature. Furthermore, the first derivatives are calculated for each sequence of feature vectors. Then statistical values such as mean and standard deviation are calculated. This Set of values is stored in an N vector, that is, a vector with n elements. This procedure is applied to a variety of audio files to derive an N vector for each audio file. This gradually builds up a database from a large number of N vectors. A search N vector is then extracted from an unknown audio file using the same procedure. In the case of a search query, a distance calculation of the predefined N vector and the N vectors stored in the database is then determined. Finally, the N-vector is output which has the minimum distance to the search N-vector. The output N-vector is assigned data about the author, the title, the source of procurement, etc., so that an audio file can be identified with regard to its origin.
Dieses Verfahren hat den Nachteil, daß mehrere Merkmale berechnet werden und willkürliche Heuristiken zur Berechnung der Kenngrößen eingeführt werden. Durch Mittelwert- und Standardabweichungsberechnungen über alle Merkmalsvektoren für eine gesamte Audiodatei wird die Information, die durch den zeitlichen Verlauf der Merkmalsvektoren gegeben ist, auf wenige Merkmalsgrößen reduziert. Dies führt zu einem hohen Informationsverlust.The disadvantage of this method is that several characteristics are calculated and arbitrary heuristics for calculating the parameters are introduced. The mean value and standard deviation calculations for all feature vectors for an entire audio file reduce the information given by the time history of the feature vectors to a few feature sizes. This leads to a high loss of information.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren und eine Vorrichtung zum Extrahieren einer Signalkennung aus einem Zeitsignal zu schaffen, die eine aussagekräftige Kennzeichnung eines Zeitsignals ohne zu großen Informationsverlust ermöglichen.The object of the present invention is to provide a method and a device for extracting a signal identifier from a time signal, which enable a meaningful identification of a time signal without excessive loss of information.
Diese Aufgabe wird durch ein Verfahren zum Extrahieren einer Signalkennung aus einem Zeitsignal nach Patentanspruch 1 oder durch eine Vorrichtung zum Extrahieren einer Signal- kennung aus einem Zeitsignal nach Patentanspruch 19 gelöst.This object is achieved by a method for extracting a signal identifier from a time signal according to patent claim 1 or by a device for extracting a signal identifier from a time signal according to patent claim 19.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren und eine Vorrichtung zum Erzeugen ei- ner Datenbank aus Signalkennungen und ein Verfahren und eine Vorrichtung zum Referenzieren eines Such-Zeitsignal mittels einer solchen Datenbank zu schaffen.Another object of the present invention is to provide a method and an apparatus for producing a ner database from signal identifiers and to create a method and an apparatus for referencing a search time signal by means of such a database.
Diese Aufgabe wird durch ein Verfahren zum Erzeugen einer Datenbank nach Patentanspruch 13, eine Vorrichtung zum Erzeugen einer Datenbank nach Patentanspruch 20 , ein Verfahren zum Referenzieren eines Such-Zeitsignals nach Patentanspruch 14 oder eine Vorrichtung zum Referenzieren eines Such-Zeitsignals nach Patentanspruch 21 gelöst.This object is achieved by a method for generating a database according to claim 13, a device for generating a database according to claim 20, a method for referencing a search time signal according to claim 14 or a device for referencing a search time signal according to claim 21.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß bei Zeitsignalen, die einen harmonischen Anteil haben, der zeitliche Verlauf des Zeitsignals verwendet werden kann, um eine Signalkennung des Zeitsignals aus dem Zeitsignal zu extrahieren, die einerseits einen guten Fingerabdruck für das Zeitsignal liefert, die jedoch andererseits hinsichtlich ihrer Datenmenge überschaubar ist, um ein effizientes Durchsuchen einer Vielzahl von Signalkennungen in einer Datenbank zu ermöglichen. Eine wesentliche Eigenschaft von Zeitsignalen mit einem harmonischen Anteil sind wiederkehrende Signalflanken in dem Zeitsignal, wobei z. B. zwei aufeinanderfolgende Signalflanken mit gleicher bzw. ähnlicher Länge die Angabe einer Periodendauer und damit einer Frequenz in dem Zeitsignal mit hoher zeitlicher und frequenzmäßiger Auflösung ermöglichen, wenn nicht nur das Vorhandensein der Signalflanken an sich, sondern auch das zeitliche Auftreten der Signalflanken in dem Zeitsignal berücksichtigt wird. Somit ist es möglich, eine Beschreibung des Zeitsignals dadurch zu erhalten, daß das Zeitsignal aus zeitlich aufeinanderfolgenden Frequenzen besteht. Am Beispiel eines Audiosignals wird das Audiosignal somit so charakterisiert, daß ein Ton, also eine Frequenz, zu einem bestimmten Zeitpunkt vorhanden ist, und daß diesem Ton, d. h. dieser Frequenz, zu einem späteren Zeitpunkt ein anderer Ton, d. h. eine andere Frequenz, folgt. Erfindungsgemäß wird somit von der Beschreibung des Zeitsignals durch eine Folge von zeitlichen Abtastwerten in eine Beschreibung des Zeitsignals durch Koordinaten-Tupel aus Frequenz und Zeitpunkt des Auftretens der Frequenz überge- gangen. Die Signalkennung oder anders ausgedrückt der Merkmalsvektor (MV) , der zum Beschreiben des Zeitsignals verwendet wird, umfaßt somit eine Folge von Signalkennungswer- ten, die je nach Ausführungsform mehr oder weniger grob den zeitlichen Verlauf des Zeitsignals wiedergibt. Das Zeitsi- gnal wird somit nicht, wie im Stand der Technik, anhand seiner spektralen Eigenschaften charakterisiert, sondern anhand der zeitlichen Abfolge von Frequenzen in dem Zeitsignal .The present invention is based on the knowledge that with time signals that have a harmonic component, the time profile of the time signal can be used to extract a signal identifier of the time signal from the time signal, which on the one hand provides a good fingerprint for the time signal, but which on the other hand, it is manageable with regard to the amount of data to enable an efficient search of a large number of signal identifiers in a database. An essential property of time signals with a harmonic component are recurring signal edges in the time signal. B. two successive signal edges with the same or similar length allow the specification of a period and thus a frequency in the time signal with high temporal and frequency resolution, if not only the presence of the signal edges themselves, but also the temporal occurrence of the signal edges in the time signal is taken into account. It is thus possible to obtain a description of the time signal in that the time signal consists of frequencies which are successive in time. Using the example of an audio signal, the audio signal is thus characterized in such a way that a tone, that is to say a frequency, is present at a certain point in time, and that this tone, ie this frequency, is followed by another tone, ie a different frequency, at a later point in time. According to the invention, the description of the time signal by means of a sequence of temporal sampling values is therefore passed to a description of the time signal by coordinate tuples from frequency and time of occurrence of the frequency. The signal identifier, or in other words the feature vector (MV), which is used to describe the time signal, thus comprises a sequence of signal identification values which, depending on the embodiment, more or less roughly reproduces the time profile of the time signal. The time signal is therefore not characterized on the basis of its spectral properties, as in the prior art, but on the basis of the chronological sequence of frequencies in the time signal.
Zur Berechnung eines Frequenzwerts aus den detektierten Signalflanken werden somit zumindest zwei detektierte Signalflanken benötigt. Die Auswahl dieser zwei Signalflanken aus den gesamten detektierten Signalflanken, auf deren Basis Frequenzwerte berechnet werden, ist vielfältig. Zunächst können zwei aufeinanderfolgende Signalflanken von im wesentlichen gleicher Länge verwendet werden. Der Frequenzwert ist dann der Kehrwert aus dem zeitlichen Abstand dieser Flanken. Alternativ kann eine Auswahl auch nach der Amplitude der detektierten Signalflanken durchgeführt werden. So können auch zwei aufeinanderfolgende Signalflanken gleicher Amplitude genommen werden, um einen Frequenzwert zu ermitteln. Es müssen jedoch nicht immer zwei aufeinanderfolgende Signalflanken genommen werden, sondern z. B. immer die zweite, dritte, vierte, ... Signalflanke gleicher Am- plitude oder Länge. Schließlich sei angemerkt, daß auch zwei beliebige Signalflanken genommen werden können, um unter Verwendung statistischer Methoden und auf der Basis der Superpositionsgesetze die Koordinatentupel zu erhalten. Am Beispiel einer Flöte wird deutlich, daß ein Flötenton zwei Signalflanken mit hoher Amplitude liefert, zwischen denen sich ein Wellenberg mit niedrigerer Amplitude befindet. Um den Grundton der Flöte zu ermitteln, könnte beispielsweise eine Auswahl der zwei detektierten Signalflanken nach der Amplitude getroffen werden.At least two detected signal edges are thus required to calculate a frequency value from the detected signal edges. The selection of these two signal edges from the total detected signal edges, on the basis of which frequency values are calculated, is diverse. First, two successive signal edges of essentially the same length can be used. The frequency value is then the reciprocal of the time interval between these edges. Alternatively, a selection can also be made based on the amplitude of the detected signal edges. In this way, two successive signal edges of the same amplitude can also be taken in order to determine a frequency value. However, it is not always necessary to take two successive signal edges, but e.g. B. always the second, third, fourth, ... signal edge of the same amplitude or length. Finally, it should be noted that any two signal edges can also be taken in order to obtain the coordinate tuple using statistical methods and on the basis of the superposition laws. Using the example of a flute, it becomes clear that a flute tone provides two signal edges with a high amplitude, between which there is a wave crest with a lower amplitude. For example, to determine the root note of the flute a selection of the two detected signal edges is made according to the amplitude.
Insbesondere für Audiosignale stellt die zeitliche Abfolge von Tönen die natürlichste Art und Weise der Charakterisierung dar, da, wie es am einfachsten an Musiksignalen erkennbar ist, der Wesensgehalt des Audiosignals eben in der zeitlichen Abfolge von Tönen steckt. Die unmittelbarste Empfindung die ein Hörer von einem Musiksignal erhält, ist die zeitliche Abfolge von Tönen. Nicht nur in der klassischen Musik, bei der sich Werke immer um ein bestimmtes Thema aufbauen, das sich in verschiedenen Abwandlungen durch das ganze Werk zieht, sondern auch bei Liedern der populären oder sonstigen zeitgenössischen Musik existiert eine einprägsame Melodie, die im allgemeinen aus einer Folge von einfachen Tönen besteht, wobei das Thema bzw. die einfache Melodie wesentlich die Wiedererkennungsfähigkeit unabhängig von Rhythmus, der Tonhöhe, einer eventuellen Instrumentenbegleitung etc. prägt.For audio signals in particular, the temporal sequence of tones is the most natural way of characterization, since, as can be recognized most easily by music signals, the essence of the audio signal lies in the temporal sequence of tones. The most immediate sensation a listener receives from a music signal is the temporal sequence of tones. Not only in classical music, in which works are always based on a certain theme, which runs through the whole work in various modifications, but also in songs of popular or other contemporary music, there is a catchy melody, which generally consists of a sequence consists of simple tones, whereby the theme or the simple melody significantly shapes the ability to recognize regardless of rhythm, pitch, any instrument accompaniment, etc.
Das erfindungsgemäße Konzept basiert auf dieser Erkenntnis und liefert eine Signalkennung, die aus einer zeitlichen Abfolge von Frequenzen besteht oder, je nach Ausführungsform, aus einer zeitlichen Abfolge von Frequenzen, d. h. Tönen, durch statistische Verfahren abgeleitet ist.The concept according to the invention is based on this knowledge and provides a signal identifier which consists of a chronological sequence of frequencies or, depending on the embodiment, of a chronological sequence of frequencies, i. H. Tones derived from statistical methods.
Ein Vorteil der vorliegenden Erfindung besteht darin, daß die Signalkennung als zeitliche Abfolge von Frequenzen einen Fingerabdruck von hohem Informationsgehalt für Zeitsi- gnale mit harmonischem Anteil darstellt und gewissermaßen das wesentliche oder den Kern eines Zeitsignal ausmacht.An advantage of the present invention is that the signal identification as a time sequence of frequencies represents a fingerprint of high information content for time signals with a harmonic component and to a certain extent constitutes the essential or the core of a time signal.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß die erfindungsgemäß extrahierte Signalkennung zwar eine starke Komprimierung des Zeitsignals darstellt, jedoch nach wie vor an den zeitlichen Verlauf des Zeitsignals angelehnt ist und damit an die natürliche Auffassung von Zeitsignalen, z. B. Musikstücken, angepasst ist. Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß durch die sequentielle Natur der Signalkennung von den Abstandsberechnungs-Referenzierungsalgorithmen im Stand der Technik weggegangen werden kann und zur Referen- zierung des Zeitsignals in einer Datenbank Algorithmen eingesetzt werden können, die aus der DNA-Sequenzierung bekannt sind und daß darüber hinaus auch Ähnlichkeitsberechnungen durchgeführt werden können, indem DNA- Sequenzierungsalgorithmen mit Ersetzen/Einfügen/Löschen- Operationen eingesetzt werden.Another advantage of the present invention is that the signal identifier extracted according to the invention represents a strong compression of the time signal, but is still based on the temporal course of the time signal and thus on the natural understanding of time signals, e.g. B. pieces of music is adjusted. Another advantage of the present invention is that the sequential nature of the signal identification means that the distance calculation referencing algorithms in the prior art can be dispensed with and algorithms known from DNA sequencing can be used in a database to reference the time signal and that, in addition, similarity calculations can also be performed using DNA sequencing algorithms with replace / insert / delete operations.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß zum Detektieren des zeitlichen Auftretens von Signalflanken in dem Zeitsignal auf günstige Art und Weise die Hough-Transformation eingesetzt werden kann, für die aus der Bildverarbeitung und Bilderkennung effiziente Algorithmen existieren.A further advantage of the present invention is that the Hough transformation, for which efficient algorithms exist from image processing and image recognition, can be used in a favorable manner to detect the time occurrence of signal edges in the time signal.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß die erfindungsgemäß extrahierte Signalkennung eines Zeitsignals unabhängig davon ist, ob die Such- Signalkennung aus dem gesamten Zeitsignal oder nur aus einem Abschnitt des Zeitsignals abgeleitet ist, da gemäß den Algorithmen der DNA-Sequenzierung ein zeitlich schrittweiser Vergleich der Such-Signalkennung mit einer Referenz- Signalkennung durchgeführt werden kann, wobei aufgrund des zeitlich sequentiellen Vergleichs der Abschnitt des zu identifizierenden Zeitsignals gewissermaßen automatisch in dem Referenz-Zeitsignal dort identifiziert wird, wo die höchste Übereinstimmung zwischen Such-Signalkennung und Referenz-Signalkennung existiert .Another advantage of the present invention is that the signal identifier of a time signal extracted according to the invention is independent of whether the search signal identifier is derived from the entire time signal or only from a section of the time signal, since according to the algorithms of DNA sequencing, a time stepwise Comparison of the search signal identifier with a reference signal identifier can be carried out, the portion of the time signal to be identified being, so to speak, automatically identified in the reference time signal where the highest match between the search signal identifier and the reference signal identifier exists due to the temporally sequential comparison ,
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen: Fig. 1 ein Blockschaltbild der erfindungsgemäßen Vorrichtung zum Extrahieren einer Signalkennung aus einem Zeitsignal;Preferred exemplary embodiments of the present invention are explained in more detail below with reference to the accompanying drawings. Show it: 1 shows a block diagram of the device according to the invention for extracting a signal identifier from a time signal;
Fig. 2 ein Blockschaltbild eines bevorzugten Ausführungsbeispiels, in dem eine Vorverarbeitung des Audiosignals dargestellt ist;2 shows a block diagram of a preferred exemplary embodiment, in which preprocessing of the audio signal is shown;
Fig. 3 ein Blockschaltbild eines Ausführungsbeispiels für die Signalkennungserzeugung;3 shows a block diagram of an exemplary embodiment for the signal identification generation;
Fig. 4 ein Blockschaltbild für eine erfindungsgemäße Vorrichtung zum Erzeugen einer Datenbank und zum Referenzieren eines Such-Zeitsignals in der Da- tenbank.4 shows a block diagram for a device according to the invention for generating a database and for referencing a search time signal in the database.
Fig. 5 graphische Darstellung eines Ausschnitts von Mozart KV 581 durch Frequenz-Zeit-Koordinaten- Tupel.Fig. 5 graphical representation of a section of Mozart KV 581 by frequency-time coordinate tuple.
Fig. 1 zeigt ein Blockdiagramm einer Vorrichtung zum Extrahieren einer Signalkennung aus einem Zeitsignal. Die Vorrichtung umfaßt eine Einrichtung 12 zum Durchführen einer Signalflankendetektion, eine Einrichtung 14 zur Abstandser- mittlung zwischen zwei ausgewählten detektierten Flanken, eine Einrichtung 16 zur Frequenzberechnung und eine Einrichtung 18 zur Signalkennungserzeugung unter Verwendung von aus der Einrichtung 16 zur Frequenzberechnung ausgegebenen Koordinaten-Tupeln, die jeweils einen Frequenzwert und eine Auftrittszeit für diesen Frequenzwert aufweisen.1 shows a block diagram of an apparatus for extracting a signal identifier from a time signal. The device comprises a device 12 for performing a signal edge detection, a device 14 for determining the distance between two selected detected edges, a device 16 for frequency calculation and a device 18 for signal recognition generation using coordinate tuples output from the device 16 for frequency calculation each have a frequency value and an occurrence time for this frequency value.
An dieser Stelle sei darauf hingewiesen, daß, obgleich im nachfolgenden von einem Audiosignal als Zeitsignal gesprochen wird, das erfindungsgemäße Konzept nicht nur für Au- diosignale geeignet ist, sondern für sämtliche Zeitsignale, die einen harmonischen Anteil haben, da die Signalkennung darauf basiert, daß ein Zeitsignal aus einer zeitlichen Ab- folge von Frequenzen, am Beispiel des Audiosignals von Tönen, besteht.At this point it should be pointed out that, although in the following we speak of an audio signal as a time signal, the concept according to the invention is not only suitable for audio signals, but for all time signals that have a harmonic component, since the signal identification is based on the fact that a time signal from a time sequence of frequencies, using the example of the audio signal of tones.
Die Einrichtung 12 zum Erfassen des zeitlichen Auftretens von Signalflanken in dem Zeitsignal führt vorzugsweise eine Hough-Transfor ation durch.The device 12 for detecting the temporal occurrence of signal edges in the time signal preferably carries out a Hough transformation.
Die Hough-Transformation ist in dem U.S. -Patent Nr. 3,069,654 von Paul V. C. Hough beschrieben. Die Hough- Transformation dient zur Erkennung von komplexen Strukturen und insbesondere zur automatischen Erkennung von komplexen Linien in Photographien oder anderen Bilddarstellungen. Die Hough-Transformation ist somit allgemein eine Technik, die verwendet werden kann, um Merkmale mit spezieller Form in- nerhalb eines Bildes zu extrahieren.The Hough transformation is in the U.S. - Patent No. 3,069,654 by Paul V. C. Hough. The Hough transformation is used for the detection of complex structures and in particular for the automatic detection of complex lines in photographs or other image representations. The Hough transform is thus generally a technique that can be used to extract features with a special shape within an image.
In ihrer Anwendung gemäß der vorliegenden Erfindung wird die Hough-Transformation dazu verwendet, aus dem Zeitsignal Signalflanken mit spezifizierten zeitlichen Längen zu ex- trahieren. Eine Signalflanke wird zunächst durch ihre zeitliche Länge spezifiziert. Im Idealfall einer Sinuswelle wäre eine Signalflanke durch die ansteigende Flanke der Sinusfunktion von 0 bis 90° definiert. Alternativ könnte eine Signalflanke auch durch den Anstieg der Sinus-Funktion von -90° bis +90° spezifiziert werden.In its application according to the present invention, the Hough transformation is used to extract signal edges with specified time lengths from the time signal. A signal edge is initially specified by its length in time. In the ideal case of a sine wave, a signal edge would be defined by the rising edge of the sine function from 0 to 90 °. Alternatively, a signal edge could also be specified by increasing the sine function from -90 ° to + 90 °.
Liegt das Zeitsignal als Folge von zeitlichen Abtastwerten („Samples") vor, so entspricht die zeitliche Länge einer Signalflanke unter Berücksichtigung der Abtastfrequenz, mit der die Samples erzeugt worden sind, einer bestimmten Anzahl von Abtastwerten. Die Länge einer Signalflanke kann somit ohne weiteres durch die Angabe der Anzahl der Abtastwerte, die die Signalflanke umfassen soll, spezifiziert werden.If the time signal is available as a sequence of temporal samples (“samples”), the temporal length of a signal edge, taking into account the sampling frequency with which the samples were generated, corresponds to a certain number of samples. The length of a signal edge can thus be easily determined by the specification of the number of samples that the signal edge is to include.
Darüber hinaus wird es bevorzugt, eine Signalflanke nur dann als Signalflanke zu detektieren, wenn dieselbe stetig ist und einen überwiegend monotonen Verlauf hat, also im Falle einer positiven Signalflanke einen überwiegend monoton steigenden Verlauf hat. Selbstverständlich können auch negative Signalflanken, also monoton fallende Signalflanken detektiert werden.In addition, it is preferred to detect a signal edge as a signal edge only if it is continuous and has a predominantly monotonic course, that is to say in the In the case of a positive signal edge it has a predominantly monotonously increasing profile. Of course, negative signal edges, ie monotonically falling signal edges, can also be detected.
Ein weiteres Kriterium zur Klassifizierung von Signalflanken besteht darin, daß eine Signalflanke nur dann als Signalflanke detektiert wird, wenn sie einen bestimmten Pegelbereich überstreicht. Um Rauschstörungen auszublenden, wird es bevorzugt, für eine Signalflanke einen minimalen Pegelbereich oder Amplitudenbereich vorzugeben, wobei monoton steigende Signalflanken unterhalb dieses Pegelbereichs nicht als Signalflanken detektiert werden.Another criterion for the classification of signal edges is that a signal edge is only detected as a signal edge if it covers a certain level range. In order to suppress noise disturbances, it is preferred to specify a minimum level range or amplitude range for a signal edge, wherein monotonically increasing signal edges below this level range are not detected as signal edges.
Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird zur Referenzierung von Audiosignalen eine weitere Einschränkung dahingehend getroffen, daß lediglich Signalflanken gesucht werden, deren spezifizierte zeitliche Länge größer als eine minimale Grenzlänge und kleiner als eine maximale zeitliche Grenzlänge ist. Dies bedeutet in anderen Worten ausgedrückt, daß lediglich Signalflanken gesucht werden, die auf Frequenzen kleiner als eine obere Grenzfrequenz und größer als eine untere Grenzfrequenz hinweisen. Bei Musikstücken wird es bevorzugt, le- diglich Signalflanken zu detektieren, die auf Frequenzen im Frequenzbereich von 27,5 Hz (Ton A2) bis 4186 Hz (Ton c5) hinweisen. Dieser Frequenzbereich wird durch die durch ein übliches Klavier zur Verfügung gestellten Töne überstrichen. Für Signalkennungen von Musikstücken hat sich dieser Tonbereich als ausreichend herausgestellt.According to a preferred exemplary embodiment of the present invention, a further restriction is made for referencing audio signals to the effect that only signal edges are sought whose specified time length is greater than a minimum limit length and less than a maximum time limit length. In other words, this means that only signal edges are sought which indicate frequencies lower than an upper limit frequency and higher than a lower limit frequency. In the case of pieces of music, it is preferred to only detect signal edges which indicate frequencies in the frequency range from 27.5 Hz (tone A2) to 4186 Hz (tone c5). This frequency range is covered by the tones provided by a conventional piano. This tone range has been found to be sufficient for signal identifications of pieces of music.
Die Signalflankendetektionseinheit 12 liefert somit eine Signalflanke und den Zeitpunkt des Auftretens der Signalflanke. Hierbei ist es unerheblich, ob als Signalauftritts- Zeitpunkt der Signalflanke der Zeitpunkt des ersten Abtastwerts der Signalflanke, der Zeitpunkt des letzten Abtastwerts der Signalflanke oder der Zeitpunkt irgend eines Ab- tastwerts innerhalb der Signalflanke genommen wird, so lange Signalflanken gleich behandelt werden.The signal edge detection unit 12 thus supplies a signal edge and the time of the occurrence of the signal edge. It is irrelevant whether the time of the first sample value of the signal edge, the time of the last sample value of the signal edge or the time of any sample value is taken within the signal edge, as long as signal edges are treated equally.
Die Einrichtung 14 zum Ermitteln eines zeitlichen Abstands zwischen zwei aufeinanderfolgenden Signalflanken, deren zeitliche Längen abgesehen von einem vorbestimmten Toleranzwert gleich sind, untersucht die von der Einrichtung 12 ausgegebenen Signalflanken und extrahiert zwei aufeinanderfolgende Signalflanken, die gleich sind oder innerhalb ei- nes bestimmten vorgegebenen Toleranzwerts im wesentlichen gleich sind. Wenn ein einfacher Sinuston betrachtet wird, so ist eine Periode des Sinustons durch den zeitlichen Abstand zweier aufeinanderfolgender gleich langer z. B. positiver Viertelwellen gegeben. Hierauf beruht die Einrichtung 16 zum Berechnen eines Frequenzwerts aus dem ermittelten zeitlichen Abstand. Der Frequenzwert entspricht dem Inver- sen des ermittelten zeitlichen Abstands.The device 14 for determining a time interval between two successive signal edges, the lengths of which are the same apart from a predetermined tolerance value, examines the signal edges output by the device 12 and extracts two successive signal edges that are the same or within a specific predetermined tolerance value in the are essentially the same. If a simple sine tone is considered, a period of the sine tone is determined by the time interval between two successive z. B. given positive quarter waves. The device 16 for calculating a frequency value from the determined time interval is based on this. The frequency value corresponds to the inverse of the determined time interval.
Durch diese Vorgehensweise kann mit hoher zeitlicher und gleichzeitig frequenzmäßiger Auflösung eine Darstellung eines Zeitsignals durch Angabe der in dem Zeitsignal vorkommenden Frequenzen und durch Angabe der mit den Frequenzen korrespondierenden Auftrittszeitpunkten geliefert werden. Wenn die Ergebnisse der Einrichtung 16 zur Frequenzberech- nung graphisch dargestellt werden, wird ein Diagramm gemäß Fig. 5 erhalten.With this procedure, a representation of a time signal can be provided with a high temporal and at the same time frequency resolution by specifying the frequencies occurring in the time signal and specifying the times of occurrence corresponding to the frequencies. If the results of the device 16 for frequency calculation are represented graphically, a diagram according to FIG. 5 is obtained.
Fig. 5 zeigt einen Ausschnitt mit etwa 13 Sekunden Länge des Klarinettenquintetts A-Dur, Larghetto, KV 581 von Wolf- gang Amadeus Mozart, wie es am Ausgang der Einrichtung 16 zur Frequenzberechnung erscheinen würde. In diesem Ausschnitt erklingt eine Klarinette, die eine melodieführende Solostimme spielt sowie ein begleitendes Streichquartett. Es ergeben sich die in Fig. 5 dargestellten Koordinaten- Tupel, wie sie durch die Einrichtung 16 zur Frequenzberechnung erzeugt werden könnten. Die Einrichtung 18 dient schließlich dazu, aus den Ergebnissen der Einrichtung 16 eine Signalkennung zu erzeugen, die für eine Signalkennungsdatenbank günstig und geeignet ist. Die Signalkennung wird allgemein aus einer Mehrzahl von Koordinatentupeln erzeugt, wobei jeder Koordinatentupel einen Frequenzwert und einen Auftrittszeitpunkt umfaßt, so daß die Signalkennung eine Folge von Signalkennungswerten umfaßt, die den zeitlichen Verlauf des Zeitsignals wiedergibt.5 shows a section with a length of about 13 seconds of the clarinet quintet in A major, Larghetto, KV 581 by Wolfgang Amadeus Mozart, as it would appear at the output of the device 16 for frequency calculation. This section features a clarinet that plays a melody-leading solo part and an accompanying string quartet. The coordinate tuples shown in FIG. 5 result as they could be generated by the device 16 for frequency calculation. Finally, the device 18 serves to generate from the results of the device 16 a signal identifier that is cheap and suitable for a signal identifier database. The signal identifier is generally generated from a plurality of coordinate tuples, each coordinate tuple comprising a frequency value and an occurrence time, so that the signal identifier comprises a sequence of signal identifier values which reproduce the time profile of the time signal.
Wie es später erläutert wird, dient die Einrichtung 18 dazu, aus dem Frequenz-Zeit-Diagramm von Fig. 5, das durch die Einrichtung 16 erzeugt werden könnte, die wesentlichen Informationen zu extrahieren, um einen Fingerabdruck des Zeitsignals zu erzeugen, der einerseits kompakt ist, und der andererseits das Zeitsignal ausreichend genau und unterscheidbar von anderen Zeitsignalen unterscheiden kann.As will be explained later, the device 18 serves to extract the essential information from the frequency-time diagram of FIG. 5, which could be generated by the device 16, in order to generate a fingerprint of the time signal, which is compact on the one hand and, on the other hand, can differentiate the time signal from other time signals with sufficient accuracy and differentiation.
Fig. 2 zeigt eine erfindungsgemäße Vorrichtung zum Extra- hieren einer Signalkennung gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung. Als Zeitsignal wird eine Audiodatei 20 in einen Audio-I/O-Handler eingegeben. Der Audio-I/O-Handler 22 liest die Audiodatei beispielsweise von einer Festplatte. Der Audiodatenstrom kann auch direkt über eine Soundkarte eingelesen werden. Nach dem Einlesen eines Abschnitts des Audiodatenstroms schließt die Einrichtung 22 die Audiodatei wieder und lädt die nächste zu bearbeitende Audiodatei oder terminiert den Einlesevorgang. Die Folge von PCM-Abtastwerten (PCM = Puls Code Modulated) , wie sie beispielsweise von einer CD erhalten werden, werden dann in eine Einrichtung 24 zur Vorverarbeitung des Audiosignals eingegeben. Die Einrichtung 24 dient einerseits dazu, falls erforderlich eine Abtastratenumwandlung durchzuführen, oder eine Lautstärkemodifikation des Audiosignals zu erreichen. Audiosignale liegen auf verschiedenen Medien in unterschiedlichen Abtastfrequenzen vor. Wie es bereits ausführt worden ist, wird jedoch der Zeitpunkt des Auftretens einer Signalflanke in dem Audiosi- gnal zur Beschreibung des Audiosignals verwendet, so daß die Abtastrate bekannt sein muß, um die Auftrittszeitpunkte von Signalflanken korrekt zu detektieren, und um darüber hinaus Frequenzwerte korrekt zu detektieren. Alternativ kann eine Abtastratenumwandlung durch Dezimierung oder Interpolation durchgeführt werden, um die Audiosignale verschiedener Abtastraten auf eine gleiche Abtastrate zu bringen.2 shows a device according to the invention for extracting a signal identifier according to a preferred exemplary embodiment of the present invention. An audio file 20 is input to an audio I / O handler as the time signal. The audio I / O handler 22 reads the audio file from a hard drive, for example. The audio data stream can also be read directly via a sound card. After reading in a section of the audio data stream, the device 22 closes the audio file again and loads the next audio file to be processed or terminates the reading process. The sequence of PCM samples (PCM = Pulse Code Modulated), as obtained for example from a CD, is then input into a device 24 for preprocessing the audio signal. The device 24 serves, on the one hand, to carry out a sampling rate conversion if necessary, or to achieve a volume modification of the audio signal. Audio signals are available on different media in different sampling frequencies. As has already been explained, however, the time of the occurrence of a signal edge in the audio gnal used to describe the audio signal, so that the sampling rate must be known in order to correctly detect the occurrence times of signal edges, and in addition to correctly detect frequency values. Alternatively, a sampling rate conversion can be carried out by decimation or interpolation in order to bring the audio signals of different sampling rates to the same sampling rate.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung, das für mehrere Abtastraten geeignet sein soll, ist daher die Einrichtung 24 vorgesehen, um eine Abtastrateneinstellung durchzuführen.In a preferred exemplary embodiment of the present invention, which is intended to be suitable for a plurality of sampling rates, the device 24 is therefore provided in order to carry out a sampling rate setting.
Die PCM-Abtastwerte werden ferner einer automatischen Pegelanpassung unterzogen, die ebenfalls in der Einrichtung 24 vorgesehen ist. In der Einrichtung 24 wird zur automatischen Pegelanpassung in einem Look-Ahead-Buffer die mittlere Signalleistung des Audiosignals bestimmt. Der Audiosi- gnalabschnitt, der zwischen zwei Signalleistungsminima liegt, wird mit einem Skalierungsfaktor multipliziert, der das Produkt aus einem Gewichtungsfaktor und dem Quotienten aus Vollausschlag und maximalem Pegel innerhalb des Segments ist. Die Länge des Look-Ahead-Buffers ist variabel.The PCM samples are also subjected to an automatic level adjustment, which is also provided in the device 24. The average signal power of the audio signal is determined in the device 24 for automatic level adjustment in a look-ahead buffer. The audio signal section which lies between two signal power minima is multiplied by a scaling factor which is the product of a weighting factor and the quotient of the full scale and the maximum level within the segment. The length of the look-ahead buffer is variable.
Anschließend wird das derart vorverarbeitete Audiosignal in die Einrichtung 12 eingespeist, die eine Signalflankende- tektion durchführt, wie sie bezugnehmend auf Fig. 1 beschrieben worden ist. Bevorzugterweise wird hierzu die Hough-Transformation verwendet. Eine schaltungstechnische Realisierung der Hough-Transformation ist in der WO 99/26167 offenbart.The audio signal which has been preprocessed in this way is then fed into the device 12, which carries out a signal edge detection, as has been described with reference to FIG. 1. The Hough transformation is preferably used for this. A circuit implementation of the Hough transformation is disclosed in WO 99/26167.
Die durch die Hough-Transformation ermittelte Amplitude ei- ner Signalflanke und der Detektionszeitpunkt einer Signalflanke werden dann in die Einrichtung 14 von Fig. 1 übergeben. In dieser Einheit werden jeweils zwei aufeinanderfolgende Detektionszeitpunkte voneinander subtrahiert, wobei der Kehrwert der Differenz der Auftrittszeiten als Frequenzwert angenommen wird. Diese Aufgabe wird durch die Einrichtung 16 aus Fig. 1 bewirkt und führt, wenn ein Musikstück entsprechend bearbeitet wird, zu dem Frequenz- Zeit-Diagramm von Fig. 5, in der die erhaltenen Frequenz- Zeit-Koordinaten-Tupel graphisch dargestellt sind, die durch Mozart, Köchel-Verzeichnis 581, erhalten werden.The amplitude of a signal edge determined by the Hough transformation and the time of detection of a signal edge are then transferred to the device 14 in FIG. 1. In this unit, two successive detection times are subtracted from each other, whereby the reciprocal of the difference in performance times is taken as the frequency value. This object is achieved by the device 16 from FIG. 1 and, when a piece of music is processed accordingly, leads to the frequency-time diagram of FIG. 5, in which the frequency-time-coordinate tuples obtained are shown graphically, which by Mozart, Köchel-Directory 581.
Erfindungsgemäß könnte die Darstellung von Fig. 5 bereits als Signalkennung für das Zeitsignal verwendet werden, da die zeitliche Folge der Koordinaten-Tupel den zeitlichen Verlauf des Zeitsignals wiedergibt.5 could already be used as a signal identifier for the time signal, since the chronological sequence of the coordinate tuples reproduces the chronological course of the time signal.
Bei einem Ausführungsbeispiel wird es jedoch bevorzugt, ei- ne Nachbearbeitung durchzuführen, um aus dem Frequenz-Zeit- Diagramm von Fig. 5 die wesentlichen Informationen zu extrahieren, die für eine Signal-Referenzierung einen möglichst kleinen und dennoch möglichst aussagefähigen Fingerabdruck für das Zeitsignal liefern.In one exemplary embodiment, however, it is preferred to carry out post-processing in order to extract the essential information from the frequency-time diagram of FIG. 5, which provides a fingerprint for the time signal that is as small as possible and nevertheless as meaningful as possible for signal referencing ,
Hierzu kann die Signalkennungserzeugung 18 wie in Fig. 3 dargestellt aufgebaut sein. Die Einrichtung 18 gliedert sich in eine Einrichtung 18a zur Ermittlung der Häufungsgebiete, in eine Einrichtung 18b zur Gruppierung, in eine Einrichtung 18c zur Mittelung über einer Gruppe, in eine Einrichtung 18d zur Intervallfestlegung, in eine Einrichtung zum Quantisieren 18e und schließlich in eine Einrichtung 18f auf, um die Signalkennung für das Zeitsignal zu erhalten.For this purpose, the signal identification generator 18 can be constructed as shown in FIG. 3. The device 18 is divided into a device 18a for determining the cluster areas, a device 18b for grouping, a device 18c for averaging over a group, a device 18d for interval setting, a device for quantizing 18e and finally a device 18f to get the signal identifier for the time signal.
Wie in Fig. 5 gut erkennbar, werden in der Einrichtung 18a zur Ermittlung der Häufungsgebiete charakteristische Verteilungspunktwolken, die als Haufen oder Cluster bezeichnet werden, herausgearbeitet. Dies geschieht, indem alle iso- lierten Frequenz-Zeit-Tupel gelöscht werden, die einen vorgegebenen Mindestabstand zum nächsten räumlichen Nachbarn überschreiten. Solche isolierten Frequenz-Zeit-Tupel sind beispielsweise die Punkte in der rechten oberen Ecke des Diagramms von Fig. 5. Dadurch bleibt ein sogenanntes Pitch- Contour-Streifenband übrig, das in Fig. 5 mit dem Bezugszeichen 50 skizziert ist. Das Pitch-Contour-Streifenband besteht aus Clustern bestimmter Frequenzbreite und Länge, wobei diese Cluster von gespielten Tönen hervorgerufen werden. Diese Töne sind in Fig. 5 durch waagrechte Linien, die die Ordinate schneiden, angedeutet (52), wobei bei dem hier gezeigten Beispiel die Töne hl, c2, cis2, d2 und hl in dem Bereich zwischen etwa 6 und 10 Sekunden in der genannten Folge auftreten. Der Ton al hat eine Frequenz von 440 Hz. Der Ton hl hat eine Frequenz von 494 Hz. der Ton c2 hat eine Frequenz von 523 Hz, der Ton cis2 hat eine Frequenz von 554 Hz, während der Ton d2 eine Frequenz von 587 Hz hat.As can be clearly seen in FIG. 5, characteristic distribution point clouds, which are referred to as clusters or clusters, are worked out in the device 18a for determining the cluster areas. This is done by deleting all isolated frequency-time tuples that exceed a predetermined minimum distance from the nearest spatial neighbor. Such isolated frequency-time tuples are, for example, the points in the top right corner of the 5. This leaves what is known as a pitch contour strip band, which is sketched in FIG. 5 with the reference symbol 50. The pitch contour strip band d consists of clusters of a certain frequency width and length, these clusters being caused by played tones. These tones are indicated in Fig. 5 by horizontal lines which intersect the ordinate (52), the tones h1, c2, cis2, d2 and hl in the example shown here in the range between about 6 and 10 seconds in the above Episode occur. The tone al has a frequency of 440 Hz. The tone hl has a frequency of 494 Hz. The tone c2 has a frequency of 523 Hz, the tone cis2 has a frequency of 554 Hz, while the tone d2 has a frequency of 587 Hz ,
Bei polyphonen Klängen ergeben sich breitere Streifenbänder. Die Streifenbreite bei Einzeltönen hängt darüber hinaus von einem Vibrato des die Einzeltöne erzeugenden Musikinstruments ab.With polyphonic sounds, there are wider stripes. The strip width for single tones also depends on a vibrato of the musical instrument producing the single tones.
In der Einrichtung 18b zur Gruppierung oder zur Bildung von Blöcken werden die Koordinaten-Tupel des Pitch-Contour- Streifenbandes in einem Zeitfenster von n Abtastwerten zu einem separat zu bearbeitenden Verarbeitungsblock zusammengefaßt oder gruppiert. Die Blockgröße kann dabei äquidi- stant oder variabel gewählt werden. Je nach Genauigkeit und zur Verfügung stehendem Speicherplatz für die Signalkennung kann eine relativ grobe Aufteilung gewählt werden, beispielsweise ein Ein-Sekunden-Raster, was über die vorliegende Abtastrate einer bestimmten Anzahl von Abtastwerten pro Block entspricht, oder eine kleinere Einteilung. Alternativ kann, um bei Musikstücken der zugrunde liegenden Notenschreibweise Rechnung zu tragen, das Raster immer so gewählt werden, daß in das Raster ein Ton fällt. Hierzu ist es erforderlich, die Länge eines Tons abzuschätzen, was durch die in Fig. 5 eingezeichnete Polynomfitfunktion 54 möglich ist. Eine Gruppe bzw. ein Block wird dann durch den zeitlichen Abstand zwischen zwei lokalen Extremwerten des Polynoms bestimmt. Diese Vorgehensweise liefert besonders bei relativ monophonen Abschnitten relativ große Gruppen von Abtastwerten, wie sie zwischen 6 und 12 Sekunden auftreten, während bei relativ polyphonen Abständen des Musikstücks, bei denen die Koordinaten-Tupel über einen großen Frequenzbereich verteilt sind, wie z. B. etwa bei 2 Sekunden in Fig. 5 oder bei 12 Sekunden von Fig. 5 kleinere Gruppen ermittelt werden, was wiederum dazu führt, daß die Signalkennung auf der Basis relativ kleiner Gruppen durchgeführt wird, so daß die Informationskompression kleiner als bei einer festen Blockbildung ist.In the device 18b for grouping or for forming blocks, the coordinate tuples of the pitch contour strip band are combined or grouped into a processing block to be processed separately in a time window of n samples. The block size can be chosen to be equidistant or variable. Depending on the accuracy and available storage space for the signal identification, a relatively rough division can be selected, for example a one-second raster, which corresponds to a certain number of samples per block over the present sampling rate, or a smaller division. Alternatively, in order to take account of the underlying musical notation for pieces of music, the grid can always be chosen so that a tone falls into the grid. For this purpose, it is necessary to estimate the length of a tone, which is possible using the polynomial fit function 54 shown in FIG. 5. A group or a block is then determined by the time interval between two local extreme values of the polynomial. This approach delivers particularly for relatively monophonic sections, relatively large groups of samples, such as occur between 6 and 12 seconds, while for relatively polyphonic intervals of the piece of music, in which the coordinate tuples are distributed over a large frequency range, such as e.g. B. at about 2 seconds in Fig. 5 or at 12 seconds of Fig. 5 smaller groups can be determined, which in turn leads to the fact that the signal recognition is carried out on the basis of relatively small groups, so that the information compression is smaller than with a fixed block formation is.
In dem Block 18c zur Mittelung über einer Gruppe von Abtastwerten wird je nach Bedarf ein gewichteter Mittelwert über alle in einem Block vorhandenen Koordinaten-Tupel be- stimmt. Bei dem bevorzugten Ausführungsbeispiel wurden die Tupel außerhalb des Pitch-Contour-Streifenband bereits vorher „ausgeblendet". Alternativ kann jedoch auch auf dieses Ausblenden verzichtet werden, was dazu führt, daß sämtliche durch die Einrichtung 16 berechneten Koordinaten-Tupel bei der Mittelung, die durch die Einrichtung 18c durchgeführt wird, berücksichtigt werden.In the block 18c for averaging over a group of samples, a weighted average over all coordinate tuples present in a block is determined as required. In the preferred exemplary embodiment, the tuples outside the pitch contour strip band had already been "hidden" beforehand. Alternatively, however, this fading out can also be dispensed with, which leads to all coordinate tuples calculated by the device 16 being averaged by the the device 18c is carried out are taken into account.
In der Einrichtung 18d zur Intervallfestlegung wird eine Sprungweite zur Festlegung der Mitte der nächsten, d. h. zeitlich folgenden, Gruppe von Abtastwerten bestimmt.In the device 18d for interval setting, a jump distance for determining the center of the next, i.e. H. temporally following, group of samples determined.
Es sei darauf hingewiesen, daß in der Einrichtung 18c entweder eine arithmetische, eine geometrische oder eine Medi- an-Mittelung durchgeführt werden kann.It should be noted that either arithmetic, geometric or median averaging can be performed in device 18c.
In dem Quantisierer 18e wird der Wert, der durch die Einrichtung 18c berechnet worden ist, in nicht äquidistante Rasterwerte quantisiert. Bei Musikstücken wird es bevorzugt, die Unterteilung nach der Tonfrequenzskala durchzu- führen, wobei die Tonfrequenzskala, wie es bereits ausgeführt worden ist, gemäß dem Frequenzbereich eingeteilt ist, der durch ein übliches Klavier geliefert wird und sich von 27,5 Hz (Ton A2) bis 4186 Hz (Ton c5) erstreckt und 88 Ton- stufen umfaßt. Liegt der gemittelte Wert am Ausgang der Einrichtung 18c zwischen zwei benachbarten Halbtönen, so erhält er den Wert des nächstliegenden Bezugstons.In the quantizer 18e, the value that has been calculated by the device 18c is quantized into non-equidistant raster values. In the case of pieces of music, it is preferred to carry out the division according to the tone frequency scale, the tone frequency scale, as has already been explained, being divided according to the frequency range supplied by a conventional piano and deviating from 27.5 Hz (tone A2) extends to 4186 Hz (tone c5) and 88 tone stages includes. If the averaged value at the output of the device 18c lies between two adjacent semitones, it receives the value of the closest reference tone.
Damit ergibt sich am Ausgang der Einrichtung 18e zum Quan- tisieren nach und nach eine Folge von quantisierten Werten, welche zusammen die Signalkennung ergeben. Je nach Bedarf können die quantisierten Werte durch die Einrichtung 18f nachverarbeitet werden, wobei eine Nachverarbeitung bei- spielsweise in einer Tonhöhen-Offset-Korrektur, einer Transposition in eine andere Tonskala, etc. bestehen könnte.This results in a sequence of quantized values at the output of the device 18e for quantization, which together give the signal identifier. Depending on requirements, the quantized values can be post-processed by the device 18f, post-processing could consist, for example, of a pitch offset correction, a transposition into another tone scale, etc.
Im nachfolgenden wird auf Fig. 4 Bezug genommen. Fig. 4 zeigt schematisch eine Vorrichtung zum Referenzieren eines Such-Zeitsignals in einer Datenbank 40, wobei die Datenbank 40 Signalkennungen einer Mehrzahl von Datenbank- Zeitsignalen Track_l bis Track_m aufweist, die in einer vorzugsweise von der Datenbank 40 getrennten Bibliothek 42 gespeichert sind.In the following, reference is made to FIG. 4. FIG. 4 schematically shows a device for referencing a search time signal in a database 40, the database 40 having signal identifiers of a plurality of database time signals Track_l to Track_m, which are stored in a library 42, which is preferably separate from the database 40.
Um ein Zeitsignal anhand der Datenbank 40 referenzieren zu können, muß die Datenbank zunächst gefüllt werden, was in einem „Lernen"-Modus erreicht werden kann. Hierzu werden Audiodateien 41 nach und nach einem Vektorgenerator 43 zugeführt, der für jede Audiodatei eine Referenz-Kennung aufweist und in der Datenbank so abspeichert, daß erkannt werden kann, zu welcher Audiodatei z. B. in der Bibliothek 42 die Signalkennung gehört.In order to be able to reference a time signal on the basis of the database 40, the database must first be filled, which can be achieved in a “learning” mode. For this purpose, audio files 41 are gradually fed to a vector generator 43 which has a reference identifier for each audio file and stores it in the database in such a way that it can be recognized to which audio file the signal identifier belongs, for example in library 42.
Gemäß der in Fig. 4 gegebenen Zuordnung entspricht die Signalkennung MVll, ...., MVln dem Zeitsignal Track_l . Die Signalkennung MV21, .-., MV2n gehört zu dem Zeitsignal Track_2. Schließlich gehört die Signalkennung MVml, ..., MVmn zu dem Zeitsignal Track_m.According to the assignment given in FIG. 4, the signal identifier MVll, ...., MVln corresponds to the time signal Track_l. The signal identifier MV21, .-., MV2n belongs to the time signal Track_2. Finally, the signal identifier MVml, ..., MVmn belongs to the time signal Track_m.
Der Vektorgenerator 43 ist ausgebildet, um allgemein die in Fig. 1 dargestellten Funktionen durchzuführen, und ist ge- maß einem bevorzugten Ausführungsbeispiel wie in den Fig. 2 und 3 dargestellt implementiert. Im „Lernen"-Modus verarbeitet der Vektorgenerator 43 nach und nach verschiedene Audiodateien (Track_l bis Track_m) , um Signalkennungen für die Zeitsignale in der Datenbank abzuspeichern, d. h. um die Datenbank zu füllen.The vector generator 43 is designed to generally perform the functions shown in FIG. 1, and is measured a preferred embodiment as shown in FIGS. 2 and 3 implemented. In the “learning” mode, the vector generator 43 gradually processes various audio files (Track_l to Track_m) in order to store signal identifiers for the time signals in the database, ie to fill the database.
Im „Suchen"-Modus soll eine Audiodatei 41 anhand der Datenbank 40 referenziert werden. Hierzu wird das Such- Zeitsignal 41 durch den Vektorgenerator 43 verarbeitet, um eine Such-Kennung 45 zu erzeugen. Die Such-Kennung 45 wird dann in einen DNA-Sequencer 46 eingespeist, um mit den Referenz-Kennungen in der Datenbank 40 verglichen zu werden. Der DNA-Sequencer 46 ist ferner angeordnet, um eine Aussage über das Such-Zeitsignal bezüglich der Mehrzahl von Datenbank-Zeitsignalen aus der Bibliothek 42 zu treffen. Der DNA-Sequencer sucht mit der Such-Kennung 45 die Datenbank 40 auf eine übereinstimmende Referenz-Kennung ab und übergibt einen Zeiger auf das entsprechende mit der Referenz- kennung assoziierte Audiofile in der Bibliothek 42.In the “search” mode, an audio file 41 is to be referenced using the database 40. For this purpose, the search time signal 41 is processed by the vector generator 43 in order to generate a search identifier 45. The search identifier 45 is then converted into a DNA Sequencer 46 is fed in to be compared with the reference identifiers in database 40. DNA sequencer 46 is also arranged to make a statement about the search time signal with regard to the plurality of database time signals from library 42. Der DNA sequencer searches the database 40 for a matching reference identifier with the search identifier 45 and transfers a pointer to the corresponding audio file in the library 42 associated with the reference identifier.
Der DNA-Sequencer 46 führt somit einen Vergleich der Such- Kennung 45 oder Teilen davon mit den Referenz-Kennungen in der Datenbank durch. Bei Vorliegen der vorgegebenen Folge bzw. einer Teilsequenz davon wird das zugehörige Zeitsignal in der Bibliothek 42 referenziert.The DNA sequencer 46 thus compares the search identifier 45 or parts thereof with the reference identifiers in the database. If the specified sequence or a partial sequence thereof is present, the associated time signal is referenced in library 42.
Vorzugsweise führt der DNA-Sequencer 46 einen Boyer-Moore- Algorithmus aus, welcher beispielsweise in dem Fachbuch „Algorithms on Strings, Trees and Sequences", Dan Gusfield, Cambridge University Press, 1997, beschrieben ist. Gemäß einer ersten Alternative wird auf exakte Übereinstimmung geprüft. Das Treffen einer Aussage besteht daher darin, daß gesagt wird, daß das Such-Zeitsignal identisch zu einem Zeitsignal in der Bibliothek 42 ist. Alternativ oder zusätzlich kann auch die Ähnlichkeit zweier Sequenzen durch Verwendung von Ersetzen/Einfügen/Löschen-Operationen und einer Pitch-Offset-Korrektur (Tonhöhen-Versatzkorrektur) untersucht werden.The DNA sequencer 46 preferably executes a Boyer-Moore algorithm, which is described, for example, in the textbook "Algorithms on Strings, Trees and Sequences", Dan Gusfield, Cambridge University Press, 1997. According to a first alternative, exact agreement is sought Making a statement is therefore to say that the search time signal is identical to a time signal in library 42. Alternatively or in addition, the similarity of two sequences can also be achieved by using replace / insert / delete operations and a pitch offset correction (pitch offset correction) are examined.
Vorzugsweise ist die Datenbank 40 so strukturiert, daß sie aus der Verkettung von Signalkennungsfolgen zusammengesetzt ist, wobei das Ende jeder Vektorsignalkennung eines Zeitsignals durch ein Trennzeichen festgelegt wird, damit die Suche nicht über Zeitsignaldateigrenzen fortgesetzt wird. Werden mehrere Übereinstimmungen festgestellt, werden alle referenzierten Zeitsignale angegeben.The database 40 is preferably structured in such a way that it is composed of the concatenation of signal identification sequences, the end of each vector signal identification of a time signal being defined by a separator, so that the search is not continued over time signal file boundaries. If several matches are found, all referenced time signals are given.
Durch Nutzung der Operationen Ersetzen/Einfügen/Löschen (Replace/Insert/Delete) kann ein Ähnlichkeitsmaß eingeführt werden, wobei das Zeitsignal in der Bibliothek 42 referen- ziert wird, das dem Such-Zeitsignal 41 anhand eines vorgegebenen Ähnlichkeitsmaßes am ähnlichsten ist. Ferner wird es bevorzugt, ein Ähnlichkeitsmaß des Such-Audio-Signals zu mehreren Signalen in der Bibliothek zu ermitteln und dann die n ähnlichsten Abschnitte in der Bibliothek 42 in ab- steigender Reihenfolge auszugeben. A similarity measure can be introduced by using the Replace / Insert / Delete operations, the time signal being referenced in the library 42 which is most similar to the search time signal 41 on the basis of a predetermined similarity measure. It is further preferred to determine a similarity measure of the search audio signal to a plurality of signals in the library and then to output the n most similar sections in the library 42 in descending order.

Claims

Patentansprüche claims
1. Verfahren zum Extrahieren einer Signalkennung aus einem Zeitsignal, das einen harmonischen Anteil hat, mit folgenden Schritten:1. A method for extracting a signal identifier from a time signal that has a harmonic component, with the following steps:
Detektieren (12) des zeitlichen Auftretens von Signalflanken in dem Zeitsignal;Detecting (12) the time occurrence of signal edges in the time signal;
Ermitteln (14) eines zeitlichen Abstands zwischen zwei ausgewählten detektierten Signalflanken;Determining (14) a time interval between two selected detected signal edges;
Berechnen (16) eines Frequenzwerts aus dem ermittelten zeitlichen Abstand und Zuordnen des Frequenzwerts zu einer Auftrittszeit des Frequenzwerts in dem Zeitsignal, um einen Koordinatentupel aus dem Frequenzwert und der Auftrittszeit für diesen Frequenzwert zu erhalten; undCalculating (16) a frequency value from the determined time interval and assigning the frequency value to an occurrence time of the frequency value in the time signal in order to obtain a coordinate tuple from the frequency value and the occurrence time for this frequency value; and
Erzeugen (18) der Signalkennung aus einer Mehrzahl von Koordinatentupeln, wobei jeder Koordinatentupel einen Frequenzwert und eine Auftrittszeit umfaßt, wodurch die Signalkennung eine Folge von Signalkennungswerten umfaßt, die den zeitlichen Verlauf des Zeitsignals wiedergibt.Generating (18) the signal identifier from a plurality of coordinate tuples, each coordinate tuple comprising a frequency value and an occurrence time, as a result of which the signal identifier comprises a sequence of signal identifier values which reproduce the time profile of the time signal.
2. Verfahren nach Anspruch 1, bei dem im Schritt des De- tektierens (12) eine Signalflanke nur dann als Signalflanke detektiert, wenn dieselbe über ihrer spezifi- zierten zeitlichen Länge eine Amplitude aufweist, die größer als ein vorbestimmten Amplitudenschwellwert ist .2. The method as claimed in claim 1, in which, in the step of detecting (12), a signal edge is only detected as a signal edge if it has an amplitude over its specified time length which is greater than a predetermined amplitude threshold value.
Verfahren nach Anspruch 1 oder 2,The method of claim 1 or 2,
bei dem im Schritt des Detektierens (12) eine Signalflanke nur dann als Signalflanke detektiert wird, wenn ihre spezifizierte zeitliche Länge größer als eine i- nimale Grenzlänge und kleiner als eine maximale Grenzlänge ist.in which in the step of detecting (12) a signal edge is only detected as a signal edge if its specified time length is greater than an i- nominal limit length and is less than a maximum limit length.
4. Verfahren nach Anspruch 3, bei dem das Zeitsignal ein Audiosignal ist, und bei dem die minimale zeitliche Grenzlänge anhand einer maximalen hörbaren Grenzfrequenz und die maximale zeitliche Grenzlänge anhand einer minimalen hörbaren Grenzfrequenz festgelegt sind.4. The method according to claim 3, in which the time signal is an audio signal, and in which the minimum time limit is determined on the basis of a maximum audible limit frequency and the maximum time limit is determined on the basis of a minimum audible limit frequency.
5. Verfahren nach Anspruch 3, bei dem das Zeitsignal ein Audiosignal ist, und bei dem die minimale zeitliche Grenzlänge anhand einer maximalen durch ein Instrument erzeugbaren Tonfrequenz und die maximale zeitliche Grenzlänge anhand einer minimalen durch ein Instrument erzeugbaren Tonfrequenz festgelegt sind.5. The method of claim 3, wherein the time signal is an audio signal, and in which the minimum time limit is determined by a maximum sound frequency that can be generated by an instrument and the maximum time limit is determined by a minimum sound frequency that can be generated by an instrument.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt des Erzeugens (18) der Signalkennung folgenden Schritt aufweist:6. The method according to any one of the preceding claims, wherein the step of generating (18) the signal identifier comprises the following step:
Eliminieren (18a) von Koordinatentupeln, die mehr als einen vorbestimmten Schwellenabstand von einem benachbarten Koordinatentupel in einem Frequenz-Zeit- Diagramm beabstandet sind, um Häufungen von Koordina- ten-Tupeln zu ermitteln.Eliminate (18a) coordinate tuples that are spaced more than a predetermined threshold distance from an adjacent coordinate tuple in a frequency-time diagram to determine clusters of coordinate tuples.
7. Verfahren nach Anspruch 5 oder 6, bei dem der Schritt des Erzeugens (18) folgenden Schritt aufweist:7. The method of claim 5 or 6, wherein the step of generating (18) comprises the following step:
Gruppieren (18b) von Koordinaten-Tupeln in aufeinanderfolgenden Zeitintervallen zu Blöcken von Koordinatentupeln.Grouping (18b) coordinate tuples in successive time intervals into blocks of coordinate tuples.
8. Verfahren nach Anspruch 7, bei dem die aufeinanderfol- genden Zeitintervalle eine feste und/oder eine variable Länge haben. 8. The method as claimed in claim 7, in which the successive time intervals have a fixed and / or a variable length.
9. Verfahren nach Anspruch 7 oder 8, bei dem der Schritt des Erzeugens (18) der Signalkennung folgenden Schritt aufweist :9. The method of claim 7 or 8, wherein the step of generating (18) the signal identifier comprises the following step:
Mitteln (18c) der Frequenzwerte von Koordinaten-Tupeln in den Zeitintervallen, um eine Folge von gemittelten Frequenzwerten für eine Folge von Zeitintervallen zu erhalten, wobei die Folge von gemittelten Frequenzwerten einen Merkmalsvektor darstellt.Averaging (18c) the frequency values of coordinate tuples in the time intervals to obtain a sequence of averaged frequency values for a sequence of time intervals, the sequence of averaged frequency values representing a feature vector.
10. Verfahren nach Anspruch 9, bei dem der Schritt (18) des Erzeugens der Signalkennung folgenden Schritt aufweist:10. The method of claim 9, wherein the step (18) of generating the signal identifier comprises the following step:
Quantisieren (18e) des Merkmalsvektors, um einen quantisierten Merkmalsvektor zu erhalten.Quantize (18e) the feature vector to obtain a quantized feature vector.
11. Verfahren nach Anspruch 10, bei dem der Schritt des Quantisierens (18e) unter Verwendung nicht-äquidistant verteilter Rasterpunkte durchgeführt wird, wobei Abstände zwischen zwei benachbarten Rasterpunkten gemäß einer Tonfrequenzskala bestimmt sind.11. The method according to claim 10, in which the step of quantizing (18e) is carried out using non-equidistantly distributed raster points, wherein distances between two adjacent raster points are determined according to an audio frequency scale.
12. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt (12) des Detektierens von Signalflanken eine Hough-Transformation verwendet wird.12. The method according to any one of the preceding claims, in which a Hough transformation is used in the step (12) of detecting signal edges.
13. Verfahren zum Erzeugen einer Datenbank (40) aus Refe- renz-Signalkennungen für eine Mehrzahl von Zeitsigna- len, mit folgenden Schritten:13. A method for generating a database (40) from reference signal identifiers for a plurality of time signals, with the following steps:
Extrahieren einer ersten Signalkennung für ein erstes Zeitsignal durch das Verfahren gemäß einem der Ansprüche 1 bis 12;Extracting a first signal identifier for a first time signal by the method according to one of claims 1 to 12;
Extrahieren einer zweiten Signalkennung für ein zweites Zeitsignal durch ein Verfahren gemäß einem der Ansprüche 1 bis 12; und Speichern der extrahierten ersten Signalkennung in Zuordnung zu dem ersten Zeitsignal in der Datenbank (40); undExtracting a second signal identifier for a second time signal by a method according to any one of claims 1 to 12; and Storing the extracted first signal identifier in association with the first time signal in the database (40); and
Speichern der extrahierten zweiten Signalkennung in Zuordnung zu dem zweiten Zeitsignal in der Datenbank (40) .Storing the extracted second signal identifier in association with the second time signal in the database (40).
14. Verfahren zum Referenzieren eines Such-Zeitsignals unter Verwendung einer Datenbank (40), wobei die Datenbank Referenz-Signalkennungen einer Mehrzahl von Datenbank-Zeitsignalen aufweist, wobei eine Referenz- Signalkennung eines Datenbank-Zeitsignals durch ein Verfahren gemäß einem der Patentansprüche 1 bis 12 ermittelt worden ist, mit folgenden Schritten:14. A method for referencing a search time signal using a database (40), the database having reference signal identifiers of a plurality of database time signals, a reference signal identifier of a database time signal by a method according to one of the claims 1 to 12 has been determined with the following steps:
Vorgeben zumindest eines Abschnitts eines Such- Zeitsignals (41) ;Specifying at least a portion of a search time signal (41);
Extrahieren (43) einer Such-Signalkennung aus dem Such-Zeitsignal durch ein Verfahren gemäß einem der Patentansprüche 1 bis 12; undExtracting (43) a search signal identifier from the search time signal by a method according to one of the claims 1 to 12; and
Vergleichen (46) der Such-Signalkennung mit der Mehrzahl von Referenz-Signalkennungen, und, ansprechend auf den Schritt des Vergleichens, Treffen einer Aussage über das Such-Zeitsignal bezüglich der Mehrzahl von Datenbank-Zeitsignalen .Comparing (46) the search signal identifier to the plurality of reference signal identifiers and, in response to the step of comparing, making a statement about the search time signal with respect to the plurality of database time signals.
15. Verfahren nach Anspruch 14, bei dem im Schritt des Treffens einer Aussage ein Such-Zeitsignal als Referenz-Zeitsignal identifiziert wird, wenn die Such- Signalkennung zumindest mit einem Abschnitt einer Re- ferenz-Signalkennung übereinstimmt.15. The method according to claim 14, in which, in the step of making a statement, a search time signal is identified as a reference time signal if the search signal identifier corresponds at least to a section of a reference signal identifier.
16. Verfahren nach Anspruch 14, bei dem im Schritt des Treffens einer Aussage eine Ähnlichkeit zwischen einem Such-Zeitsignal und einem Datenbank-Zeitsignal festgestellt wird, falls die Such-Signalkennung und/oder zumindest ein Abschnitt einer Datenbank-Signalkennung durch eine reproduzierbare Manipulation in Überein- Stimmung bringbar sind.16. The method of claim 14, wherein in the step of making a statement a similarity between one Search time signal and a database time signal is determined if the search signal identifier and / or at least a section of a database signal identifier can be brought into agreement by reproducible manipulation.
17. Verfahren nach einem der Patentansprüche 14 bis 16,17. The method according to any one of claims 14 to 16,
bei dem die Datenbank-Signalkennung eine Folge von Da- tenbank-Signalkennungswerten aufweist, die den zeitlichen Verlauf des Datenbank-Zeitsignals wiedergeben,in which the database signal identifier has a sequence of database signal identifier values that reflect the time profile of the database time signal,
bei dem die Such-Signalkennung eine Suchfolge von Such-Signalkennungswerten aufweist, die den zeitlichen Verlauf des Such-Zeitsignals wiedergeben,in which the search signal identifier has a search sequence of search signal identifier values which reproduce the time profile of the search time signal,
bei dem die Länge der Datenbank-Folge größer als die Länge der Such-Folge ist, undin which the length of the database sequence is greater than the length of the search sequence, and
bei dem die Such-Folge sequentiell mit der Datenbank- Folge verglichen wird.in which the search sequence is compared sequentially with the database sequence.
18. Verfahren nach Anspruch 17, bei dem während des sequentiellen Vergleichens der Suchfolge mit der Daten- bankfolge eine Korrektur der Werte der Such- und/oder der Datenbank-Signalkennung durch eine Ersetzen-, Einfügen- oder Löschen-Operation von zumindest einem Wert der Such- und/oder der Datenbank-Signalkennung durchgeführt wird, um eine Ähnlichkeit des Such-Zeitsignals und des Datenbank-Zeitsignals zu ermitteln.18. The method according to claim 17, wherein during the sequential comparison of the search sequence with the database sequence, a correction of the values of the search and / or the database signal identifier by a replacement, insert or delete operation of at least one value of the Search and / or the database signal identification is carried out to determine a similarity of the search time signal and the database time signal.
19. Verfahren nach einem der Ansprüche 14 bis 18,19. The method according to any one of claims 14 to 18,
bei dem der Schritt des Vergleichens (46) unter Ver- wendung eines DNA-Sequencing-Algorithmus und/oder unter Verwendung des Boyer-Moore-Algorithmus durchgeführt wird. in which the step of comparing (46) is carried out using a DNA sequencing algorithm and / or using the Boyer-Moore algorithm.
20. Vorrichtung zum Extrahieren einer Signalkennung aus einem Zeitsignal, das einen harmonischen Anteil hat, mit folgenden Merkmalen:20. Device for extracting a signal identifier from a time signal, which has a harmonic component, with the following features:
einer Einrichtung zum Detektieren (12) des zeitlichen Auftretens von Signalflanken in dem Zeitsignal;means for detecting (12) the time occurrence of signal edges in the time signal;
einer Einrichtung zum Ermitteln (14) eines zeitlichen Abstands zwischen zwei ausgewählten detektierten Si- gnalflanken;a device for determining (14) a time interval between two selected detected signal edges;
einer Einrichtung zum Berechnen (16) eines Frequenzwerts aus dem ermittelten zeitlichen Abstand und Zuordnen des Frequenzwerts zu einer Auftrittszeit des Frequenzwerts in dem Zeitsignal, um einen Koordinatentupel aus dem Frequenzwert und der Auftrittszeit für diesen Frequenzwert zu erhalten; undmeans for calculating (16) a frequency value from the determined time interval and assigning the frequency value to an occurrence time of the frequency value in the time signal in order to obtain a coordinate tuple from the frequency value and the occurrence time for this frequency value; and
einer Einrichtung zum Erzeugen (18) der Signalkennung aus einer Mehrzahl von Koordinatentupeln, wobei jeder Koordinatentupel einen Frequenzwert und eine Auftrittszeit umfaßt, wodurch die Signalkennung eine Folge von Signalkennungswerten umfaßt, die den zeitlichen Verlauf des Zeitsignals wiedergibt.means for generating (18) the signal identifier from a plurality of coordinate tuples, each coordinate tuple comprising a frequency value and an occurrence time, whereby the signal identifier comprises a sequence of signal identifier values which reproduce the time profile of the time signal.
21. Vorrichtung zum Erzeugen einer Datenbank (40) aus Referenz-Signalkennungen für eine Mehrzahl von Zeitsignalen, mit folgenden Merkmalen:21. Device for generating a database (40) from reference signal identifiers for a plurality of time signals, with the following features:
einer Einrichtung zum Extrahieren einer ersten Signalkennung für ein erstes Zeitsignal durch das Verfahren gemäß einem der Ansprüche 1 bis 12;means for extracting a first signal identifier for a first time signal by the method according to one of claims 1 to 12;
einer Einrichtung zum Extrahieren einer zweiten Si- gnalkennung für ein zweites Zeitsignal durch ein Verfahren gemäß einem der Ansprüche 1 bis 12; und einer Einrichtung zum Speichern der extrahierten ersten Signalkennung in Zuordnung zu dem ersten Zeitsignal in der Datenbank (40) ; unda device for extracting a second signal identifier for a second time signal by a method according to one of claims 1 to 12; and means for storing the extracted first signal identifier in association with the first time signal in the database (40); and
einer Einrichtung zum Speichern der extrahierten zweiten Signalkennung in Zuordnung zu dem zweiten Zeitsignal in der Datenbank (40) .a device for storing the extracted second signal identifier in association with the second time signal in the database (40).
22. Vorrichtung zum Referenzieren eines Such-Zeitsignals unter Verwendung einer Datenbank (40) , wobei die Datenbank Referenz-Signalkennungen einer Mehrzahl von Datenbank-Zeitsignalen aufweist, wobei eine Referenz- Signalkennung eines Datenbank-Zeitsignals durch ein Verfahren gemäß einem der Patentansprüche 1 bis 12 er- mittelt worden ist, mit folgenden Merkmalen:22. Device for referencing a search time signal using a database (40), the database having reference signal identifiers of a plurality of database time signals, a reference signal identifier of a database time signal by a method according to one of the claims 1 to 12 has been determined with the following characteristics:
einer Einrichtung zum Vorgeben zumindest eines Abschnitts eines Such-Zeitsignals (41);means for specifying at least a portion of a search time signal (41);
einer Einrichtung zum Extrahieren (43) einer Such- Signalkennung durch ein Verfahren gemäß einem der Patentansprüche 1 bis 12; undmeans for extracting (43) a search signal identifier by a method according to one of the claims 1 to 12; and
einer Einrichtung zum Vergleichen (46) der Such- Signalkennung mit der Mehrzahl von Referenz- Signalkennungen, und, ansprechend auf den Schritt des Vergleichens, Treffen einer Aussage über das Such- Zeitsignal bezüglich der Mehrzahl von Datenbank- Zeitsignalen. means for comparing (46) the search signal identifier to the plurality of reference signal identifiers and, in response to the step of comparing, making a statement about the search time signal with respect to the plurality of database time signals.
EP02714186A 2001-04-10 2002-03-12 Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal Expired - Lifetime EP1377924B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10117871A DE10117871C1 (en) 2001-04-10 2001-04-10 Signal identification extraction method for identification of audio data uses coordinate points provided by frequency values and their occurence points
DE10117871 2001-04-10
PCT/EP2002/002703 WO2002084539A2 (en) 2001-04-10 2002-03-12 Method and device for extracting a signal identifier, method and device for creating a corresponding database

Publications (2)

Publication Number Publication Date
EP1377924A2 true EP1377924A2 (en) 2004-01-07
EP1377924B1 EP1377924B1 (en) 2004-09-22

Family

ID=7681083

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02714186A Expired - Lifetime EP1377924B1 (en) 2001-04-10 2002-03-12 Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal

Country Status (9)

Country Link
US (1) US20040158437A1 (en)
EP (1) EP1377924B1 (en)
JP (1) JP3934556B2 (en)
AT (1) ATE277381T1 (en)
AU (1) AU2002246109A1 (en)
CA (1) CA2443202A1 (en)
DE (2) DE10117871C1 (en)
HK (1) HK1059492A1 (en)
WO (1) WO2002084539A2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10232916B4 (en) * 2002-07-19 2008-08-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for characterizing an information signal
PL1684263T3 (en) * 2005-01-21 2011-03-31 Cugate Ag Method of generating a footprint for an audio signal
DE102005030326B4 (en) 2005-06-29 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for analyzing an audio signal
DE102005030327A1 (en) * 2005-06-29 2007-01-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for analyzing an audio signal
WO2010135623A1 (en) * 2009-05-21 2010-11-25 Digimarc Corporation Robust signatures derived from local nonlinear filters
DE102017213510A1 (en) * 2017-08-03 2019-02-07 Robert Bosch Gmbh Method and apparatus for generating a machine learning system, and virtual sensor device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR772961A (en) * 1934-05-07 1934-11-09 Method of recording music played on a keyboard instrument, and apparatus based thereon
US3069654A (en) * 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
US3979557A (en) * 1974-07-03 1976-09-07 International Telephone And Telegraph Corporation Speech processor system for pitch period extraction using prediction filters
US4697209A (en) * 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
DE4324497A1 (en) * 1992-07-23 1994-04-21 Roman Koller Remote control unit e.g. for computer network - provides on-off switching, power control, and remote operation acoustically for various electrical installations
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
AU6049298A (en) * 1997-01-31 1998-08-25 T-Netix, Inc. System and method for detecting a recorded voice
DE19948974A1 (en) * 1999-10-11 2001-04-12 Nokia Mobile Phones Ltd Method for recognizing and selecting a tone sequence, in particular a piece of music
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02084539A2 *

Also Published As

Publication number Publication date
HK1059492A1 (en) 2004-07-02
DE10117871C1 (en) 2002-07-04
DE50201116D1 (en) 2004-10-28
WO2002084539A2 (en) 2002-10-24
US20040158437A1 (en) 2004-08-12
JP3934556B2 (en) 2007-06-20
WO2002084539A3 (en) 2003-10-02
ATE277381T1 (en) 2004-10-15
CA2443202A1 (en) 2002-10-24
EP1377924B1 (en) 2004-09-22
JP2004531758A (en) 2004-10-14
AU2002246109A1 (en) 2002-10-28

Similar Documents

Publication Publication Date Title
DE10232916B4 (en) Apparatus and method for characterizing an information signal
EP1368805B1 (en) Method and device for characterising a signal and method and device for producing an indexed signal
DE10117870B4 (en) Method and apparatus for transferring a music signal into a score-based description and method and apparatus for referencing a music signal in a database
EP1407446B1 (en) Method and device for characterising a signal and for producing an indexed signal
EP2099024B1 (en) Method for acoustic object-oriented analysis and note object-oriented processing of polyphonic sound recordings
EP1405222B9 (en) Method and device for producing a fingerprint and method and device for identifying an audio signal
EP1371055B1 (en) Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function
EP1388145B1 (en) Device and method for analysing an audio signal in view of obtaining rhythm information
DE10157454B4 (en) A method and apparatus for generating an identifier for an audio signal, method and apparatus for building an instrument database, and method and apparatus for determining the type of instrument
DE102004028693B4 (en) Apparatus and method for determining a chord type underlying a test signal
EP1377924B1 (en) Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal
EP1671315B1 (en) Process and device for characterising an audio signal
EP1743324B1 (en) Device and method for analysing an information signal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030930

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIN1 Information on inventor provided before grant (corrected)

Inventor name: KATAI, ANDRAS

Inventor name: KAUFMANN, MATTHIAS

Inventor name: UHLE, CHRISTIAN

Inventor name: RICHTER, CHRISTIAN

Inventor name: HIRSCH, WOLFGANG

Inventor name: KLEFENZ, FRANK

Inventor name: BRANDENBURG, KARLHEINZ

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1059492

Country of ref document: HK

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

Effective date: 20040922

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20040922

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20040922

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20040922

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20040922

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20040922

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: GERMAN

REF Corresponds to:

Ref document number: 50201116

Country of ref document: DE

Date of ref document: 20041028

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20041222

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20041222

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20041222

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050102

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20040922

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20050312

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20050312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20050331

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20050331

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

ET Fr: translation filed
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1059492

Country of ref document: HK

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20050623

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAND

Effective date: 20050331

BERE Be: lapsed

Owner name: *FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20050331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20050222

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50201116

Country of ref document: DE

Representative=s name: SCHOPPE, ZIMMERMANN, STOECKELER, ZINKLER & PAR, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50201116

Country of ref document: DE

Owner name: MUFIN GMBH, DE

Free format text: FORMER OWNER: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V., 80686 MUENCHEN, DE

Effective date: 20111109

Ref country code: DE

Ref legal event code: R082

Ref document number: 50201116

Country of ref document: DE

Representative=s name: SCHOPPE, ZIMMERMANN, STOECKELER, ZINKLER, SCHE, DE

Effective date: 20111109

Ref country code: DE

Ref legal event code: R082

Ref document number: 50201116

Country of ref document: DE

Representative=s name: SCHOPPE, ZIMMERMANN, STOECKELER, ZINKLER & PAR, DE

Effective date: 20111109

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20120105 AND 20120111

REG Reference to a national code

Ref country code: FR

Ref legal event code: CA

Effective date: 20120207

Ref country code: FR

Ref legal event code: TP

Owner name: MUFIN GMBH, DE

Effective date: 20120207

REG Reference to a national code

Ref country code: AT

Ref legal event code: PC

Ref document number: 277381

Country of ref document: AT

Kind code of ref document: T

Owner name: MUFIN GMBH, DE

Effective date: 20120402

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 16

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20190322

Year of fee payment: 18

Ref country code: CH

Payment date: 20190322

Year of fee payment: 18

Ref country code: GB

Payment date: 20190322

Year of fee payment: 18

Ref country code: DE

Payment date: 20181211

Year of fee payment: 18

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20190328

Year of fee payment: 18

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50201116

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 277381

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201001

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200312

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20200312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200312