EP1377960B1 - Verfahren zum überführen eines musiksignals in eine noten-basierte beschreibung und zum referenzieren eines musiksignals in einer datenbank - Google Patents

Verfahren zum überführen eines musiksignals in eine noten-basierte beschreibung und zum referenzieren eines musiksignals in einer datenbank Download PDF

Info

Publication number
EP1377960B1
EP1377960B1 EP02730100A EP02730100A EP1377960B1 EP 1377960 B1 EP1377960 B1 EP 1377960B1 EP 02730100 A EP02730100 A EP 02730100A EP 02730100 A EP02730100 A EP 02730100A EP 1377960 B1 EP1377960 B1 EP 1377960B1
Authority
EP
European Patent Office
Prior art keywords
music signal
note
time
frequency
accordance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP02730100A
Other languages
English (en)
French (fr)
Other versions
EP1377960A1 (de
Inventor
Frank Klefenz
Karlheinz Brandenburg
Matthias Kaufmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP1377960A1 publication Critical patent/EP1377960A1/de
Application granted granted Critical
Publication of EP1377960B1 publication Critical patent/EP1377960B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form

Definitions

  • the present invention relates to the field of Processing of music signals and in particular to the conversion a music signal into a note-based description.
  • MIDI Music Interface Description
  • a MIDI file includes a note-based description such that the beginning of the sound and the sound end of a Sounds or the beginning of the sound and the duration of the sound as a function the time are recorded.
  • MIDI files can be read in electronic keyboards and be "played".
  • too Sound cards for playing a MIDI file over with the Sound card of a computer connected speakers from that it can be seen that reshaping a note-based description, which in its most original form an intrumentalist is done "manually", the one notes recorded by notes by means of a musical instrument plays, even without further ado automatically performed can be.
  • the method is disadvantageous in that it is based on a sung input is limited.
  • the default is the melody sung by a stop consonant and a vocal part become, in the form "there” "there” "there”, thus a segmentation be made of the recorded music signal can.
  • the known method calculates Intervals of two successive pitch values, d. H. Pitch values, in pitch order. This interval value is assumed to be the distance measure.
  • the resulting Pitch sequence is then stored in a database Reference sequences compared, where the minimum of a sum squared differences over all reference sequences as a solution, d. H. as a sequence of notes referenced in the database, Is accepted.
  • Another disadvantage of this method is that a pitch tracker is used, which octave jump error which are subsequently compensated have to. Furthermore, the pitch tracker must be fine-tuned, to deliver valid values.
  • the procedure uses only the interval distances of two successive ones Pitch values. A coarse quantization of the intervals will be performed, this coarse quantization only rough Has steps that are considered "very tall,” “big,” “consistent” are divided. Through this coarse quantization the absolute tones are lost in Hertz, causing a finer determination of the melody is no longer possible.
  • a note-based Description for example, in the form of a MIDI file or in the form of a conventional musical notation determine each note by tone start, tone length and Pitch is given.
  • the input is not always accurate is.
  • the sung note sequence both in terms of pitch as well as in terms of tone rhythm and the tone sequence can be incomplete. If the Sequence of notes with an instrument to be played, so It must be assumed that the instrument may under certain circumstances is detuned, on a different frequency root is tuned (for example, not to the pitch A of 440 Hz but to the "A" at 435 Hz).
  • the instrument be tuned in its own key, such as. B. the Bb clarinet or the Eb saxophone.
  • the melody sequence may also be incomplete in instrumental performance, sounds are omitted (Delete) by interspersing tones are (insert), or by playing other (wrong) tones be (Replace). Likewise, the tempo can vary be. It should also be remembered that every instrument has its own timbre, so that one of a Instrument played sound a mixture of fundamental and other frequency components, the so-called overtones is.
  • the object of the present invention is a more robust method and a more robust transfer device a music signal into a note-based description to accomplish.
  • Another object of the present invention is a more robust process and a more robust device for referencing a music signal in a database, the one note-based description of a plurality of database music signals.
  • the present invention is based on the knowledge that for an efficient and robust transfer of a music signal in a note-based description a limitation is not acceptable that a sung or played note sequence by stop consonants must be presented, which lead to the performance time representation the music signal sharp power dips which can be used to a Segmentation of the music signal to perform individual To be able to distinguish tones of the melody sequences from each other.
  • a note-based description gained by that first generates a frequency-time representation of the music signal is where the frequency-time representation is coordinate tuple wherein a coordinate tuple has a frequency value and a time value, wherein the time value the time of occurrence of the assigned frequency in the Music signal indicates. Subsequently, a fit function as Function of the time calculated whose course through the coordinate tuple the frequency-time representation is determined. The fit function becomes at least two adjacent extreme values determined.
  • the temporal segmentation of the frequency-time representation, to tones of a melody sequence from each other To be able to demarcate is based on the determined Extreme values are performed, with a segment through the limited at least two adjacent extreme values of the fit function is, with the temporal length of the segment on one time length of a note for the segment. In order to will get a rhythm of notes.
  • the note heights will be finally using only coordinate tuples determined in each segment, so that for each segment a tone is detected, with the tones in the successive Indicate segments to the melody sequence.
  • An advantage of the present invention is that achieved a segmentation of the music signal independently whether the music signal is played by an instrument will be sung or sung. It is according to the invention no longer necessary for a music signal to be processed has a performance-time history of sharp break-ins must have to make the segmentation can.
  • the input type is in the method according to the invention thus no longer limited. While the invention Method for monophonic music signals, as they by a single voice or by a single instrument to be produced, works best, it is too suitable for a polyphonic performance when in polyphonic Performance one instrument or one voice prevailing is.
  • Invention will be an instrument-specific post-processing the frequency-time representation performed to the Frequency-time representation with knowledge of the characteristics to rework a particular instrument to produce a more accurate pitch-contour line and thus a more accurate pitch determination to reach.
  • An advantage of the present invention is that the music signal from any harmonic-sustained musical instrument can be performed, wherein the harmonic-sustained musical instruments the brass instruments, the Woodwinds or the stringed instruments, such. Plucked instruments, strings or percussion instruments, counting. From the frequency-time distribution becomes independent from the timbre of the instrument the played one Basic tone given by a note of a musical notation is, extracted.
  • the inventive concept is thus characterized from that the melody sequence, i. H. the music signal, from one any musical instrument can be performed.
  • the inventive concept is robust against detuned Instruments, "crooked" pitch while singing or whistling by inexperienced singers and performed differently Tempo in the song section to be edited.
  • the method in its preferred embodiment in the case of a Hough transformation for generation the frequency-time representation of the music signal used will be implemented in a computationally efficient way a high execution speed can be achieved.
  • Another advantage of the inventive concept exists in that for referencing a sung or played Music signal due to the fact that a score-based Description representing a rhythm representation and provides a representation of the note heights, a referencing in a database can be made in the a variety of music signals are stored. Especially due to the widespread use of the MIDI standard There is a rich treasure of MIDI files for a big one Number of pieces of music.
  • Fig. 1 shows a block diagram of an inventive Device for transferring a music signal into a score-based Presentation.
  • a music signal that sings, played or in the form of digital time samples is present in a device 10 for generating a Frequency-time representation of the music signal fed, wherein the frequency-time representation has coordinate tuples, where a coordinate tuple has a frequency value and includes a time value, the time value being the time of occurrence indicates the assigned frequency in the music signal.
  • the frequency-time representation is in a facility 12 for calculating a fit function as a function of Time fed in, whose course through the coordinate tuple the frequency-time representation is determined.
  • a device 14 Extrema determined, which then from a device 16 for Segmenting the frequency-time representation to be used to perform a segmentation based on a note rhythm indicates that issued at an output 18 becomes.
  • the segmentation information is further from a Device 20 used to determine the pitch per segment is provided.
  • the device 20 used to determine the pitch per segment only the coordinate tuples in one segment, for successive ones Segments consecutive grades on one Output 22 output.
  • the data at the output 18, so the Rhythm information, and the data at the output 22, so the tone or note height information make up together a score-based representation of a MIDI file or by means of a graphical interface also a musical notation can be generated.
  • a music signal for example, as a result of PCM samples, such as by recording a sung or played music signal and subsequent sampling and analog-to-digital conversion is generated in an audio I / O handler 10a fed.
  • the music signal in digital Format also directly from the hard drive of a computer or come from the sound card of a computer.
  • PCM Pulse Code Modulation
  • the preprocessing device 10b further comprises a level adjusting unit, which is generally a standardization of Volume of the music signal performs as the volume information the music signal in the frequency-time representation is not needed. So that the volume information the determination of the frequency-time coordinate tuple will not affect volume normalization as follows performed.
  • the preprocessing unit for normalization the level of the music signal includes a look-ahead buffer and determines the mean volume the signal. The signal is then scaled multiplied. The scaling factor is the product from a weighting factor and the quotient of full rash and medium signal volume. The length of the look-ahead buffer is variable.
  • the edge detection device 10c is arranged to turn off extract signal edges of specified length from the music signal.
  • the device 10c preferably performs a Hough transformation through.
  • the Hough transformation is disclosed in U.S. 3,069,654 to Paul V. C. Hough.
  • the Hough Transformation serves to detect complex structures and in particular for the automatic detection of complex Lines in photographs or other pictorial representations.
  • the Hough transformation used to get out of the time signal Extract signal edges with specified time lengths.
  • a signal edge is first by its temporal Length specified.
  • a sine wave would be a signal edge due to the rising edge of the sine function defined from 0 to 90 °.
  • the Signal edge also by the increase of the sine function of - 90 ° to + 90 °.
  • the time length corresponds to a signal edge taking into account the sampling frequency with which the samples have been generated, a certain number of samples.
  • the length of a signal edge can thus without further by specifying the number of samples that the Signal edge should be specified.
  • a signal edge only then to detect as a signal edge, if it is steady is and has a monotonous course, so in the case of a positive signal edge a monotonously increasing course Has. Of course, negative signal edges, So monotonically falling signal edges are detected.
  • Another criterion for the classification of signal edges is that a signal edge only as a signal edge is detected when there is a certain level range sweeps. To hide noise interference, is it prefers a minimum level range for a signal edge or amplitude range, where monotone rising signal edges below this range are not considered Signal edges are detected.
  • the signal edge detection unit 12 thus provides a Signal edge and the time of occurrence of the signal edge.
  • the time of Signal edge the instant of the first sample of the signal edge, the time of the last sample of the signal edge or the timing of any sample within the signal edge is taken as long consecutive Signal edges are treated the same.
  • the edge detector 10c is a frequency calculation unit 10d downstream.
  • the frequency calculation unit 10d is trained to be two temporally successive same or equal signal edges within a tolerance value search and then the difference of the occurrence times of the signal edges to build. The reciprocal of the difference corresponds the frequency passing through the two signal edges is determined. If a simple sine tone is considered, such is a period of sine tone by the time interval two consecutive equal long z. B. more positive Signal edges given.
  • the Hough transform a high resolution in detecting signal edges in the Music signal, so that by the frequency calculation unit 10d shows a frequency-time representation of the music signal which can be obtained with a high resolution to one has certain frequencies available.
  • a such frequency-time representation is shown in FIG.
  • the Frequency-time representation has as abscissa a time axis, along which the absolute time is plotted in seconds, and has as ordinate a frequency axis in which in Fig. 8 selected representation, the frequency plotted in Hz is. All pixels in Fig. 8 represent time-frequency coordinate tuples how they are obtained when the first 13 seconds of the work of W. A. Mozart, Köchel directory No. 581, subjected to a Hough transformation become.
  • this piece finds a relatively polyphonic orchestral part with a wide range of relatively uniform frequencies between about 600 and about 950 Hz. Then, about from 5.5 seconds, sets in a dominant clarinet voice, which plays the tone sequence H1, C2, Cis2, D2, H1 and A1.
  • the Orchestral music takes a back seat to the clarinet, which is reflected in the frequency-time representation of Fig. 8 makes noticeable by the fact that the main distribution of frequency-time coordinate tuples within one limited band 800, which is also called pitch-contour tape strip referred to as.
  • the frequency calculation unit 10d is a device 10e downstream for the determination of accumulation areas.
  • the Become means 10e for determining the accumulation areas the characteristic distribution point clouds (clusters), when editing audio files as stationary Feature revealed, worked out.
  • This can be an elimination all isolated frequency-time tuples performed which are a predetermined minimum distance to exceed next spatial neighbor. So will one Such processing will cause almost all coordinate tuples above the pitch contour band 800 be eliminated, whereby the example of Fig. 8 in the Range of 6 to 12 seconds, only the pitch-contour tape strip and some cluster areas below the Pitch-Contour strip bands remain.
  • the pitch-contour strip 800 thus consists of clusters certain frequency width and time length, where these clusters are caused by the played notes.
  • the frequency-time representation generated by means 10e, in the isolated coordinate tuple already are eliminated, is preferably for further processing using the device shown in Fig. 3 is used.
  • an instrument-specific Post-processing 10f performed to off the Pitch Contour Strip 800 tape, if possible, a single one Create pitch-contour line.
  • the pitch-contour strip band an instrument-specific case analysis subjected.
  • Certain instruments, such as B. Oboe or French horn, have characteristic pitch-contour tapes on.
  • the oboe for example, has two parallel strip bands on, as by the double reed of the oboe mouthpiece the air column to two longitudinal vibrations different frequency is stimulated and the waveform oscillates between these two modes.
  • the device 10f for instrument-specific Postprocessing examines the frequency-time representation on the presence of characteristic features, and switches, When these features have been identified, an instrument specific one Aftertreatment process, which on specialties stored for example in a database received various instruments.
  • a possibility would be, for example, of the two parallel band stripes the oboe is either the top or the bottom too or, as needed, an average or median between both strip bands of further processing to underlie.
  • individual instruments own characteristics in the frequency-time diagram as each instrument is typical Has sound color, due to the composition of the Harmonics and the time course of the fundamental frequency and the harmonics is determined.
  • the frequency-time representation as for example behind the unit 10d of FIG. 2, alternatively also by a frequency transformation method can be generated, like it for example, a fast Fourier transform.
  • a Fourier transform is made from a block of temporal sample of the music signal a short-term spectrum generated.
  • Problematic in the Fourier transformation is the fact of low time resolution, though a block with many samples in the frequency domain is transformed. A block with many samples is however required to achieve good frequency resolution. Will, however, to achieve a high time resolution, a block with few samples is used achieved a lower frequency resolution. It can be seen from this that in a Fourier transform either a high frequency resolution or a high time resolution can be achieved.
  • a polynomial function with a degree n preferred. If a polynomial function used, enter the intervals between two minima of the polynomial function an indication of the temporal segmentation of the music signal, d. H. on the Sequence of musical music notes.
  • Such a polynomial function 820 is shown in FIG. 8. It can be seen, that the polynomial function 820 at the beginning of the music signal and after about 2.8 seconds two polynomial zeros 830, 832 having the two polyphonic accumulation areas at the beginning of the Mozart piece "initiate".
  • the coefficients of the polynomial function which are high Degrees in the range of over 30 may be included Compensation Calculation Methods Using Frequency-Time Coordinate Tuples which are shown in FIG. 8, calculated.
  • the polynomial function is placed in the frequency-time representation, that the polynomial function in a certain section of the piece, in Fig. 8 the first 13 seconds, optimally placed in the coordinate tuple, so that the distance the tuple to the polynomial function total calculated becomes minimal.
  • This can create "fake minima", such as for example, the minima of the polynomial function at about 10.6 seconds. This minimum is due to the fact that under the Pitch-Contour strip band clusters are, preferably by the means 10e for determining the accumulation areas (Fig. 2) are eliminated.
  • the coefficients of the polynomial function calculated can by means of a device 10h the minima the polynomial function are determined. Because the polynomial function is analytic, is a simple differentiation and zeros search easily possible. For Other polynomial functions can be numerical methods for Deriving and zeroing searches are used.
  • the device 16 a segmentation of the time-frequency representation made on the basis of the determined minimums.
  • the following will discuss how the degree of Polynomial function whose coefficients are determined by the device 12, according to a preferred embodiment is determined.
  • This is a standard tone sequence with fixed standard lengths for calibration of the inventive device played. Thereupon becomes for polynomials of different degrees a coefficient calculation and minima determined. The degree then becomes chosen so that the sum of the differences of two successive Minima of the polynomial of the measured tone length, d. H. by segmentation determined sound length, the pre-played Default reference tones is minimized.
  • the calibration run using the tone sequence Standard reference tones of given length may also be added used to determine a scaling characteristic, fed to the device 16 for segmentation can be (30) to the time interval of the minima to scale the polynomial function.
  • a scaling characteristic fed to the device 16 for segmentation can be (30) to the time interval of the minima to scale the polynomial function.
  • FIG. 8 lies the minimum of the polynomial function not immediately at the beginning of the heap, the h1 sound represents not immediately after about 5.5 seconds, but at about 5.8 seconds. If a polynomial function higher order, the minimum would be more Edge of the heap to be moved. However, this would be below Cause the polynomial function to be too strong wriggles and creates too many dummy minima. Therefore it will preferred to generate the scaling characteristic that for every calculated minimum distance provides a scaling factor holds.
  • a scaling characteristic with freely selectable Resolution can be generated. It should be noted that this calibration or scaling characteristic only be generated once before commissioning the device must then during an operation of the device for Transferring a music signal into a score-based description to be used.
  • the temporal segmentation of the device 16 thus takes place by the polynomial fit of the nth order, with the degree before Commissioning the device is chosen so that the Sum of the differences between two consecutive minima of the polynomial from the measured tone lengths of standard reference tones is minimized. From the mean deviation is the scaling characteristic determines the relation between the measured with the inventive method tone length and the actual tone length. Although without Scaling already obtainable results, As it is clear from FIG. 8, the scaling characteristic can be used the accuracy of the process even better become.
  • Fig. 4 a preferred construction of the device 20 for determining the Pitch per segment.
  • the by the device 16 of FIG. 3 segmented time-frequency representation is fed to a device 20a, to an average value all frequency tuples or a median of all coordinate tuples per segment. The best results arise when only the coordinate tuples within the pitch contour line can be used.
  • a pitch value d. H. a pitch value, educated.
  • the music signal is at the exit of the device 20a thus already as a consequence of absolute Pitch heights in front. In principle, this sequence could be absolute Pitch heights already as a note sequence or note-based Representation can be used.
  • the interval combination pairs are for a Note sequence of length in detail: grade 1 minus grade 2, grade 1 minus grade 3, grade 1 minus grade 4, grade 1 minus grade 5, grade 2 minus grade 3, grade 2 minus grade 4, grade 2 minus Grade 5, Grade 3 minus Grade 4, Grade 3 minus Grade 5, Grade 4 minus note 5.
  • the set of interval values forms a tone coordinate system.
  • This is now fed into a device 20c, which performs a compensation calculation and the tone coordinate system calculated by means 20b Compares with sound coordinate systems in a mood database 40 are stored.
  • the mood can gleichschwebend subdivision of an octave in 12 equal large semitone intervals
  • enharmonic of course, harmonic, Pythagorean, middle king, after Huygens, twelve parts with natural harmonic basis after Kepler, Euler, Mattheson, Kirnberger I + II, Malcolm, with modified Fifths after Silbermann, Werckmeister III, IV; V, VI, Neidhardt I, II, III.
  • the mood can be instrument specific due to the design of the instrument, d. H.
  • the device 20c determines by means of Methods of the equalization calculus the absolute halftone levels, by taking the mood by variation calculus which is the total of the residuals of the distances of the Halftone levels minimized by the pitch values.
  • the absolute Sound levels are determined by the halftone levels be changed in parallel in steps of 1 Hz and those Halftone levels are considered to be absolute, which the Total of residuals of intervals of halftone steps of minimize the pitch values. For each pitch value results then a deviation value from the nearest halftone step. Extreme outliers are determinable thereby, these Values can be excluded by iteratively excluding the Outlier the mood is recalculated.
  • the Device 20c thus lies for each pitch value of a segment a nearest half tone level of the music signal underlying mood.
  • the pitch value is given by the nearest one Halftone stage replaced, so that at the output of the device 20d a sequence of note heights as well as information about the Mood that underlies the music signal, and the reference chamber sound available.
  • This information at the output of Means 20c could now readily be used to create notation or a MIDI file to write.
  • the quantization device 20d is preferred, irrespective of the instrument, which delivers the music signal to become.
  • the device 20d preferably further configured to not only the but to output absolute quantized pitch values also the interval half-tone jumps two consecutive To determine scores and then this episode of semitone jumps as a search sequence for a reference to FIG. 7 described DNA sequencer to use.
  • the pre-recorded or transposed music signal transposed into another key depending on the mood of the instrument eg B Clarinet, Eb saxophone
  • is for reference Referencing not described in FIG. 7 Sequence of absolute pitches used but the episode of differences, since the difference frequencies from the absolute Pitch are independent.
  • the segmentation information be used as rhythm information because through which the duration of a sound is given. It will however, preferably, the segmented time-frequency representation or from the same by distance two adjacent Minima certain tone lengths by means of a device 16a into normalized tone lengths to transform. These Normalization is done by means of a subjective-duration characteristic calculated from the sound length. So show psychoacoustic Researches that, for example, a 1/8-break longer as a 1/8 note lasts. Such information is going in the subjective-duration characteristic to the normalized Tone lengths and thus to receive the normalized pauses.
  • the normalized tone lengths are then converted into a device 16b fed for histogramming.
  • the device 16b provides statistics about which tone lengths occur or what tone lengths accumulations take place.
  • On the base of the tone length histogram is by a device 16c sets a basic note length by dividing the subdivision the basic note length is made so that the note lengths as integer multiples of this basic note length are. So you can to sixteenth, eighth, quarter, Half or full marks arrive.
  • the device 16c is based that in usual music signals by no means arbitrary Sound lengths are given, but the used note lengths usually in a fixed relationship to each other stand.
  • This provides note height information and note rhythm information at the outputs 22 ( Figure 4) and 18 ( Figure 5) in front.
  • This information may be stored in a device 60 for Design rule review will be merged.
  • the device 60 checks to see if the played notes are after compositional rules of the melody guide are constructed. Notes in the episode that do not fit into the scheme will be marked to allow these marked notes from the DNA sequencer, which is shown with reference to FIG. 7, separately be treated.
  • the device 16 is looking for meaningful Constructs and is trained to, for example to recognize whether certain note sequences are unplayable or usually do not occur.
  • Fig. 7 a Method for referencing a music signal in a database according to another aspect of the present invention display.
  • the music signal is at the entrance, for example as file 70.
  • a device 72 for Transferring the music signal into a score-based description, constructed according to FIGS. 1 to 6 according to the invention is, note rhythm information and / or note height information generates a search sequence 74 for form a DNA sequencer 76.
  • the sequence of notes that is represented by the search sequence 74 is now either in terms of note rhythm and / or in terms of the note heights with a variety of note-based descriptions for different tracks (Track_1 to Track_n) compared stored in a score database 78 could be.
  • the DNA sequencer which is a device for Compare the music signal with a note-based description represents the database 78, checks a match or similarity. Thus, a statement regarding hit the music signal based on the comparison become.
  • the DNA sequencer 76 is preferably with connected to a music database in which the various Tracks (track_1 to track_n) whose score-based descriptions stored in the scorebook as Audio file are stored.
  • the sheet music database 78 and the database 80 a single database be.
  • the database 80 could be omitted when the score database has meta information about the pieces whose score-based descriptions are stored are, include, such. B. author, name of the piece, music publisher, Pressing, etc.
  • the device shown in FIG Referencing a song achieved in which an audio section, in which a sung or with a musical instrument recorded sequence of sounds is recorded in one Sequence of notes is transferred, this sequence of notes as a search criterion with stored note sequences in the scorebook is compared and the song from the scorebook is referenced, where the largest match between note input sequence and note sequence in the database is present.
  • the MIDI description preferred because MIDI files for huge Sets of music already exist.
  • the device shown in FIG. 7 could also be constructed be to generate the note-based description itself, when the database is initially operated in a learning mode is indicated by a dashed arrow 82 is.
  • the device 72 In the learning mode (82), the device 72 would first a score-based for a variety of music signals Generate description and in the score database 78 save. Only when the scorebook is filled sufficiently is, the connection 82 would be interrupted to to perform a referencing of a music signal. After this MIDI files already exist for many pieces However, it prefers to existing note databases recourse.
  • the DNA sequencer 76 searches for the most similar melody sequence in the score database, by listening to the melody sequence varies by the operations Replace / Insert / Delete. Each elementary operation is associated with a cost measure. Optimal is when all notes without special operations to match. On the other hand, it is suboptimal if n from m values. This will be automatic, so to speak introduced a ranking of melody sequences, and the Similarity of the music signal 70 to a database music signal Track_1 ... Track_n can be specified quantitatively become. It is preferred the similarity of, for example the top five candidates from the scorebook as output descending list.
  • the notes are displayed as sixteenth, Eighth, quarter, half and full tone filed.
  • the DNA sequencer searches for the most similar rhythm sequence in the rhythm database, by following the rhythm sequence through the operations Replace / Insert / Delete varies. Every elementary operation is also associated again with a cost measure. Optimal is suboptimal if all note lengths match is it, if n of m values agree. This will again introduced a ranking of the rhythm sequences, and the Similarity of the rhythmic sequences may be in a descending order List to be output.
  • the DNA sequencer in a preferred embodiment the present invention further comprises a melody / rhythm matching unit, which determines what consequences both the pitch sequence and the rhythm sequence match.
  • the melody / rhythm matching unit searches the greatest possible coincidence of both consequences by the Number of matches is assumed as a reference criterion. Optimal it is, if all values agree, suboptimal is it, if n of m values agree. This will again introduced a ranking, and the similarity of melody / rhythm sequences can be back in a descending list be issued.
  • the DNA sequencer may be further arranged to be of the Design rule checker 60 ( Figure 6) either marked notes ignore or provide a lower weight, so that the result is not unnecessarily distorted by outliers becomes.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

Die vorliegende Erfindung bezieht sich auf das Gebiet der Verarbeitung von Musiksignalen und insbesondere auf das Umsetzen eines Musiksignals in eine Noten-basierte Beschreibung.
Konzepte, mit denen Lieder durch Vorgabe einer Tonfolge referenziert werden, sind für viele Anwender nützlich. Wer kennt nicht die Situation, daß man die Melodie eines Liedes vor sich her singt, sich aber außer der Melodie nicht an den Titel des Liedes erinnern kann. Wünschenswert wäre, eine Melodiesequenz vorzusingen oder mit einem Musikinstrument vorzuspielen, und mit diesen Informationen die Melodiesequenz in einer Musikdatenbank zu referenzieren, wenn die Melodiesequenz in der Musikdatenbank enthalten ist.
Eine standardmäßige Noten-basierte Beschreibung von Musiksignalen ist das MIDI-Format (MIDI = Music Interface Description). Eine MIDI-Datei umfaßt eine Noten-basierte Beschreibung derart, daß der Tonanfang und das Tonende eines Tons bzw. der Tonanfang und die Dauer des Tons als Funktion der Zeit aufgezeichnet sind. MIDI-Dateien können beispielsweise in elektronischen Keyboards eingelesen werden und "abgespielt" werden. Selbstverständlich existieren auch Soundkarten zum Abspielen eines MIDI-Files über die mit der Soundkarte eines Computers verbundenen Lautsprecher. Daraus ist zu sehen, daß das Umformen einer Noten-basierten Beschreibung, welches in seiner ursprünglichsten Form durch einen Intrumentalisten "manuell" durchgeführt wird, der ein durch Noten aufgezeichnetes Lied mittels eines Musikinstruments spielt, auch ohne weiteres automatisch durchgeführt werden kann.
Das Gegenteil ist jedoch ungleich aufwendiger. Die Umformung eines Musiksignals, das eine gesungene Melodiesequenz, eine gespielte Melodiesequenz, eine von einem Lautsprecher aufgezeichnete Melodiesequenz oder eine in Form einer Datei vorhandene digitalisierte und optional komprimierte Melodiesequenz ist, in eine Noten-basierte Beschreibung in Form einer MIDI-Datei oder in eine konventionelle Notenschrift ist mit großen Einschränkungen verbunden.
In der Dissertation "Using Contour as a Mid-Level Representation of Melody" von A. Lindsay, Massachusetts Institute of Technology, September 1996, ist ein Verfahren zum Umformen eines gesungenen Musiksignals in eine Folge von Noten beschrieben. Ein Lied muß unter Verwendung von Stoppkonsonanten vorgetragen werden, d. h. als eine Folge von "da", "da", "da". Anschließend wird die Leistungsverteilung des von dem Sänger erzeugten Musiksignals über der Zeit betrachtet. Aufgrund der Stoppkonsonanten ist zwischen dem Ende eines Tons und dem Beginn des darauffolgenden Tons ein deutlicher Leistungseinbruch in einem Leistungs-Zeit-Diagramm zu erkennen. Auf der Basis der Leistungseinbrüche wird eine Segmentierung des Musiksignals durchgeführt, so daß in jedem Segment eine Note vorhanden ist. Eine Frequenzanalyse liefert die Höhe des gesungenen Tons in jedem Segment, wobei die Folge von Frequenzen auch als Pitch-Contourlinie bezeichnet wird.
Das Verfahren ist dahingehend nachteilig, daß es auf eine gesungene Eingabe beschränkt ist. Als Vorgabe muß die Melodie durch einen Stoppkonsonanten und einen Vokalpart gesungen werden, in der Form "da" "da" "da", damit eine Segmentierung des aufgezeichneten Musiksignals vorgenommen werden kann. Dies schließt bereits eine Anwendung des Verfahrens auf Orchesterstücke aus, in denen ein dominantes Instrument gebundenen Noten, d. h. nicht durch Pausen getrennte Noten, spielt.
Nach einer Segmentierung berechnet das bekannte Verfahren Intervalle jeweils zwei aufeinanderfolgender Pitch-Werte, d. h. Tonhöhenwerte, in der Pitchwertfolge. Dieser Intervallwert wird als Abstandsmaß angenommen. Die sich ergebende Pitchfolge wird dann mit in einer Datenbank gespeicherten Referenzfolgen verglichen, wobei das Minimum einer Summe quadrierter Differenzbeträge über alle Referenzfolgen als Lösung, d. h. als in der Datenbank referenzierte Notenfolge, angenommen wird.
Ein weiterer Nachteil dieses Verfahrens besteht darin, daß ein Pitch-Tracker eingesetzt wird, welcher Oktav-Sprungfehler aufweist, die nachträglich kompensiert werden müssen. Ferner muß der Pitch-Tracker fein abgestimmt werden, um gültige Werte zu liefern. Das Verfahren nutzt lediglich die Intervallabstände zweier aufeinanderfolgender Pitch-Werte. Eine Grobquantisierung der Intervalle wird durchgeführt, wobei diese Grobquantisierung lediglich grobe Schritte aufweist, die als "sehr groß", "groß", "gleichbleibend" eingeteilt sind. Durch diese Grobquantisierung gehen die absoluten Tonangaben in Hertz verloren, wodurch eine feinere Bestimmung der Melodie nicht mehr möglich ist.
Um eine Musikerkennung durchführen zu können, ist es wünschenswert, aus einer gespielten Tonfolge eine Noten-basierte Beschreibung beispielsweise in Form eines MIDI-Files oder in Form einer konventionellen Notenschrift zu bestimmen, wobei jede Note durch Tonanfang, Tonlänge und Tonhöhe gegeben ist.
Ferner ist zu bedenken, daß die Eingabe nicht immer exakt ist. Insbesondere für eine kommerzielle Nutzung muß davon ausgegangen werden, daß die gesungene Notenfolge sowohl hinsichtlich der Tonhöhe als auch hinsichtlich des Tonrhythmus und der Tonfolge unvollständig sein kann. Wenn die Notenfolge mit einem Instrument vorgespielt werden soll, so muß davon ausgegangen werden, daß das Instrument unter Umständen verstimmt ist, auf einen anderen Frequenzgrundton gestimmt ist (beispielsweise nicht auf den Kammerton A von 440 Hz sondern auf das "A" bei 435 Hz). Ferner kann das Instrument in einer eigenen Tonart gestimmt sein, wie z. B. die B-Klarinette oder das Es-Saxophon. Die Melodietonfolge kann auch bei instrumentaler Darbietung unvollständig sein, indem Töne weggelassen sind (Delete), indem Töne eingestreut sind (Insert), oder indem andere (falsche) Töne gespielt werden (Replace). Ebenso kann das Tempo variiert sein. Weiterhin ist zu berücksichtigen, daß jedes Instrument eine eigene Klangfarbe aufweist, so daß ein von einem Instrument gespielter Ton eine Mischung aus Grundton und anderen Frequenzanteilen, den sogenannten Obertönen, ist.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein robusteres Verfahren und eine robustere Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung zu schaffen.
Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 oder durch eine Vorrichtung gemäß Patentanspruch 31 gelöst.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein robusteres Verfahren und eine robustere Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank, die eine Noten-basierte Beschreibung einer Mehrzahl von Datenbank-Musiksignalen aufweist, zu schaffen.
Diese Aufgabe wird durch ein Verfahren nach Patentanspruch 23 oder durch eine Vorrichtung nach Patentanspruch 32 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß für eine effiziente und robuste Überführung eines Musiksignals in eine Noten-basierte Beschreibung eine Einschränkung dahingehend nicht akzeptabel ist, daß eine gesungene oder gespielte Notenfolge durch Stoppkonsonanten dargeboten werden muß, die dazu führen, daß die Leistungs-Zeit-Darstellung des Musiksignals scharfe Leistungseinbrüche aufweist, welche dazu verwendet werden können, eine Segmentierung des Musiksignals durchzuführen, um einzelne Töne der Melodiefolge voneinander abgrenzen zu können.
Erfindungsgemäß wird aus dem vorgesungenen oder vorgespielten oder in einer sonstigen Form vorliegenden Musiksignal eine Noten-basierte Beschreibung dadurch gewonnen, daß zunächst eine Frequenz-Zeit-Darstellung des Musiksignals erzeugt wird, wobei die Frequenz-Zeit-Darstellung Koordinatentupel aufweist, wobei ein Koordinatentupel einen Frequenzwert und einen Zeitwert aufweist, wobei der Zeitwert die Zeit des Auftretens des zugeordneten Frequenz in dem Musiksignal angibt. Anschließend wird eine Fitfunktion als Funktion der Zeit berechnet, deren Verlauf durch die Koordinatentupel der Frequenz-Zeit-Darstellung bestimmt ist. Aus der Fitfunktion werden zumindest zwei benachbarte Extremwerte ermittelt. Die zeitliche Segmentierung der Frequenz-Zeit-Darstellung, um Töne einer Melodiefolge voneinander abgrenzen zu können, wird auf der Basis der ermittelten Extremwerte durchgeführt, wobei ein Segment durch die zumindest zwei benachbarten Extremwerte der Fitfunktion begrenzt ist, wobei die zeitliche Länge des Segments auf eine zeitliche Länge einer Note für das Segment hinweist. Damit wird ein Notenrhythmus erhalten. Die Notenhöhen werden schließlich unter Verwendung lediglich von Koordinaten-Tupeln in jedem Segment bestimmt, so daß für jedes Segment ein Ton ermittelt wird, wobei die Töne in den aufeinanderfolgenden Segmenten auf die Melodiefolge hinweisen.
Ein Vorteil der vorliegenden Erfindung besteht darin, daß eine Segmentierung des Musiksignals unabhängig davon erreicht wird, ob das Musiksignal von einem Instrument gespielt wird oder vorgesungen wird. Erfindungsgemäß ist es nicht mehr erforderlich, daß ein zu verarbeitendes Musiksignal einen Leistungs-Zeit-Verlauf hat, der scharfe Einbrüche aufweisen muß, um die Segmentierung vornehmen zu können. Die Eingabeart ist bei dem erfindungsgemäßen Verfahren somit nicht mehr beschränkt. Während das erfindungsgemäße Verfahren bei monophonen Musiksignalen, wie sie durch eine einzelne Stimme oder durch ein einzelnes Instrument erzeugt werden, am besten funktioniert, ist es auch für eine polyphone Darbietung geeignet, wenn in der polyphonen Darbietung ein Instrument bzw. eine Stimme vorherrschend ist.
Aufgrund der Tatsache, daß die zeitliche Segmentierung der Noten der Melodiefolge, die das Musiksignal darstellt, nicht mehr durch Leistungsbetrachtungen durchgeführt wird, sondern durch Berechnen einer Fitfunktion unter Verwendung einer Frequenz-Zeit-Darstellung, ist eine kontinuierliche Eingabe möglich, wie sie einem natürlichen Gesang oder einem natürlichen Instrumentenspiel am ehesten entspricht.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird eine Instrumenten-spezifische Nachbearbeitung der Frequenz-Zeit-Darstellung durchgeführt, um die Frequenz-Zeit-Darstellung unter Kenntnis der Charakteristika eines bestimmten Instruments nachzubearbeiten, um eine genauere Pitch-Contour-Linie und damit eine genauere Tonhöhenbestimmung zu erreichen.
Ein Vorteil der vorliegenden Erfindung besteht darin, daß das Musiksignal von jedem beliebigen Harmonic-Sustained Musikinstrument vorgetragen werden kann, wobei zu den Harmonic-Sustained-Musikinstrumenten die Blechinstrumente, die Holzblasinstrumente oder auch die Saiteninstrumente, wie z. B. Zupfinstrumente, Streichinstrumente oder Anschlaginstrumente, zählen. Aus der Frequenz-Zeit-Verteilung wird unabhängig von der Klangfarbe des Instrumentes der gespielte Grundton, der durch eine Note einer Notenschrift vorgegeben ist, extrahiert.
Das erfindungsgemäße Konzept zeichnet sich somit dadurch aus, daß die Melodiesequenz, d. h. das Musiksignal, von einem beliebigen Musikinstrument vorgetragen werden kann. Das erfindungsgemäße Konzept ist robust gegenüber verstimmten Instrumenten, "schiefen" Tonlagen beim Singen oder Pfeifen von ungeübten Sängern und unterschiedlich vorgetragenen Tempi im zu bearbeitenden Liedausschnitt.
Ferner kann das Verfahren in seiner bevorzugten Ausführungsform, bei der eine Hough-Transformation zur Erzeugung der Frequenz-Zeit-Darstellung des Musiksignals eingesetzt wird, Rechenzeit-effizient implementiert werden, wodurch eine hohe Ausführungsgeschwindigkeit erreicht werden kann.
Ein weiterer Vorteil des erfindungsgemäßen Konzepts besteht darin, daß zur Referenzierung eines gesungenen oder gespielten Musiksignals aufgrund der Tatsache, daß eine Noten-basierte Beschreibung, die eine Rhythmus-Darstellung und eine Darstellung der Notenhöhen liefert, eine Referenzierung in einer Datenbank vorgenommen werden kann, in der eine Vielzahl von Musiksignalen abgespeichert sind. Insbesondere aufgrund der großen Verbreitung des MIDI-Standards existiert ein reicher Schatz an MIDI-Dateien für eine große Anzahl von Musikstücken.
Ein weiterer Vorteil des erfindungsgemäßen Konzepts besteht darin, daß auf der Basis der erzeugten Noten-basierten Beschreibung mit den Methoden der DNA-Sequenzierung Musikdatenbanken beispielsweise im MIDI-Format mit leistungskräftigen DNA-Sequenzierungs-Algorithmen, wie z. B. dem Boyer-Moore-Algorithmus, unter Verwendung von Replace/Insert/Delete-Operationen durchsucht werden können. Diese Form des zeitlich sequentiell ablaufenden Vergleichs unter gleichzeitiger gesteuerter Manipulation des Musiksignals liefert ferner die benötigte Robustheit gegenüber ungenauen Musiksignalen, wie sie durch ungeübte Instrumentalisten oder ungeübte Sänger erzeugt werden können. Dieser Punkt ist wesentlich für einen hohen Verbreitungsgrad eines Musikerkennungssystems, da die Anzahl geübter Instrumentalisten und geübter Sänger unter der Bevölkerung naturgemäß eher gering ist.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1
ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Darstellung;
Fig. 2
ein Blockschaltbild einer bevorzugten Vorrichtung zum Erzeugen einer Frequenz-Zeit-Darstellung aus einem Musiksignal, bei der zur Flankendetektion eine Hough-Transformation eingesetzt wird;
Fig. 3
ein Blockschaltbild einer bevorzugten Vorrichtung zum Erzeugen einer segmentierten Zeit-Frequenz-Darstellung aus der durch Fig. 2 gelieferten Frequenz-Zeit-Darstellung;
Fig. 4
eine erfindungsgemäße Vorrichtung zum Ermitteln einer Folge von Notenhöhen auf der Basis der von Fig. 3 ermittelten segmentierten Zeit-Frequenz-Darstellung;
Fig. 5
eine bevorzugte Vorrichtung zum Ermitteln eines Noten-Rhythmus auf der Basis der segmentierten Zeit-Frequenz-Darstellung von Fig. 3;
Fig. 6
eine schematische Darstellung einer Design-Rule-Überprüfungseinrichtung, um unter Kenntnis der Notenhöhen und des Notenrhythmus zu überprüfen, ob die ermittelten Werte nach kompositorischen Regeln sinnvoll sind;
Fig. 7
ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zum Referenzieren eines Musiksignal in einer Datenbank; und
Fig. 8
ein Frequenz-Zeit-Diagramm der ersten 13 Sekunden des Klarinettenquintetts A-Dur von W. A. Mozart, KV 581, Larghetto, Jack Bryner, Klarinette, Aufnahme: 12/1969, London, Philips 420 710-2 einschließlich Fitfunktion und Notenhöhen.
Fig. 1 zeigt ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Darstellung. Ein Musiksignal, das gesungen, gespielt oder in Form von digitalen zeitlichen Abtastwerten vorliegt, wird in eine Einrichtung 10 zum Erzeugen einer Frequenz-Zeit-Darstellung des Musiksignals eingespeist, wobei die Frequenz-Zeit-Darstellung Koordinatentupel aufweist, wobei ein Koordinatentupel einen Frequenzwert und einen Zeitwert umfaßt, wobei der Zeitwert die Zeit des Auftretens der zugeordneten Frequenz in dem Musiksignal angibt. Die Frequenz-Zeit-Darstellung wird in eine Einrichtung 12 zum Berechnen einer Fitfunktion als Funktion der Zeit eingespeist, deren Verlauf durch die Koordinatentupel der Frequenz-Zeit-Darstellung bestimmt ist. Aus der Fitfunktion werden mittels einer Einrichtung 14 benachbarte Extrema ermittelt, welche dann von einer Einrichtung 16 zum Segmentieren der Frequenz-Zeit-Darstellung verwendet werden, um eine Segmentierung durchzuführen, die auf einen Notenrhythmus hinweist, der an einem Ausgang 18 ausgegeben wird. Die Segmentierungsinformationen werden ferner von einer Einrichtung 20 verwendet, die zur Bestimmung der Tonhöhe pro Segment vorgesehen ist. Die Einrichtung 20 verwendet zur Bestimmung der Tonhöhe pro Segment lediglich die Koordinaten-Tupel in einem Segment, um für die aufeinanderfolgenden Segmente aufeinanderfolgende Notenhöhen an einem Ausgang 22 auszugeben. Die Daten am Ausgang 18, also die Rhythmusinformationen, und die Daten an dem Ausgang 22, also die Ton- bzw. Notenhöheninformationen, bilden zusammen eine Noten-basierte Darstellung, aus der eine MIDI-Datei oder mittels einer graphischen Schnittstelle auch eine Notenschrift erzeugt werden kann.
Im nachfolgenden wird anhand von Fig. 2 auf eine bevorzugte Ausführungsform zum Erzeugen einer Frequenz-Zeit-Darstellung des Musiksignals eingegangen. Ein Musiksignal, das beispielsweise als Folge von PCM-Samples vorliegt, wie sie durch Aufzeichnen eines gesungenen oder gespielten Musiksignals und anschließendes Abtasten und Analog/Digital-Wandeln erzeugt werden, wird in einen Audio-I/O-Handler 10a eingespeist. Alternativ kann das Musiksignal in digitalem Format auch direkt von der Festplatte eines Computers oder von der Soundkarte eines Computers kommen. Sobald der Audio-I/O-Handler 10a eine Ende-Datei-Marke erkennt, schließt er die Audiodatei und lädt je nach Bedarf das nächste zu bearbeitende Audiofile oder terminiert den Einlesevorgang. Die stromförmig vorliegenden PCM-Samples (PCM = Pulse Code Modulation) werden nacheinander an eine Vorverarbeitungseinrichtung 10b übermittelt, in der der Datenstrom auf eine einheitliche Abtastrate umgewandelt wird. Es wird bevorzugt, in der Lage zu sein, mehrere Abtastraten zu verarbeiten, wobei die Abtastrate des Signals bekannt sein soll, um aus der Abtastrate Parameter für die nachfolgende Signalflankendetektionseinheit 10c zu ermitteln.
Die Vorverarbeitungseinrichtung 10b umfaßt ferner eine Pegelanpassungseinheit, die allgemein eine Normierung der Lautstärke des Musiksignals durchführt, da die Lautstärkeinformation des Musiksignals in der Frequenz-Zeit-Darstellung nicht benötigt wird. Damit die Lautstärkeinformationen die Bestimmung der Frequenz-Zeit-Koordinatentupel nicht beeinflussen, wird eine Lautstärkenormierung folgendermaßen vorgenommen. Die Vorverarbeitungseinheit zur Normierung des Pegels des Musiksignals umfaßt einen Look-Ahead-Buffer und bestimmt daraus die mittlere Lautstärke des Signals. Das Signal wird dann mit einem Skalierungsfaktor multipliziert. Der Skalierungsfaktor ist das Produkt aus einem Gewichtungsfaktor und dem Quotienten aus Vollausschlag und mittlerer Signallautstärke. Die Länge des Look-Ahead-Buffers ist variabel.
Die Flankendetektionseinrichtung 10c ist angeordnet, um aus dem Musiksignal Signalflanken spezifizierter Länge zu extrahieren. Die Einrichtung 10c führt vorzugsweise eine Hough-Transformation durch.
Die Hough-Transformation ist in dem U.S.-Patent Nr. 3,069,654 von Paul V. C. Hough beschrieben. Die Hough-Transformation dient zur Erkennung von komplexen Strukturen und insbesondere zur automatischen Erkennung von komplexen Linien in Photographien oder anderen Bilddarstellungen. In ihrer Anwendung gemäß der vorliegenden Erfindung wird die Hough-Transformation dazu verwendet, um aus dem Zeitsignal Signalflanken mit spezifizierten zeitlichen Längen zu extrahieren. Eine Signalflanke wird zunächst durch ihre zeitliche Länge spezifiziert. Im Idealfall einer Sinuswelle wäre eine Signalflanke durch die ansteigende Flanke der Sinusfunktion von 0 bis 90° definiert. Alternativ könnte die Signalflanke auch durch den Anstieg der Sinus-Funktion von - 90° bis +90° spezifiziert sein.
Liegt das Zeitsignal als Folge von zeitlichen Abtastwerten vor, so entspricht die zeitliche Länge einer Signalflanke unter Berücksichtigung der Abtastfrequenz, mit der die Samples erzeugt worden sind, einer bestimmten Anzahl von Abtastwerten. Die Länge einer Signalflanke kann somit ohne weiteres durch Angabe der Anzahl der Abtastwerte, die die Signalflanke umfassen soll, spezifiziert werden.
Darüber hinaus wird es bevorzugt, eine Signalflanke nur dann als Signalflanke zu detektieren, wenn dieselbe stetig ist und einen monotonen Verlauf hat, also im Falle einer positiven Signalflanke einen monoton steigenden Verlauf hat. Selbstverständlich können auch negative Signalflanken, also monoton fallende Signalflanken detektiert werden.
Ein weiteres Kriterium zur Klassifizierung von Signalflanken besteht darin, daß eine Signalflanke nur dann als Signalflanke detektiert wird, wenn sie einen bestimmten Pegelbereich überstreicht. Um Rauschstörungen auszublenden, wird es bevorzugt, für eine Signalflanke einen minimalen Pegelbereich oder Amplitudenbereich vorzugeben, wobei monoton steigende Signalflanken unterhalb dieses Bereichs nicht als Signalflanken detektiert werden.
Die Signalflankendetektionseinheit 12 liefert somit eine Signalflanke und den Zeitpunkt des Auftretens der Signalflanke. Hierbei ist es unerheblich, ob als Zeitpunkt der Signalflanke der Zeitpunkt des ersten Abtastwerts der Signalflanke, der Zeitpunkt des letzten Abtastwerts der Signalflanke oder der Zeitpunkt irgendeines Abtastwerts innerhalb der Signalflanke genommen wird, so lange aufeinanderfolgende Signalflanken gleich behandelt werden.
Dem Flankendetektor 10c ist eine Frequenzberechnungseinheit 10d nachgeschaltet. Die Frequenzberechnungseinheit 10d ist ausgebildet, um zwei zeitlich aufeinander folgende gleiche oder innerhalb eines Toleranzwerts gleiche Signalflanken zu suchen und dann die Differenz der Auftrittszeiten der Signalflanken zu bilden. Der Kehrwert der Differenz entspricht der Frequenz, die durch die beiden Signalflanken bestimmt ist. Wenn ein einfacher Sinuston betrachtet wird, so ist eine Periode des Sinustons durch den zeitlichen Abstand zwei aufeinanderfolgender gleich langer z. B. positiver Signalflanken gegeben.
Es sei darauf hingewiesen, daß die Hough-Transformation eine hohe Auflösung beim Detektieren von Signalflanken in dem Musiksignal aufweist, so daß durch die Frequenzberechnungseinheit 10d eine Frequenz-Zeit-Darstellung des Musiksignals erhalten werden kann, die mit hoher Auflösung die zu einem bestimmten Zeitpunkt vorhandenen Frequenzen aufweist. Eine solche Frequenz-Zeit-Darstellung ist in Fig. 8 gezeigt. Die Frequenz-Zeit-Darstellung hat als Abszisse eine Zeitachse, entlang der die absolute Zeit in Sekunden aufgetragen ist, und hat als Ordinate eine Frequenzachse, in der bei der in Fig. 8 gewählten Darstellung die Frequenz in Hz aufgetragen ist. Sämtliche Bildpunkte in Fig. 8 stellen Zeit-Frequenz-Koordinatentupel dar, wie sie erhalten werden, wenn die ersten 13 Sekunden des Werks von W. A. Mozart, Köchel-Verzeichnis Nr. 581, einer Hough-Transformation unterzogen werden. In den ersten etwa 5,5 Sekunden dieses Stückes findet sich ein relativ polyphoner Orchesterpart mit einer großen Bandbreite von relativ gleichmäßig auftretenden Frequenzen zwischen etwa 600 und etwa 950 Hz. Dann, etwa ab 5,5 Sekunden, setzt eine dominante Klarinettenstimme ein, die die Tonfolge H1, C2, Cis2, D2, H1 und A1 spielt. Die Orchestermusik tritt gegenüber der Klarinette in den Hintergrund, was sich in der Frequenz-Zeit-Darstellung von Fig. 8 dadurch bemerkbar macht, daß die hauptsächliche Verteilung von Frequenz-Zeit-Koordinatentupeln innerhalb eines begrenzten Bandes 800 liegt, das auch als Pitch-Contour-Streifenband bezeichnet wird. Eine Häufung von Koordinatentupeln um einen Frequenzwert deutet darauf hin, daß das Musiksignal einen relativ monophonen Anteil hat, wobei zu beachten ist, daß übliche Blech/Holzblasinstrumente neben dem Grundton eine Vielzahl von Obertönen erzeugen, wie z. B. die Oktave, die nächste Quint, etc. Auch diese Obertöne werden mittels der Hough-Transformation und anschließender Frequenzberechnung durch die Einheit 10d ermittelt und tragen zu dem verbreiterten Pitch-Contour-Streifenband bei. Auch das Vibrato eines Musikinstruments, das sich durch eine schnelle Frequenzänderung über der Zeit des gespielten Tons auszeichnet, trägt zu einer Verbreiterung des Pitch-Contour-Streifenbands bei. Wird eine Folge von Sinustönen erzeugt, so würde das Pitch-Contour-Streifenband zu einer Pitch-Contour-Linie degenerieren.
Der Frequenzberechnungseinheit 10d ist eine Einrichtung 10e zur Ermittlung von Häufungsgebieten nachgeschaltet. In der Einrichtung 10e zur Ermittlung der Häufungsgebiete werden die charakteristischen Verteilungspunktwolken (Cluster), die sich bei der Bearbeitung von Audiodateien als stationäres Merkmal ergeben, herausgearbeitet. Hierzu kann eine Elimination aller isolierten Frequenz-Zeit-Tupel durchgeführt werden, welche einen vorgegebenen Mindestabstand zum nächsten räumlichen Nachbarn überschreiten. So wird eine solche Verarbeitung dazu führen, daß nahezu sämtliche Koordinatentupel oberhalb des Pitch-Contour-Streifenbands 800 eliminiert werden, wodurch am Beispiel von Fig. 8 in dem Bereich von 6 bis 12 Sekunden lediglich das Pitch-Contour-Streifenband und einige Häufungsgebiete unterhalb des Pitch-Contour-Streifenbands verbleiben.
Das Pitch-Contour-Streifenband 800 besteht somit aus Clustern bestimmter Frequenzbreite und zeitlicher Länge, wobei diese Cluster von den gespielten Tönen hervorgerufen werden.
Die durch die Einrichtung 10e erzeugte Frequenz-Zeit-Darstellung, in der die isolierten Koordinatentupel bereits eliminiert sind, wird vorzugsweise zur Weiterverarbeitung anhand der Vorrichtung, die in Fig. 3 gezeigt ist, verwendet. Alternativ könnte jedoch auf die Elimination von Tupeln außerhalb des Pitch-Contour-Streifenbands verzichtet werden, um ein Segmentieren der Zeit-Frequenz-Darstellung zu erreichen. Dies könnte jedoch dazu führen, daß die zu berechnende Fitfunktion "irre geführt" wird, und Extremwerte liefert, die nicht Tongrenzen zugeordnet sind, sondern die aufgrund der außerhalb des Pitch-Contour-Streifenbands liegende Koordinatentupel vorhanden sind.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird, wie es in Fig. 3 gezeigt ist, eine instrumentenspezifische Nachbearbeitung 10f durchgeführt, um aus dem Pitch-Contour-Streifenband 800 wenn möglich eine einzige Pitch-Contour-Linie zu erzeugen. Hierzu wird das Pitch-Contour-Streifenband einer instrumentenspezifischen Fallanalyse unterzogen. Bestimmte Instrumente, wie z. B. Oboe oder Waldhorn, weisen charakteristische Pitch-Contour-Streifenbänder auf. Bei der Oboe treten beispielsweise zwei parallele Streifenbänder auf, da durch das Doppelrohrblatt des Oboen-Mundstücks die Luftsäule zu zwei Longitudinalschwingungen unterschiedlicher Frequenz angeregt wird, und die Schwingungsform zwischen diesen beiden Modi oszilliert. Die Einrichtung 10f zur instrumentenspezifischen Nachbearbeitung untersucht die Frequenz-Zeit-Darstellung auf das Vorliegen charakteristischer Merkmale, und schaltet, wenn diese Merkmale festgestellt wurden, ein instrumentenspezifisches Nachbehandlungsverfahren ein, welches auf beispielsweise in einer Datenbank gespeicherte Spezialitäten verschiedener Instrumente eingeht. Eine Möglichkeit würde beispielsweise sein, von den zwei parallelen Streifenbändern der Oboe entweder das obere oder das untere zu nehmen, oder, je nach Bedarf, einen Mittelwert oder Medianwert zwischen beiden Streifenbändern der weiteren Verarbeitung zugrunde zu legen. Prinzipiell ist es möglich, für einzelne Instrumente eigene Charakteristika im Frequenz-Zeit-Diagramm festzustellen, da jedes Instrument eine typische Klangfarbe aufweist, die durch die Zusammensetzung der Oberwellen und dem zeitlichen Verlauf der Grundfrequenz und der Oberwellen bestimmt ist.
Idealerweise wird am Ausgang der Einrichtung 10f eine Pitch-Contour-Linie, also ein sehr schmales Pitch-Contour-Streifenband erhalten. Im Falle eines polyphonen Klanggemisches mit dominanter monophoner Stimme, wie z. B. der Klarinettenstimme in der rechten Hälfte von Fig. 8, wird jedoch trotz instrumentenspezifischer Nachverarbeitung keine Pitch-Contour-Linie erreichbar sein, da auch die Hintergrundinstrumente Töne spielen, die zu einer Verbreiterung führen.
Im Falle einer monophonen Singstimme oder eines einzelnen Instruments ohne Hintergrundorchester liegt jedoch nach der instrumentenspezifischen Nachbearbeitung durch die Einrichtung 10f eine schmale Pitch-Contour-Linie vor.
An dieser Stelle sei darauf hingewiesen, daß die Frequenz-Zeit-Darstellung, wie sie beispielsweise hinter der Einheit 10d von Fig. 2 vorliegt, alternativ auch durch ein Frequenztransformationsverfahren erzeugt werden kann, wie es beispielsweise eine schnelle Fourier-Transformation ist. Durch eine Fourier-Transformation wird aus einem Block von zeitlichen Abtastwertes des Musiksignals ein Kurzzeitspektrum erzeugt. Problematisch bei der Fourier-Transformation ist jedoch die Tatsache der geringen Zeitauflösung, wenn ein Block mit vielen Abtastwerten in den Frequenzbereich transformiert wird. Ein Block mit vielen Abtastwerten ist jedoch erforderlich, um eine gute Frequenzauflösung zu erreichen. Wird dagegen, um eine hohe Zeitauflösung zu erreichen, ein Block mit wenigen Abtastwerten verwendet, so wird eine geringere Frequenzauflösung erreicht. Daraus wird ersichtlich, daß bei einer Fourier-Transformation entweder eine hohe Frequenzauflösung oder eine hohe Zeitauflösung erreicht werden kann. Eine hohe Frequenz- und eine hohe Zeitauflösung schließen sich, wenn die Fourier-Transformation verwendet wird, gegenseitig aus. Wenn dagegen eine Flankendetektion mittels der Hough-Transformation und eine Frequenzberechnung, um die Frequenz-Zeit-Darstellung zu erhalten, durchgeführt wird, ist sowohl eine hohe Frequenzauflösung als auch eine hohe Zeitauflösung zu erreichen. Um einen Frequenzwert bestimmen zu können, benötigt die Vorgehensweise mit der Hough-Transformation lediglich z. B. zwei ansteigende Signalflanken und daher lediglich zwei Periodendauern. Im Gegensatz zur Fourier-Transformation wird die Frequenz jedoch mit hoher Auflösung bestimmt, wobei gleichzeitig eine hohe Zeitauflösung erreicht wird. Aus diesem Grund wird die Hough-Transformation zur Erzeugen der Frequenz-Zeit-Darstellung gegenüber einer Fourier-Transformation bevorzugt.
Um einerseits die Tonhöhe eines Tons zu bestimmen, und um andererseits den Rhythmus eines Musiksignals ermitteln zu können, muß aus der Pitch-Contour-Linie bestimmt werden, wann ein Ton beginnt und wann derselbe endet. Hierzu wird erfindungsgemäß eine Fitfunktion verwendet, wobei bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung eine Polynomfitfunktion mit einem Grad n verwendet wird.
Obgleich andere Fitfunktionen auf der Basis von beispielsweise Sinusfunktionen oder Exponentialfunktionen möglich sind, wird gemäß der vorliegenden Erfindung eine Polynomfitfunktion mit einem Grad n bevorzugt. Wenn eine Polynomfitfunktion verwendet wird, geben die Abstände zwischen zwei Minima der Polynomfitfunktion einen Hinweis auf die zeitliche Segmentierung des Musiksignals, d. h. auf die Folge von Noten des Musiksignals. Eine solche Polynomfitfunktion 820 ist in Fig. 8 eingezeichnet. Es ist zu sehen, daß die Polynomfitfunktion 820 zu Anfang des Musiksignals und nach etwa 2,8 Sekunden zwei Polynomfitnullstellen 830, 832 aufweist, welche die beiden polyphonen Häufungsgebiete am Beginn des Mozart-Stücks "einleiten". Dann geht das Mozart-Stück in eine monophone Gestalt über, da die Klarinette dominant gegenüber den begleitenden Streichern hervortritt und die Tonfolge h1 (Achtel), c2 (Achtel), cis2 (Achtel), d2 (punktierte Achtel), h1 (Sechzehntel) und a1 (Viertel) spielt. Entlang der Zeitachse sind die Minima der Polynomfitfunktion durch die kleinen Pfeile (z. B. 834) markiert. Obgleich es bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung bevorzugt wird, nicht unmittelbar das zeitliche Auftreten der Minima zur Segmentierung zu verwenden, sondern noch eine Skalierung mit einer vorher berechneten Skalierungskennlinie durchzuführen, führt auch bereits eine Segmentierung ohne Verwendung der Skalierungskennlinie zu brauchbaren Ergebnissen, wie es aus Fig. 8 zu sehen ist.
Die Koeffizienten der Polynomfitfunktion, welche einen hohen Grad im Bereich von über 30 aufweisen kann, werden mit Methoden der Ausgleichsrechnung unter Verwendung der Frequenz-Zeit-Koordinatentupel, die in Fig. 8 gezeigt sind, berechnet. Bei dem in Fig. 8 gezeigten Beispiel werden hierzu sämtliche Koordinatentupel verwendet. Die Polynomfitfunktion wird so in die Frequenz-Zeit-Darstellung gelegt, daß die Polynomfitfunktion in einem bestimmten Abschnitt des Stücks, in Fig. 8 die ersten 13 Sekunden, optimal in die Koordinaten-Tupel gelegt wird, so daß der Abstand der Tupel zur Polynomfitfunktion insgesamt gerechnet minimal wird. Dadurch können "Scheinminima" entstehen, wie beispielsweise das Minima der Polynomfitfunktion bei etwa 10,6 Sekunden. Dieses Minima rührt daher, daß unter dem Pitch-Contour-Streifenband Cluster sind, die bevorzugterweise durch die Einrichtung 10e zur Ermittlung der Häufungsgebiete (Fig. 2) beseitigt werden.
Nachdem die Koeffizienten der Polynomfitfunktion berechnet worden sind, können mittels einer Einrichtung 10h die Minima der Polynomfitfunktion bestimmt werden. Da die Polynomfitfunktion analytisch vorliegt, ist eine einfache Differenzierung und Nullstellensuche ohne weiteres möglich. Für andere Polynomfitfunktionen können numerische Verfahren zum Ableiten und Nullstellensuchen eingesetzt werden.
Wie es bereits ausgeführt worden ist, wird durch die Einrichtung 16 eine Segmentierung der Zeit-Frequenz-Darstellung auf der Basis der ermittelten Minima vorgenommen.
Im nachfolgenden wird darauf eingegangen, wie der Grad der Polynomfitfunktion, deren Koeffizienten durch die Einrichtung 12 berechnet werden, gemäß einem bevorzugten Ausführungsbeispiel bestimmt wird. Hierzu wird eine Standardtonfolge mit festgelegten Standardlängen zur Kalibrierung der erfindungsgemäßen Vorrichtung vorgespielt. Daraufhin wird für Polynome verschiedener Grade eine Koeffizientenberechnung und Minimaermittlung durchgeführt. Der Grad wird dann so gewählt, daß die Summe der Differenzen zweier aufeinanderfolgender Minima des Polynoms von der gemessenen Tonlänge, d. h. durch Segmentierung bestimmten Tonlänge, der vorgespielten Standardreferenztöne minimiert wird. Ein zu geringer Grad des Polynoms führt dazu, daß das Polynom zu ringer Grad des Polynoms führt dazu, daß das Polynom zu grob vorgeht und den einzelnen Tönen nicht folgen kann, während ein zu hoher Grad des Polynoms dazu führen kann, daß die Polynomfitfunktion zu stark "zappelt". Bei dem in Fig. 8 gezeigten Beispiel wurde ein Polynom fünfzigster Ordnung gewählt. Diese Polynomfitfunktion wird dann für einen nachfolgenden Betrieb zugrunde gelegt, so daß die Einrichtung zum Berechnen der Fitfunktion (12 in Fig. 1) vorzugsweise lediglich die Koeffizienten der Polynomfitfunktion und nicht zusätzlich den Grad der Polynomfitfunktion berechnen muß, um eine Rechenzeitersparnis zu erreichen.
Der Kalibrierungslauf unter Verwendung der Tonfolge aus Standardreferenztönen vorgegebener Länge kann ferner dazu verwendet werden, um eine Skalierungskennlinie zu ermitteln, die in die Einrichtung 16 zum Segmentieren eingespeist werden kann (30), um den zeitlichen Abstand der Minima der Polynomfitfunktion zu skalieren. Wie es aus Fig. 8 ersichtlich ist, liegt das Minima der Polynomfitfunktion nicht unmittelbar am Beginn des Haufens, der den Ton h1 darstellt, also nicht unmittelbar bei etwa 5,5 Sekunden, sondern etwa bei 5,8 Sekunden. Wenn eine Polynomfitfunktion höherer Ordnung gewählt wird, würde das Minima mehr zum Rand des Haufens hin bewegt werden. Dies würde jedoch unter Umständen dazu führen, daß die Polynomfitfunktion zu stark zappelt und zu viele Scheinminima erzeugt. Daher wird es bevorzugt, die Skalierungskennlinie zu erzeugen, die für jeden berechneten Minimaabstand einen Skalierungsfaktor bereit hält. Je nach Quantelung der vorgespielten Standardreferenztöne kann eine Skalierungskennlinie mit frei wählbarer Auflösung erzeugt werden. Es sei darauf hingewiesen, daß diese Kalibrierungs- bzw. Skalierungskennlinie lediglich einmal vor Inbetriebnahme der Vorrichtung erzeugt werden muß, um dann während eines Betriebs der Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung verwendet werden zu können.
Die zeitliche Segmentierung der Einrichtung 16 erfolgt somit durch den Polynomfit n-ter Ordnung, wobei der Grad vor Inbetriebnahme der Vorrichtung so gewählt wird, daß die Summe der Differenzen zweier aufeinanderfolgender Minima des Polynoms von den gemessenen Tonlängen von Standardreferenztönen minimiert wird. Aus der mittleren Abweichung wird die Skalierungskennlinie bestimmt, die den Bezug zwischen der mit dem erfindungsgemäßen Verfahren gemessenen Tonlänge und der tatsächlichen Tonlänge herstellt. Obgleich ohne Skalierung bereits brauchbare Ergebnisse erhalten werden, wie es Fig. 8 deutlich macht, kann durch die Skalierungskennlinie die Genauigkeit des Verfahrens noch verbessert werden.
Im nachfolgenden wird auf Fig. 4 Bezug genommen, um einen bevorzugten Aufbau der Einrichtung 20 zum Bestimmen der Tonhöhe pro Segment darzustellen. Die durch die Einrichtung 16 von Fig. 3 segmentierte Zeit-Frequenz-Darstellung wird in eine Einrichtung 20a eingespeist, um einen Mittelwert aller Frequenz-Tupel oder aber einen Medianwert aller Koordinatentupel pro Segment zu bilden. Die besten Ergebnisse ergeben sich, wenn lediglich die Koordinatentupel innerhalb der Pitch-Contour-Linie verwendet werden. In der Einrichtung 20a wird somit für jeden Cluster, dessen Intervallgrenzen durch die Einrichtung 16 zum Segmentieren (Fig. 3) bestimmt worden sind, ein Pitchwert, d. h. ein Tonhöhenwert, gebildet. Das Musiksignal liegt am Ausgang der Einrichtung 20a somit bereits als eine Folge von absoluten Pitchhöhen vor. Prinzipiell könnte diese Folge von absoluten Pitchhöhen bereits als Notenfolge bzw. Noten-basierte Darstellung verwendet werden.
Um jedoch eine robustere Notenberechnung zu erhalten, und um von der Stimmung der verschiedenen Instrumente etc. unabhängig zu werden, wird anhand der Folge von Pitchwerten am Ausgang der Einrichtung 20a die absolute Stimmung, die durch die Angabe der Frequenzverhältnisse zweier benachbarter Halbtonstufen und den Referenzkammerton spezifiziert ist, bestimmt. Hierzu wird aus den absoluten Pitchwerten der Tonfolge ein Tonkoordinatensystem durch die Einrichtung 20b berechnet. Sämtliche Töne des Musiksignals werden genommen, und es werden sämtliche Töne von den anderen Tönen jeweils subtrahiert, um möglichst sämtliche Halbtöne der Tonleiter, die dem Musiksignal zugrunde liegt, zu erhalten. Beispielsweise sind die Intervallkombinationspaare für eine Notenfolge der Länge im einzelnen: Note 1 minus Note 2, Note 1 minus Note 3, Note 1 minus Note 4, Note 1 minus Note 5, Note 2 minus Note 3, Note 2 minus Note 4, Note 2 minus Note 5, Note 3 minus Note 4, Note 3 minus Note 5, Note 4 minus Note 5.
Der Satz von Intervallwerten bildet ein Tonkoordinatensystem. Dieses wird nunmehr in eine Einrichtung 20c eingespeist, die eine Ausgleichsrechnung durchführt und das durch die Einrichtung 20b berechnete Tonkoordinatensystem mit Tonkoordinatensystemen vergleicht, die in einer Stimmungen-Datenbank 40 gespeichert sind. Die Stimmung kann gleichschwebend (Unterteilung einer Oktave in 12 gleich große Halbtonintervalle), enharmonisch, natürlich harmonisch, pythagoräisch, mitteltönig, nach Huygens, zwölfteilig mit natürlicher harmonischer Basis nach Kepler, Euler, Mattheson, Kirnberger I + II, Malcolm, mit modifizierten Quinten nach Silbermann, Werckmeister III, IV; V, VI, Neidhardt I, II, III sein. Ebenso kann die Stimmung instrumentenspezifisch sein, bedingt durch die Bauart des Instruments, d. h. beispielsweise durch die Anordnung der Klappen und Tasten etc. Die Einrichtung 20c bestimmt mittels der Methoden der Ausgleichsrechnung die absoluten Halbtonstufen, indem durch Variationsrechnung die Stimmung angenommen wird, die die Gesamtsumme der Residuen der Abstände der Halbtonstufen von den Pitchwerten minimiert. Die absoluten Tonstufen werden dadurch bestimmt, daß die Halbtonstufen parallel in Schritten von 1 Hz geändert werden und diejenigen Halbtonstufen als absolut angenommen werden, die die Gesamtsumme der Residuen der Abstände der Halbtonstufen von den Pitchwerten minimieren. Für jeden Pitchwert ergibt sich dann ein Abweichungswert von der nächstliegenden Halbtonstufe. Extremausreißer sind dadurch bestimmbar, wobei diese Werte ausgeschlossen werden können, indem iterativ ohne die Ausreißer die Stimmung neu berechnet wird. Am Ausgang der Einrichtung 20c liegt somit für jeden Pitchwert eines Segments eine nächstliegende Halbtonstufe der dem Musiksignal zugrunde liegenden Stimmung vor. Durch eine Einrichtung 20d zum Quantisieren wird der Pitchwert durch die nächstliegende Halbtonstufe ersetzt, so daß am Ausgang der Einrichtung 20d eine Folge von Notenhöhen sowie Informationen über die Stimmung, die dem Musiksignal zugrunde liegt, und den Referenzkammerton vorliegen. Diese Informationen am Ausgang der Einrichtung 20c könnten nunmehr ohne weiteres dazu verwendet werden, um Notenschrift zu erzeugen, oder um eine MIDI-Datei zu schreiben.
Es sei darauf hingewiesen, daß die Quantisierungseinrichtung 20d bevorzugt wird, um unabhängig von dem Instrument, das das Musiksignal liefert, zu werden. Wie es nachfolgend anhand von Fig. 7 dargestellt werden wird, ist die Einrichtung 20d vorzugsweise ferner ausgestaltet, um nicht nur die absoluten quantisierten Pitchwerte auszugeben, sondern um auch die Intervallhalbtonsprünge zwei aufeinanderfolgender Noten zu bestimmen und diese Folge von Halbtonsprüngen dann als Suchfolge für einen bezugnehmend auf Fig. 7 beschriebenen DNA-Sequenzer zu verwenden. Da das vorgespielte oder vorgesungene Musiksignal in eine andere Tonart transponiert sein kann, abhängig auch von der Grundstimmung des Instruments (z. B. B-Klarinette, Es-Saxophon), wird für die bezugnehmend auf Fig. 7 beschriebene Referenzierung nicht die Folge von absoluten Tonhöhen verwendet, sondern die Folge von Differenzen, da die Differenzfrequenzen von der absoluten Tonhöhe unabhängig sind.
Im nachfolgenden wird anhand von Fig. 5 auf eine bevorzugte Ausgestaltung der Einrichtung 16 zum Segmentieren der Frequenz-Zeit-Darstellung Bezug genommen, um den Notenrhythmus zu erzeugen. So könnten zwar bereits die Segmentierungsinformationen als Rhythmusinformationen verwendet werden, da durch dieselben die Dauer eines Tons gegeben ist. Es wird jedoch bevorzugt, die segmentierte Zeit-Frequenz-Darstellung bzw. die aus derselben durch Abstand zwei benachbarter Minima bestimmten Tonlängen mittels einer Einrichtung 16a in normierte Tonlängen zu transformieren. Diese Normierung wird mittels einer Subjective-Duration-Kennlinie aus der Tonlänge berechnet. So zeigen psychoakustische Forschungen, daß beispielsweise eine 1/8-Pause länger als eine 1/8-Note dauert. Solche Informationen gehen in die Subjective-Duration-Kennlinie ein, um die normierten Tonlängen und damit auch die normierten Pausen zu erhalten. Die normierten Tonlängen werden dann in eine Einrichtung 16b zur Histogrammierung eingespeist. Die Einrichtung 16b liefert eine Statistik darüber, welche Tonlängen auftreten bzw. um welche Tonlängen Häufungen stattfinden. Auf der Basis des Tonlängenhistogramms wird durch eine Einrichtung 16c eine Grundnotenlänge festgelegt, indem die Unterteilung der Grundnotenlänge so vorgenommen wird, daß die Notenlängen als ganzzahlige Vielfache dieser Grundnotenlänge angebbar sind. So kann man zu Sechzehntel-, Achtel-, Viertel-, Halb- oder Vollnoten gelangen. Die Einrichtung 16c basiert darauf, daß in üblichen Musiksignalen keineswegs beliebige Tonlängen vorgegeben sind, sondern die verwendeten Notenlängen üblicherweise in einem festen Verhältnis zueinander stehen.
Nachdem die Grundnotenlänge festgelegt worden ist und damit auch die zeitliche Länge von Sechzehntel-, Achtel-, Viertel-, Halb- oder Vollnoten werden die durch die Einrichtung 16a berechneten normierten Tonlängen in einer Einrichtung 16d dahingehend quantisiert, daß jede normierte Tonlänge durch die nächstliegende durch die Grundnotenlänge bestimmte Tonlänge ersetzt wird. Damit liegt eine Folge von quantisierten normierten Tonlängen vor, welche vorzugsweise in einen Rhythmus-Fitter/Takt-Modul 16e eingespeist wird. Der Rhythmus-Fitter bestimmt die Taktart, indem er berechnet, ob mehrere Noten zusammengefaßt jeweils Gruppen von Dreiviertelnoten, Vierviertelnoten, etc. bilden. Als Taktart wird diejenige angenommen, bei der ein über die Anzahl der Noten normiertes Maximum an richtigen Einträgen vorliegt.
Damit liegen Notenhöheninformationen und Notenrhythmusinformationen an den Ausgängen 22 (Fig. 4) und 18 (Fig. 5) vor. Diese Informationen können in einer Einrichtung 60 zur Design-Rule-Überprüfung zusammengeführt werden. Die Einrichtung 60 überprüft, ob die gespielten Tonfolgen nach kompositorischen Regeln der Melodieführung aufgebaut sind. Noten in der Folge, die nicht in das Schema passen, werden markiert, damit diese markierten Noten von dem DNA-Sequenzer, der anhand von Fig. 7 dargestellt wird, gesondert behandelt werden. Die Einrichtung 16 sucht nach sinnvollen Konstrukten und ist ausgebildet, um beispielsweise zu erkennen, ob bestimmte Notenfolgen unspielbar sind bzw. üblicherweise nicht auftreten.
Im nachfolgenden wird auf Fig. 7 Bezug genommen, um ein Verfahren zum Referenzieren eines Musiksignals in einer Datenbank gemäß einem weiteren Aspekt der vorliegenden Erfindung darzustellen. Das Musiksignal liegt am Eingang beispielsweise als Datei 70 vor. Durch eine Einrichtung 72 zum Überführen des Musiksignals in eine Noten-basierte Beschreibung, die gemäß den Fig. 1 bis 6 erfindungsgemäß aufgebaut ist, werden Notenrhythmus-Informationen und/oder Notenhöhen-Informationen erzeugt, die eine Suchfolge 74 für einen DNA-Sequenzer 76 bilden. Die Folge von Noten, die durch die Suchfolge 74 dargestellt ist, wird nunmehr entweder hinsichtlich des Notenrhythmus und/oder hinsichtlich der Notenhöhen mit einer Vielzahl von Noten-basierten Beschreibungen für verschiedene Stücke (Track_1 bis Track_n) verglichen, die in einer Notendatenbank 78 abgespeichert sein können. Der DNA-Sequenzer, der eine Einrichtung zum Vergleichen des Musiksignals mit einer Noten-basierten Beschreibung der Datenbank 78 darstellt, prüft eine Übereinstimmung bzw. Ähnlichkeit. Somit kann eine Aussage hinsichtlich des Musiksignals auf der Basis des Vergleichs getroffen werden. Der DNA-Sequenzer 76 ist vorzugsweise mit einer Musik-Datenbank verbunden, in der die verschiedenen Stücke (Track_1 bis Track_n), deren Noten-basierte Beschreibungen in der Notendatenbank gespeichert sind, als Audiodatei abgelegt sind. Selbstverständlich können die Notendatenbank 78 und die Datenbank 80 eine einzige Datenbank sein. Alternativ könnte auch auf die Datenbank 80 verzichtet werden, wenn der Notendatenbank Metainformationen über die Stücke, deren Noten-basierten Beschreibungen abgespeichert sind, umfassen, wie z. B. Autor, Name des Stücks, Musikverlag, Pressung, etc.
Allgemein wird durch die in Fig. 7 gezeigte Vorrichtung eine Referenzierung eines Lieds erreicht, bei dem ein Audiofileabschnitt, in dem eine gesungene oder mit einem Musikinstrument gespielte Tonfolge aufgezeichnet ist, in eine Folge von Noten überführt wird, wobei diese Folge von Noten als Suchkriterium mit gespeicherten Notenfolgen in der Notendatenbank verglichen wird und das Lied aus der Notendatenbank referenziert wird, bei dem die größte Übereinstimmung zwischen Noteneingabefolge und Notenfolge in der Datenbank vorliegt. Als Noten-basierte Beschreibung wird die MIDI-Beschreibung bevorzugt, da MIDI-Dateien für riesige Mengen von Musikstücken bereits existieren. Alternativ könnte die in Fig. 7 gezeigte Vorrichtung auch aufgebaut sein, um die Noten-basierte Beschreibung selbst zu erzeugen, wenn die Datenbank zunächst in einem Lern-Modus betrieben wird, der durch einen gestrichelten Pfeil 82 angedeutet ist. Im Lern-Modus (82) würde die Einrichtung 72 zunächst für eine Vielzahl von Musiksignalen eine Noten-basierte Beschreibung erzeugen und in der Notendatenbank 78 abspeichern. Erst wenn die Notendatenbank ausreichend gefüllt ist, würde die Verbindung 82 unterbrochen werden, um eine Referenzierung eines Musiksignals durchzuführen. Nachdem MIDI-Dateien bereits für viele Stücke vorliegen, wird es jedoch bevorzugt, auf bereits vorhandene Notendatenbanken zurückzugreifen.
Insbesondere sucht der DNA-Sequenzer 76 die ähnlichste Melodietonfolge in der Notendatenbank, indem er die Melodietonfolge durch die Operationen Replace/Insert/Delete variiert. Jede Elementaroperation ist mit einem Kostenmaß verbunden. Optimal ist, wenn alle Noten ohne spezielle Operationen übereinstimmen. Suboptimal ist es dagegen, wenn n von m Werte übereinstimmen. Dadurch wird gewissermaßen automatisch ein Ranking der Melodiefolgen eingeführt, und die Ähnlichkeit des Musiksignals 70 zu einem Datenbank-Musiksignal Track_1 ... Track_n kann quantitativ angegeben werden. Es wird bevorzugt, die Ähnlichkeit von beispielsweise den besten fünf Kandidaten aus der Notendatenbank als absteigende Liste auszugeben.
In der Rhythmusdatenbank werden die Noten als Sechzehntel-, Achtel-, Viertel-, Halb- und Vollton abgelegt. Der DNA-Sequenzer sucht die ähnlichste Rhythmusfolge in der Rhythmusdatenbank, indem er die Rhythmusfolge durch die Operationen Replace/Insert/Delete variiert. Jede Elementaroperation ist ebenfalls wieder mit einem Kostenmaß verbunden. Optimal ist, wenn alle Notenlängen übereinstimmen, suboptimal ist es, wenn n von m Werte übereinstimmen. Dadurch wird wieder ein Ranking der Rhythmusfolgen eingeführt, und die Ähnlichkeit der Rhythmusfolgen kann in einer absteigenden Liste ausgegeben werden.
Der DNA-Sequenzer umfaßt bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ferner eine Melodie/Rhythmus-Abgleicheinheit, die feststellt, welche Folgen sowohl von der Pitchfolge als auch von der Rhythmusfolge zusammen passen. Die Melodie/Rhythmus-Abgleicheinheit sucht die größtmögliche Übereinstimmung beider Folgen, indem die Zahl der Matches als Referenzkriterium angenommen wird. Optimal ist es, wenn alle Werte übereinstimmen, suboptimal ist es, wenn n von m Werte übereinstimmen. Dadurch wird wieder ein Ranking eingeführt, und die Ähnlichkeit der Melodie/Rhythmusfolgen kann wieder in einer absteigenden Liste ausgegeben werden.
Der DNA-Sequenzer kann ferner angeordnet sein, um von dem Design-Rule-Checker 60 (Fig. 6) markierte Noten entweder zu ignorieren bzw. mit einer geringeren Gewichtung zu versehen, damit das Ergebnis nicht durch Ausreißer unnötig verfälscht wird.

Claims (32)

  1. Verfahren zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung, mit folgenden Schritten:
    Erzeugen (10) einer Frequenz-Zeit-Darstellung des Musiksignals, wobei die Frequenz-Zeit-Darstellung Koordinatentupel aufweist, wobei ein Koordinatentupel einen Frequenzwert und einen Zeitwert umfaßt, wobei der Zeitwert die Zeit des Auftretens der zugeordneten Frequenz in dem Musiksignal angibt;
    Berechnen (12) einer Fitfunktion als Funktion der Zeit, deren Verlauf durch die Koordinatentupel der Frequenz-Zeit-Darstellung bestimmt ist;
    Ermitteln (14) zumindest zwei benachbarter Extrema der Fitfunktion;
    zeitliches Segmentieren (16) der Frequenz-Zeit-Darstellung auf der Basis der ermittelten Extrema, wobei ein Segment durch zwei benachbarte Extrema der Fitfunktion begrenzt, wobei die zeitliche Länge des Segments auf eine zeitliche Länge einer diesem Segment zugeordneten Note hinweist; und
    Bestimmen (20) einer Tonhöhe der Note für das Segment unter Verwendung von Koordinaten-Tupeln in dem Segment.
  2. Verfahren nach Anspruch 1, bei dem die Fitfunktion eine analytische Funktion ist, wobei die Einrichtung (14) zum Ermitteln benachbarter Extrema eine Differenzierung der analytischen Funktion und Nullstellenbestimmung durchführt.
  3. Verfahren nach Anspruch 1 oder 2, bei dem die Extremwerte, die durch die Einrichtung (14) ermittelt werden, Minima der Fitfunktion sind.
  4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Fitfunktion eine Polynomfitfunktion des Grads n ist, wobei n größer als 2 ist.
  5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt des Segmentierens (16) die zeitliche Länge einer Note unter Verwendung eines Kalibrierwerts aus dem zeitlichen Abstand zweier benachbarter Extremwerte bestimmt wird, wobei der Kalibrierwert das Verhältnis einer vorgegebenen zeitlichen Länge eines Tons zu einem Abstand zwischen zwei Extremwerten, der für den Ton unter Verwendung der Fitfunktion bestimmt wurde, ist.
  6. Verfahren nach Anspruch 4 oder 5, bei dem der Grad der Fitfunktion unter Verwendung von vorgegebenen Tönen verschiedener bekannter Längen und für Fitfunktionen verschiedener Grade im voraus bestimmt wird, wobei der Grad im Schritt des Berechnens (12) verwendet wird, für den sich eine spezifizierte Übereinstimmung zwischen durch benachbarte Extremwerte bestimmten Tonlängen und bekannten Tonlängen ergibt.
  7. Verfahren nach einem der Ansprüche 3 bis 6, bei dem im Schritt des zeitlichen Segmentierens (16) nur an einem solchen Minima der Fitfunktion segmentiert wird, dessen Frequenzwert zu dem Frequenzwert eines benachbarten Maximas um mindestens einen Minima-Maxima-Schwellenwert unterschiedlich ist, um Schein-Minima zu eliminieren.
  8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt des Erzeugens (10) folgende Schritte durchgeführt werden:
    Detektieren (10c) des zeitlichen Auftretens von Signalflanken in dem Zeitsignal;
    Ermitteln (10d) eines zeitlichen Abstands zwischen zwei ausgewählten detektierten Signalflanken und Berechnen eines Frequenzwerts aus dem ermittelten zeitlichen Abstand und Zuordnen des Frequenzwerts zu einer Auftrittszeit des Frequenzwerts in dem Musiksignal, um einen Koordinatentupel aus dem Frequenzwert und der Auftrittszeit für diesen Frequenzwert zu erhalten.
  9. Verfahren nach Anspruch 8, bei dem im Schritt des Detektierens (10c) eine Hough-Transformation durchgeführt wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt des Erzeugens (10) die Frequenz-Zeit-Darstellung gefiltert wird (10e), so daß ein Pitch-Contour-Streifenband verbleibt, und bei dem im Schritt des Berechnens (12) einer Fitfunktion lediglich die Koordinatentupel in dem Pitch-Contour-Streifenband berücksichtigt werden.
  11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Musiksignal monophon oder polyphon mit dominantem monophonen Anteil ist.
  12. Verfahren nach Anspruch 11, bei dem das Musiksignal eine gesungene oder eine mit einem Instrument gespielte Notenfolge ist.
  13. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt (10) des Erzeugens einer Frequenz-Zeit-Darstellung eine Abtastratenumwandlung auf eine vorbestimmte Abtastrate durchgeführt wird (10b).
  14. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt (10) des Erzeugens einer Frequenz-Zeit-Darstellung eine Lautstärkenormierung (10b) durch Multiplikation mit einem Skalierungsfaktor, der von der mittleren Lautstärke eines Abschnitts und einer vorbestimmten maximalen Lautstärke abhängt, durchgeführt wird.
  15. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt des Erzeugens (10) eine instrumentenspezifische Nachbehandlung (10f) der Frequenz-Zeit-Darstellung durchgeführt wird, um eine instrumentenspezifische Frequenz-Zeit-Darstellung zu erhalten, und
    bei dem im Schritt des Berechnens (12) der Fitfunktion die instrumentenspezifische Frequenz-Zeit-Darstellung zugrunde gelegt wird.
  16. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt des Bestimmens (20) der Tonhöhe pro Segment der Mittelwert der Koordinatentupel in einem Segment oder der Medianwert der Koordinatentupel in dem Segment verwendet wird, wobei der Mittelwert oder der Medianwert in einem Segment auf einen absoluten Tonhöhenwert der Note für das Segment hinweist.
  17. Verfahren nach Anspruch 16, bei dem der Schritt des Bestimmens (20) der Tonhöhe den Schritt des Ermittelns (20b, 20c) einer dem Musiksignal zugrunde liegenden Stimmung unter Verwendung der absoluten Tonhöhenwerte von Noten für Segmente des Musiksignals aufweist.
  18. Verfahren nach Anspruch 17, bei dem der Schritt des Ermittelns der Stimmung folgende Merkmale aufweist:
    Bilden (20b) einer Mehrzahl von Frequenzdifferenzen aus den Tonhöhenwerten des Musiksignals, um ein Frequenzdifferenz-Koordinatensystem zu erhalten;
    Ermitteln (20c) der absoluten Stimmung, die dem Musiksignal zugrunde liegt, unter Verwendung des Frequenzdifferenzkoordinatensystems und unter Verwendung einer Mehrzahl von abgespeicherten Stimmungskoordinatensystemen (40) mittels einer Ausgleichsrechnung.
  19. Verfahren nach Anspruch 18, bei dem der Schritt des Bestimmens (20) der Tonhöhe einen Schritt des Quantisierens (20d) der absoluten Tonhöhenwerte auf der Basis der absoluten Stimmung und des Referenz-Kammertons aufweist, um eine Note pro Segment zu erhalten.
  20. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt des Segmentierens (16) folgenden Schritt aufweist:
    Transformieren (16a) der zeitlichen Länge von Tönen in normierte Notenlängen durch Histogrammieren (16b) der zeitlichen Länge und Festlegen (16c) einer Grundnotenlänge, derart, daß die zeitlichen Längen der Töne als ganzzahlige Vielfache oder ganzzahlige Bruchteile der Grundnotenlänge angebbar sind, und Quantisieren (16c) der zeitlichen Längen der Töne auf das nächstliegende ganzzahlige Vielfache oder den nächstliegenden ganzzahligen Bruchteil, um quantisierte Notenlängen zu erhalten.
  21. Verfahren nach Anspruch 20, bei dem der Schritt des Segmentierens (16) ferner einen Schritt des Bestimmens (16e) eines Takts aus den quantisierten Notenlängen durch Untersuchen umfaßt, ob aufeinanderfolgende Noten zu einem Taktschema gruppiert werden können.
  22. Verfahren nach Anspruch 21, das ferner folgenden Schritt aufweist:
    Untersuchen (60) einer Folge von Noten, die das Musiksignal darstellt, wobei jede Note durch Anfang, Länge und Tonhöhe spezifiziert ist, hinsichtlich kompositorischer Regeln und Markieren einer Note, die mit den kompositorischen Regeln nicht vereinbar ist.
  23. Verfahren zum Referenzieren eines Musiksignals (70) in einer Datenbank (78), die eine Noten-basierte Beschreibung einer Mehrzahl von Datenbank-Musiksignalen aufweist, mit folgenden Schritten:
    Überführen (72) des Musiksignals in eine Noten-basierte Beschreibung (74) gemäß einem der Patentansprüche 1 bis 22;
    Vergleichen (76) der Noten-basierten Beschreibung (74) des Musiksignals mit der Noten-basierten Beschreibung der Mehrzahl von Datenbank-Musiksignalen in der Datenbank (78); und
    Treffen (76) einer Aussage hinsichtlich des Musiksignals (70) auf der Basis des Schritts des Vergleichens.
  24. Verfahren nach Anspruch 23, bei dem die Noten-basierte Beschreibung für die Datenbank-Musiksignale ein MIDI-Format hat, wobei ein Tonanfang und ein Tonende als Funktion der Zeit spezifiziert sind, und bei dem vor dem Schritt des Vergleichens folgende Schritte ausgeführt werden:
    Bilden von Differenzwerten zwischen zwei benachbarten Noten des Musiksignals, um eine Differenz-Notenfolge zu erhalten;
    Bilden von Differenzwerten zwischen zwei benachbarten Noten der Noten-basierten Beschreibung des Datenbank-Musiksignals, und
    bei dem im Schritt des Vergleichens die Differenz-Notenfolge des Musiksignals mit der Differenz-Notenfolge eines Datenbank-Musiksignals verglichen wird.
  25. Verfahren nach Anspruch 23 oder 24, bei dem der Schritt des Vergleichens (76) unter Verwendung eines DNA-Sequenzing-Algorithmus und insbesondere unter Verwendung des Boyer-Moore-Algorithmus durchgeführt wird.
  26. Verfahren nach einem der Ansprüche 23 bis 25, bei dem der Schritt des Treffens einer Aussage das Feststellen der Identität des Musiksignals (70) und eines Datenbank-Musiksignals aufweist, falls die Noten-basierte Beschreibung des Datenbank-Musiksignals und die Noten-basierte Beschreibung des Musiksignals identisch sind.
  27. Verfahren nach einem der Ansprüche 23 bis 25, bei dem der Schritt des Treffens einer Aussage hinsichtlich des Musiksignals eine Ähnlichkeit zwischen dem Musiksignal (70) und einem Datenbank-Musiksignal feststellt, wenn nicht alle Tonhöhen und/oder Tonlängen des Musiksignals mit Tonhöhen und/oder Tonlängen des Datenbank-Musiksignals übereinstimmen.
  28. Verfahren nach einem der Ansprüche 23 bis 27, bei dem die Noten-basierte Beschreibung eine Rhythmusbeschreibung aufweist, und bei dem im Schritt des Vergleichens (76) ein Vergleich der Rhythmen des Musiksignals und des Datenbank-Musiksignals durchgeführt wird.
  29. Verfahren nach einem der Ansprüche 23 bis 28, bei dem die Noten-basierte Beschreibung eine Tonhöhenbeschreibung aufweist, und bei dem im Schritt des Vergleichens (76) die Tonhöhen des Musiksignals mit den Tonhöhen eines Datenbank-Musiksignals verglichen werden.
  30. Verfahren nach einem der Ansprüche 25 bis 29, bei dem im Schritt des Vergleichens (26) Einfügen-, Ersetzenoder Löschen-Operationen mit der Noten-basierten Beschreibung (74) des Musiksignals (70) durchgeführt werden, und bei dem im Schritt des Treffens einer Aussage eine Ähnlichkeit zwischen dem Musiksignal (70) und einem Datenbank-Musiksignal auf der Basis der Anzahl von Einfügen-, Ersetzen- oder Löschen-Operationen festgestellt wird, die erforderlich sind, um eine größtmögliche Übereinstimmung zwischen der Noten-basierten Beschreibung (74) des Musiksignals (70) und der Noten-basierten Beschreibung eines Datenbank-Musiksignals zu erreichen.
  31. Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung, mit folgenden Merkmalen:
    einer Einrichtung zum Erzeugen (10) einer Frequenz-Zeit-Darstellung des Musiksignals, wobei die Frequenz-Zeit-Darstellung Koordinatentupel aufweist, wobei ein Koordinatentupel einen Frequenzwert und einen Zeitwert umfaßt, wobei der Zeitwert die Zeit des Auftretens der zugeordneten Frequenz in dem Musiksignal angibt;
    einer Einrichtung zum Berechnen (12) einer Fitfunktion als Funktion der Zeit, deren Verlauf durch die Koordinatentupel der Frequenz-Zeit-Darstellung bestimmt ist;
    einer Einrichtung zum Ermitteln (14) zumindest zwei benachbarter Extrema der Fitfunktion;
    einer Einrichtung zum zeitlichen Segmentieren (16) der Frequenz-Zeit-Darstellung auf der Basis der ermittelten Extrema, wobei ein Segment durch zwei benachbarte Extrema der Fitfunktion begrenzt, wobei die zeitliche Länge des Segments auf eine zeitliche Länge einer diesem Segment zugeordneten Note hinweist; und
    einer Einrichtung zum Bestimmen (20) einer Tonhöhe der Note für das Segment unter Verwendung von Koordinaten-Tupeln in dem Segment.
  32. Vorrichtung zum Referenzieren eines Musiksignal (70) in einer Datenbank (78), die eine Noten-basierte Beschreibung einer Mehrzahl von Datenbank-Musiksignalen aufweist, mit folgenden Merkmalen:
    einer Einrichtung zum Überführen (72) des Musiksignals in eine Noten-basierte Beschreibung (74) durch ein Verfahren gemäß einem der Patentansprüche 1 bis 22;
    einer Einrichtung zum Vergleichen (76) der Noten-basierten Beschreibung (74) des Musiksignals mit der Noten-basierten Beschreibung der Mehrzahl von Datenbank-Musiksignalen in der Datenbank (78); und
    einer Einrichtung zum Treffen (76) einer Aussage hinsichtlich des Musiksignals (70) auf der Basis des Schritts des Vergleichens.
EP02730100A 2001-04-10 2002-04-04 Verfahren zum überführen eines musiksignals in eine noten-basierte beschreibung und zum referenzieren eines musiksignals in einer datenbank Expired - Lifetime EP1377960B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10117870A DE10117870B4 (de) 2001-04-10 2001-04-10 Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank
DE10117870 2001-04-10
PCT/EP2002/003736 WO2002084641A1 (de) 2001-04-10 2002-04-04 Verfahren zum überführen eines musiksignals in eine noten-basierte beschreibung und zum referenzieren eines musiksignals in einer datenbank

Publications (2)

Publication Number Publication Date
EP1377960A1 EP1377960A1 (de) 2004-01-07
EP1377960B1 true EP1377960B1 (de) 2004-11-24

Family

ID=7681082

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02730100A Expired - Lifetime EP1377960B1 (de) 2001-04-10 2002-04-04 Verfahren zum überführen eines musiksignals in eine noten-basierte beschreibung und zum referenzieren eines musiksignals in einer datenbank

Country Status (6)

Country Link
US (1) US7064262B2 (de)
EP (1) EP1377960B1 (de)
JP (1) JP3964792B2 (de)
AT (1) ATE283530T1 (de)
DE (2) DE10117870B4 (de)
WO (1) WO2002084641A1 (de)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10232916B4 (de) * 2002-07-19 2008-08-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals
US7247782B2 (en) * 2003-01-08 2007-07-24 Hennings Mark R Genetic music
EP1687803A4 (de) * 2003-11-21 2007-12-05 Agency Science Tech & Res Verfahren und vorrichtung für melodierepräsentation und -vergleich für das abrufen von musik
DE102004049517B4 (de) * 2004-10-11 2009-07-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Extraktion einer einem Audiosignal zu Grunde liegenden Melodie
DE102004049478A1 (de) * 2004-10-11 2006-04-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Glättung eines Melodieliniensegments
DE102004049457B3 (de) * 2004-10-11 2006-07-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Extraktion einer einem Audiosignal zu Grunde liegenden Melodie
DE102004049477A1 (de) * 2004-10-11 2006-04-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur harmonischen Aufbereitung einer Melodielinie
US7598447B2 (en) * 2004-10-29 2009-10-06 Zenph Studios, Inc. Methods, systems and computer program products for detecting musical notes in an audio signal
US8093484B2 (en) * 2004-10-29 2012-01-10 Zenph Sound Innovations, Inc. Methods, systems and computer program products for regenerating audio performances
US20060293089A1 (en) * 2005-06-22 2006-12-28 Magix Ag System and method for automatic creation of digitally enhanced ringtones for cellphones
KR100735444B1 (ko) * 2005-07-18 2007-07-04 삼성전자주식회사 오디오데이터 및 악보이미지 추출방법
US7615701B2 (en) * 2005-10-19 2009-11-10 Tiao-Pin Cultural Enterprise Co., Ltd. Method for keying human voice audio frequency
US7467982B2 (en) * 2005-11-17 2008-12-23 Research In Motion Limited Conversion from note-based audio format to PCM-based audio format
US20070276668A1 (en) * 2006-05-23 2007-11-29 Creative Technology Ltd Method and apparatus for accessing an audio file from a collection of audio files using tonal matching
AU2007252225A1 (en) * 2006-05-24 2007-11-29 National Ict Australia Limited Selectivity estimation
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
JP2010518428A (ja) 2007-02-01 2010-05-27 ミューズアミ， インコーポレイテッド 音楽転写
US20090288547A1 (en) * 2007-02-05 2009-11-26 U.S. Music Corporation Method and Apparatus for Tuning a Stringed Instrument
WO2008101126A1 (en) * 2007-02-14 2008-08-21 Museami, Inc. Web portal for distributed audio file editing
US8084677B2 (en) * 2007-12-31 2011-12-27 Orpheus Media Research, Llc System and method for adaptive melodic segmentation and motivic identification
US8494257B2 (en) 2008-02-13 2013-07-23 Museami, Inc. Music score deconstruction
JP4862003B2 (ja) * 2008-02-28 2012-01-25 Ｋｄｄｉ株式会社 再生順序決定装置、楽曲再生システムおよび再生順序決定方法
DE102008013172B4 (de) 2008-03-07 2010-07-08 Neubäcker, Peter Verfahren zur klangobjektorientierten Analyse und zur notenobjektorientierten Bearbeitung polyphoner Klangaufnahmen
US8119897B2 (en) * 2008-07-29 2012-02-21 Teie David Ernest Process of and apparatus for music arrangements adapted from animal noises to form species-specific music
JP5728888B2 (ja) * 2010-10-29 2015-06-03 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5732994B2 (ja) * 2011-04-19 2015-06-10 ソニー株式会社 楽曲検索装置および方法、プログラム、並びに記録媒体
US20120294457A1 (en) * 2011-05-17 2012-11-22 Fender Musical Instruments Corporation Audio System and Method of Using Adaptive Intelligence to Distinguish Information Content of Audio Signals and Control Signal Processing Function
US20180144729A1 (en) * 2016-11-23 2018-05-24 Nicechart, Inc. Systems and methods for simplifying music rhythms
CN115472143B (zh) * 2022-09-13 2024-10-01 天津大学 一种调性音乐音符起始点检测与音符解码方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
GB2139405B (en) * 1983-04-27 1986-10-29 Victor Company Of Japan Apparatus for displaying musical notes indicative of pitch and time value
DE68907616T2 (de) * 1988-02-29 1994-03-03 Nippon Denki Home Electronics Verfahren und Gerät zur Musiktranskribierung.
US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
US5874686A (en) * 1995-10-31 1999-02-23 Ghias; Asif U. Apparatus and method for searching a melody
DE69908226T2 (de) * 1998-03-19 2004-03-25 Tomonari Sonoda Vorrichtung und Verfahren zum Wiederauffinden von Melodien
US6124542A (en) * 1999-07-08 2000-09-26 Ati International Srl Wavefunction sound sampling synthesis
GR1003625B (el) * 1999-07-08 2001-08-31 Μεθοδος χημικης αποθεσης συνθετων επικαλυψεων αγωγιμων πολυμερων σε επιφανειες κραματων αλουμινιου
US6438530B1 (en) 1999-12-29 2002-08-20 Pitney Bowes Inc. Software based stamp dispenser
WO2001069575A1 (en) 2000-03-13 2001-09-20 Perception Digital Technology (Bvi) Limited Melody retrieval system

Also Published As

Publication number Publication date
US7064262B2 (en) 2006-06-20
WO2002084641A1 (de) 2002-10-24
EP1377960A1 (de) 2004-01-07
DE50201624D1 (de) 2004-12-30
DE10117870A1 (de) 2002-10-31
DE10117870B4 (de) 2005-06-09
JP2004526203A (ja) 2004-08-26
ATE283530T1 (de) 2004-12-15
JP3964792B2 (ja) 2007-08-22
US20040060424A1 (en) 2004-04-01
HK1060428A1 (en) 2004-08-06

Similar Documents

Publication Publication Date Title
DE10117870B4 (de) Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank
Muller et al. Towards timbre-invariant audio features for harmony-based music
DE69904640T2 (de) Verfahren zum ändern des oberweyllengehalts einer komplexen wellenform
Grubb et al. A stochastic method of tracking a vocal performer
Collins Using a Pitch Detector for Onset Detection.
US20080190272A1 (en) Music-Based Search Engine
Plaja-Roglans et al. Repertoire-specific vocal pitch data generation for improved melodic analysis of carnatic music
CN116034421A (zh) 乐曲构造解析装置及乐曲构造解析方法
DE10157454B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Kennung für ein Audiosignal, Verfahren und Vorrichtung zum Aufbauen einer Instrumentendatenbank und Verfahren und Vorrichtung zum Bestimmen der Art eines Instruments
Lerch Software-based extraction of objective parameters from music performances
Tian et al. Towards music structural segmentation across genres: Features, structural hypotheses, and annotation principles
CN112837698A (zh) 一种演唱或演奏评价方法、装置和计算机可读存储介质
Kitahara et al. Instrument Identification in Polyphonic Music: Feature Weighting with Mixed Sounds, Pitch-Dependent Timbre Modeling, and Use of Musical Context.
EP1377924B1 (de) VERFAHREN UND VORRICHTUNG ZUM EXTRAHIEREN EINER SIGNALKENNUNG, VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER DAZUGEHÖRIGEN DATABANK und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals
Ikemiya et al. Transcribing vocal expression from polyphonic music
Chen et al. An efficient method for polyphonic audio-to-score alignment using onset detection and constant Q transform
Holzapfel et al. Improving tempo-sensitive and tempo-robust descriptors for rhythmic similarity
Shelke et al. An effective feature calculation for analysis & classification of Indian musical instruments using timbre measurement
Morman et al. A system for the automatic segmentation and classification of chord sequences
Politis et al. Motivic, Horizontal and Temporal Chromaticism: a Mathematical Classifier Method for Global & Ethnic Music
Wang Scattering Transform for Playing Technique Recognition
Wegener et al. On the robustness of audio features for musical instrument classification
Uhle et al. Generation of musical scores of percussive un-pitched instruments from automatically detected events
Heydarian et al. Tonic and scale recognition in Persian audio musical signals
Pollastri et al. Processing singing voice for music retrieval.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030812

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RIN1 Information on inventor provided before grant (corrected)

Inventor name: KAUFMANN, MATTHIAS

Inventor name: BRANDENBURG, KARLHEINZ

Inventor name: KLEFENZ, FRANK

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1060428

Country of ref document: HK

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT CH DE FR GB LI

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REF Corresponds to:

Ref document number: 50201624

Country of ref document: DE

Date of ref document: 20041230

Kind code of ref document: P

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: GERMAN

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1060428

Country of ref document: HK

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20050506

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

ET Fr: translation filed
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20050825

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20100422

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20100426

Year of fee payment: 9

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 283530

Country of ref document: AT

Kind code of ref document: T

Effective date: 20110404

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110430

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110404

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 16

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20190429

Year of fee payment: 18

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20190624

Year of fee payment: 18

Ref country code: DE

Payment date: 20190624

Year of fee payment: 18

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50201624

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20201103

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200430

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20200404

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200404