EP1415297A2 - Automatische erzeugung von musikalischen sratch-effekten - Google Patents

Automatische erzeugung von musikalischen sratch-effekten

Info

Publication number
EP1415297A2
EP1415297A2 EP02754699A EP02754699A EP1415297A2 EP 1415297 A2 EP1415297 A2 EP 1415297A2 EP 02754699 A EP02754699 A EP 02754699A EP 02754699 A EP02754699 A EP 02754699A EP 1415297 A2 EP1415297 A2 EP 1415297A2
Authority
EP
European Patent Office
Prior art keywords
data
audio
tempo
information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP02754699A
Other languages
English (en)
French (fr)
Other versions
EP1415297B1 (de
Inventor
Friedemann Becker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Native Instruments Software Synthesis GmbH
Original Assignee
Native Instruments Software Synthesis GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10153673A external-priority patent/DE10153673B4/de
Application filed by Native Instruments Software Synthesis GmbH filed Critical Native Instruments Software Synthesis GmbH
Publication of EP1415297A2 publication Critical patent/EP1415297A2/de
Application granted granted Critical
Publication of EP1415297B1 publication Critical patent/EP1415297B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response or playback speed
    • G10H2210/241—Scratch effects, i.e. emulating playback velocity or pitch manipulation effects normally obtained by a disc-jockey manually rotating a LP record forward and backward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G10H2210/385—Speed change, i.e. variations from preestablished tempo, tempo change, e.g. faster or slower, accelerando or ritardando, without change in pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/061—MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression

Definitions

  • the invention relates to a method for electrical sound generation and an interactive music player, in which an audio signal which is present in digital format and lasts for a predefinable period of time serves as the starting material.
  • DJ disk jockey
  • the profession of disk jockey is experiencing an enormous technical upgrade in today's dance culture, which is characterized by modern electronic music.
  • the crafting of this profession includes arranging the music tracks into a complete work (the set, the mix) with its own tension.
  • DJ mixers that have sample units with which parts of the audio signal can be used as a loop or as a one-shot sample.
  • CD players that enable scratching on a CD using a large jog heel.
  • FIG. 2 shows a detail of the time-space diagram according to FIG. 1 to describe the geometric relationships of a full-stop
  • FIG. 3 shows a section of a time-space diagram for describing the geometric relationships of a back-and-for-scratch effect
  • FIG. 5 shows a block diagram of an interactive music player according to the invention with the possibility of intervening in a current playback position
  • FIG. 6 shows a block diagram of an additional signal processing chain for realizing a scratch audio filter according to the invention
  • FIG. 7 shows a block diagram to illustrate the acquisition of rhythm-relevant information and its evaluation for the approximate determination of the tempo and phase of a music data stream
  • FIG. 8 shows a further block diagram for the successive correction of the determined pace and phase and ⁇ u _? ej.-j.eii uciL.fc: nuj: ciyei, uex ⁇ uuxoudten unu öteuer ⁇ aceieii for the coproduction of scratch effects or complete works created from the audio data according to the invention.
  • MP3 is a compression
  • the amplitude envelope of the sound waveform is usually displayed over a period of several seconds before and after the playback position. The display shifts in real time at the speed at which the music is playing.
  • musically relevant points in time in particular the beats, can now be extracted from the audio signal with the clock recognition function explained at a later point (FIG. 7 and FIG. 8) and displayed as markings in the graphic representation. eg on a display or on a screen of a digital computer on which the music player is implemented by suitable programming.
  • a hardware control element R1 is also provided, e.g. a button, especially the mouse button, with which you can switch between two operating modes:
  • Mode a corresponds to a vinyl record that you cannot touch and the speed of which is the same as that of the turntable.
  • Mode b corresponds to a vinyl record that you hold by hand and slide back and forth.
  • the playback speed in mode a) is further influenced by the automatic control for synchronizing the beat of the music being played to another beat (cf. FIG. 7 and FIG. 8).
  • the other measure can be synthetically generated or given by other music playing at the same time.
  • a further hardware control element R2 is provided, which is used to determine the disk position in operating mode b). This can be a continuous controller or the computer mouse.
  • FIG. 5 shows a block diagram of such an arrangement with the signal processing means explained below, with which an interactive music player according to the invention with the possibility of intervention in a current play position is created.
  • uxiiij-L uieaem wt_xuexeu BLeuereie enu K given ositions ⁇ acen usually wet a limited temporal resolution, ie a message is only sent at regular or irregular intervals, which transmits the current position.
  • the playback position of the stored 5 audio signal should change evenly, however, with a temporal resolution that corresponds to the audio sampling rate. For this reason, the invention uses a smoothing function at this point, which generates a high-resolution, uniformly changing signal from the step signal specified with the control element R2.
  • L5 output represents the desired smoothed signal.
  • a 2-pole resonance filter is particularly suitable for this.
  • a combination (series connection) of the two smoothings is also possible and advantageous and enables the following advantageous signal processing chain:
  • FIG. 5 illustrates an advantageous embodiment in the form of a schematic diagram.
  • the control element Rl
  • the controller R2 (here a button) serves to change the operating modes a) and b) by triggering a switch SW1.
  • the controller R2 (here a continuous slider) provides the position information with a temporally limited resolution. This serves a low-pass filter LP for smoothing as an input
  • the smoothed position signal is now differentiated (DIFF) and provides the playback speed.
  • the switch SW1 is controlled with this signal at a first input INI (mode b).
  • a tempo value A which can be determined as described in FIG. 7 and FIG. 8, is applied to the other input IN2 (mode a).
  • the control element R1 35 is used to switch between the input signals.
  • the control information described above for automatic manipulation of the playback position and / or playback direction and / or playback speed can be specified via an external control element (not shown).
  • a further control element then serves to trigger the automatic manipulation of the playback position and / or playback direction and / or playback speed specified with the third control element.
  • the complicated movement sequences in which the record and the crossfader have to work together in a very precise, tempo-adapted manner, can now be automated thanks to the arrangement shown in FIG. 5 with the corresponding control elements and a metafile format described in more detail later.
  • the length and type of the scratch can be selected using a number of presets.
  • the actual sequence of the scratch is controlled by the method according to the invention at the right time.
  • the motion sequences are either recorded beforehand during a real scratch or they are designed in a graphic editor "on the drawing board".
  • the automated scratch module now uses the so-called scratch algorithm described above with reference to FIG. 5.
  • the method described above only requires one parameter, namely the position of the hand with which the virtual record is moved (cf. corresponding control element), and calculates the current playback position in the audio using two smoothing methods.
  • Sample. The use of this smoothing method xst not of theoretical necessity but of technical. Without its use, it would be necessary for the alien playback to calculate the current playback position in the audio rate (44 kHz), which would require a decisive additional computing power requirement. Thanks to the algorithm, the playback position can be calculated at a much lower rate (e.g. 344 Hz).
  • This scratch is an effect in which the record is brought to a standstill (either by hand or by pressing the stop button on the turntable). After a certain time, the record is released or the motor is switched on again. After the record has returned to its original speed of rotation, it must be in time with the "further thought" time before the scratch or again in time with a second reference time that has not been touched during the full stop.
  • Both braking and accelerating are linear, i.e. with constant acceleration.
  • the representation according to FIG. 1 shows a time-space diagram of all of the playback variants of a track reproduced at normal speed which are synchronous with one another or are in time with one another.
  • a FILL STOP Scratch can be displayed as a connecting curve (dashed line) between two of the parallel playback lines.
  • FIG. 2 shows a section of FIG. 1, on which the following mathematical considerations can be understood.
  • the duration of the standstill phase c to be observed is calculated as follows:
  • the total duration T of the scratch is
  • this scratch is to move the virtual record back and forth at a point synchronized with the tempo and to be in sync with the original or reference measure once the scratch has ended.
  • This scratch can again use the same time-space diagram from FIG. 1 and this scratch in its simplest form
  • a scratch gets its diversity by additionally rhythmically emphasizing certain passages of the movement sequence by means of volume or EQ / filter (sound characteristics) manipulations.
  • EQ / filter sound characteristics
  • This process was also automated in the present method in that the tempo information extracted from the audio material (cf. FIG. 7 and FIG. 8) is used to rhythmically control these parameters.
  • the sound waveform changes in a characteristic way due to the peculiarities of the recording method that is used as standard for records.
  • pre-emphasis filter pre-distortion filter
  • RIAA RIAA standard
  • a further advantageous embodiment of the interactive music player uses a scratch audio filter for an audio signal, wherein the audio signal is subjected to pre-emphasis filtering (predistortion) and is stored in a buffer memory from which it can be read out at a variable speed depending on the respective playback speed, in order to subsequently undergo de-emphasis filtering (return equalization) and to be reproduced.
  • pre-emphasis filtering pre-emphasis filtering
  • a scratch audio filter for simulating the described cha- characteristic effect provided.
  • the audio signal within the playback unit PLAY from FIG. 5 is subjected to further signal processing, as shown in FIG. 6.
  • the audio signal is subjected to a corresponding pre-emphasis filtering Subjected to PEF.
  • the signal thus pre-filtered is then stored in a buffer memory B, from which it is read out in a further processing unit R depending on the operating mode a) or b), as described in FIG. 5, according to the output signal from SL with varying speed.
  • the read signal is then treated with a de-emphasis filter DEF and then reproduced (AUDIO_OUT).
  • the pre- and de-emphasis filter PEF and DEF which should have the same frequency response as specified in the RIAA standard, it is advantageous to use a digital IIR filter of the 2nd order, i.e. with two favorably chosen pole positions and two favorably chosen zero points. If the poles of one filter are equal to the zeros of the other filter, the effects of the two filters cancel each other exactly, as desired, when the audio signal is played back at the original speed. In all other cases, the filters mentioned produce the characteristic sound effect during "scratching".
  • the described scratch audio filter can also be used in connection with any other type of music player with a "scratching" function.
  • the speed of the track is required as information from the audio material in order to be able to determine the size of the variable "beat" and the "timing" of the gate.
  • the tempo determination method described below for audio tracks is used, for example.
  • the first step of the procedure is a first, approximate determination of the tempo of the piece of music. This is done by a statistical evaluation of the time intervals of the so-called beat events.
  • One way of extracting rhythm-relevant events from the audio material is through narrow bandpass filtering of the audio signal in different frequency ranges. To determine the pace in real time, only the beat events of the last few seconds are used for the following calculations. 8 to 16 events correspond to about 4 to 8 seconds.
  • the time intervals obtained in the first point are also added in pairs and groups of three by addition their time values grouped before they are octave. This method extracts the rhythmic structure between the bars from the time intervals.
  • a reference oscillator is used to approximate the phase. It swings at the previously determined pace. Its phase is advantageously chosen so that the best match between beat events of the audio material and zero crossings of the oscillator results.
  • the phase of the reference oscillator will shift relative to the audio track after a few seconds. This systematic phase shift provides information about the amount by which the speed of the reference oscillator has to be changed.
  • the tempo and phase are advantageously corrected at regular intervals in order to remain below the audible limit of the shifts and the corrective movements.
  • FIG. 7 shows a possible technical implementation of the approximate tempo and phase detection of a music data stream described in real time using a block diagram.
  • the structure shown can also be referred to as a 'Beat Detector'.
  • these two event streams are treated separately by filtering them through respective bandpass filters with respective cutoff frequencies F1 and F2.
  • a time of 50 ms corresponds to the duration of a song at 300 bpm, which is far below the duration of the shortest interval in which the pieces of music are usually located.
  • a stream is then formed in the respective processing units BDI and BD2 from the simple time intervals Ti between the events.
  • Two additional streams of the band-limited time intervals are formed from the stream of simple time intervals T ⁇ i in the same processing units BPM_C1 and BPM_C2, namely with time intervals
  • T 2i the sums of every two successive time intervals
  • time intervals T i the sums of three successive time intervals.
  • the events used for this may also overlap.
  • T 2i (t x + t 2 ), (t 2 + t 3 ), (t 3 + t 4 ), (t 4 + t s ), (t 5 + t s ), ...
  • the three streams u, T 2i , T 3i are now time-octave in the corresponding processing units OKT.
  • the time octave OKT is carried out in such a way that the individual time intervals of each stream are doubled until they are within a predetermined interval BPM_REF. In this way one obtains three data streams T lio , T 2io , T 3io , ...
  • the upper limit of the interval is calculated from the lower bpm limit according to the formula:
  • t hi [ms] 60000 / bpm low .
  • the lower limit of the interval is 0.5 * t hi .
  • Each of the three streams obtained in this way is now checked for its consistency for both frequency bands F1, F2 in respective further processing units CHK checked. This determines whether a certain number of successive, time-octave interval values lie within a predetermined error limit. To do this, one checks, for example, with the following values:
  • the value t xlo is output as a valid time interval.
  • T 2i one checks its last 4 events t 2l0 , t 22o , t 23o , t 24o to determine whether:
  • the value t ll0 is output as a valid time interval.
  • the value t 3l0 is output as a valid time interval.
  • the consistency check takes precedence over b) and b) takes precedence over c). If a value is output for a), b) and c) are no longer examined. If no value is output for a), then b) is examined, etc. If, on the other hand, no consistent value is found for a), b) or c), the sum of the last 4 non-octave individual intervals (t l4 -t 2 + t 3 + t 4 ).
  • the value stream of consistent time intervals determined in this way from the three streams is in turn octaved into the predetermined time interval BPM_REF in a downstream processing unit OKT.
  • the octave time interval is then converted into a BPM value.
  • a global measurement is carried out by expanding the number of events used to 64, 128, etc.
  • an event number of at least 128 may often be necessary. Such a measurement is more reliable, but it also takes more time.
  • Triplets have a clearly defined relationship to the tempo of the quarter notes, so that the ratio of the tempos of the first two maxima can be used to determine which cluster maximum is assigned to the quarters and which to the triplets.
  • T2 2/3 * Tl, then T2 is the pace.
  • T2 4/3 * Tl, then T2 is the pace.
  • Tl 3/2 * Tl
  • Tl is the tempo.
  • Tl is the tempo.
  • Tl is the tempo.
  • An approximate phase value P is determined on the basis of one of the two filtered simple time intervals i between the events, preferably on the basis of those values which are filtered with the lower frequency F1. These are used to roughly determine the frequency of the reference oscillator.
  • FIG. 8 shows a possible block diagram for the successive correction of determined speed A and phase P, hereinafter referred to as “CLOCK CONTROL”.
  • the reference oscillator or the reference clock MCLK is started in a first step 1 with the rough phase values P and tempo values A from the beat detection, which is equivalent to a reset of the control circuit shown in FIG. 2.
  • the time intervals between beat events of the incoming audio signal and the reference clock MCLK are then determined in a further step 2.
  • the approximate phase values P are compared with a reference signal CLICK, which has the frequency of the reference oscillator MCLK, in a comparator V.
  • the reference clock MCLK is changed in a further processing step 3 by a brief change in tempo
  • a (i + 1) A (i) 4- q or
  • step 4 all the correction events from step 3 and that since the last “reset” are summed up. elapsed time in own memories (not shown). At approximately every 5th to 10th event of an approximately accurate synchronization (difference between the audio data and the reference clock MCLK approximately below 5 ms), the tempo value is calculated on the basis of the previous tempo value, the correction accumulated up to 5 Events and the time since the elapsed in a further step 5 recalculated as follows.
  • bpm_new bpm * (1+ (q * dt) / T)
  • step 3 It is also checked whether the corrections in step 3 are always negative or positive over a certain period of time. In such a
  • step 5 the time and correction memories are deleted in a step 6 in order to change the starting point in phase and pace
  • a second piece of music is now synchronized by adjusting its tempo and phase.
  • the second piece of music is adjusted indirectly via the reference oscillator.
  • the information obtained about the tempo and phase of an audio track enables the control of so-called tempo-synchronous effects.
  • the audio signal is manipulated to match your own rhythm, which enables rhythmically effective real-time sound changes.
  • the tempo information can be used to cut loops with precise lengths from the audio material in real time.
  • the recording of mixing processes or a scratch process is divided into a description of the audio sources used and a chronological sequence of control information for the mixing process or scratch process and additional effects processing.
  • the recording is essentially divided into two parts:
  • Audio data in compressed and uncompressed form such as WAV, MPEG, AIFF and digital sound carriers such as a compact disc and
  • the list of audio sources used includes:
  • Meta information e.g. Additional information about the background of the
  • Audio source informed e.g. music genre, information about the artist and publisher
  • the tax information stores, among other things:
  • XML Extensible Markup Language
  • HTML Hypertext Markup Language
  • ⁇ LOCATION FILE "ID of the audio source”
  • PATH "Storage location of the audio source”
  • VOLUME "Storage medium of the file” />
  • ⁇ IMAGE FILE "Identification of an image file as an additional comment option" />
  • the actual scratch is triggered after a presetting by a central button / control element and develops automatically from this point on.
  • the user only needs to influence the scratch by the moment in which he presses the key (selection of the scratched audio sample) and by the duration of the key press (selection of the scratch length).
  • control information data referenced by the list of audio pieces, is preferably stored in binary format.
  • the basic structure of the stored control information in a file can be described as an example as follows:
  • control channels such as the number of the playback module, can be assigned to such control elements.
  • a clear control point M is addressed by [controller ID], [controller channel].
  • the result is a digital recording of the mixing process or the scratch process, which can be stored, reproduced, reproduced and transmitted non-destructively in relation to the audio material, for example via the Internet.
  • FIG. 9 An advantageous embodiment with such control files is represented by a data carrier D, as illustrated by FIG. 9.
  • This has a combination of a normal audio CD with digital audio data AUDIO_DATA of a first data area D1 with a program PRG_DATA housed on a further data part D2 of the CD for playing such mix files or scratch-effect files MIX_DATA, which directly correspond to those on the CD stored audio data access AUDIO_DATA.
  • the playback or mix application PRG_DATA does not necessarily have to be part of such a data carrier.
  • a combination of a first data area D1 with digital audio information AUDIO_DATA and a second data area with one or more files with the mentioned digital control data MIX_DATA is also advantageous, because such a data medium contains, in connection with a music player of the invention, all the information required for the reproduction of a earlier works created from the existing digital audio sources.
  • the invention can be implemented particularly advantageously on a suitably programmed digital computer with corresponding audio interfaces, in that a software program carries out the method steps described above on the computer system (e.g. the playback or mix application PRG_DATA).
  • a software program carries out the method steps described above on the computer system (e.g. the playback or mix application PRG_DATA).
  • T 3i groups of three time intervals
  • INI, IN2 first and second input a first operating mode b second operating mode

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur elektrischen Klangerzeugung und einen interaktiven Musikabspieler, bei dem als Ausgangsmaterial ein eine vorgebbare Zeitdauer andauerndes, in digitalem Format vorliegendes Audio-signal dient, welches anhand von Steuerinformationen in unterschiedlich vorgebbarer Weise automatisch und rhythmusbezogen in Abhängigkeit einer musikalischen Tempoinformation in seiner Wiedergabeposition und/oder der Wiedergabe-Richtung und/oder der Wiedergabe-Geschwindigkeit moduliert wird.

Description

Beschreibung
Automatische Erzeugung von musikalischen Scratch-Effekten
Die Erfindung betrifft ein Verfahren zur elektrischen Klangerzeugung und einen interaktiven Musikabspieler, bei dem als Ausgangsmaterial ein eine vorgebbare Zeitdauer andauerndes, in digitalem Format vorliegendes Audiosignal dient.
Der Beruf des Disk Jockeys (kurz: DJ) erfährt in der heutigen, durch moderne elektronische Musik geprägten Tanz-Kultur eine enorme technische Aufwertung. Zum Handwerk dieses Berufes gehört das Arrangieren der Musik- titel zu einem Gesamtwerk (dem Set, dem Mix) mit einem eigenen Spannungs- bogen.
Im Vinyl-DJ-Bereich hat sich die Technik des Scratchens weitreichend etabliert. Es handelt sich dabei um eine Technik, bei der durch kombinierte Bewegung des Schallplatte mit der Hand und eines der Lautstärkeregler am Mischpult (sogenannter Fader) das Tonmaterial auf der Schallplatte zur rhythmischen Klangerzeugung genutzt wird. Große Meister des Scratchens tun dies auf zwei oder sogar drei Plattenspielern gleichzeitig, was die Fingerfertigkeit eines guten Schlagzeugers oder Pianospielers verlangt.
Zunehmend stoßen auch Hardware-Hersteller mit Effekt-Mischpulten in den Echtzeit-Effekt-Bereich vor. Es gibt auch schon DJ-Mischpulte, die Sample- Einheiten besitzen, mit welchen Teile des Audiosignals als Loop oder als One-Shot-Sample weiterverwendet werden können. Es gibt auch CD-Player, die mittels eines großen Jog- heels das Scratchen auf einer CD ermöglichen.
Es ist jedoch kein Gerät oder Verfahren bekannt, mit dem sowohl die Ab- spielposition eines digitalen Audiosignals, als auch der Lautstärkeverlauf oder andere Klangparameter dieses Signals automatisch so gesteuert werden können, dass dabei ein rhythmischer, taktgenauer "Scratch-Effekt" aus dem gerade zu hörenden Audio-Material erzeugt wird. Dies wäre jedoch wünschenswert, weil damit zum einen gelungene Scratch-Effekte reproduzierbar und zusätzlich auf anderes Audiomaterial übertragbar würden. Zum anderen könnte ein DJ so entlastet werden und seine Konzentration vermehrt anderen künstlerischen Dingen wie etwa der Zusammenstellung der Musikstücke widmen. Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren sowie einen Musikabspieler zu schaffen, die eine automatische Erzeugung von musikalischen Scratch-Effekten ermöglichen.
Diese Aufgabe wird erfindungsgemäß jeweils durch die unabhängigen Patent- ansprüche gelöst .
Weitere vorteilhafte Ausgestaltungen sind in den abhängigen Patentansprüchen angegeben.
Vorteile und Details der Erfindung ergeben sich anhand der folgenden Beschreibung vorteilhafter Ausführungsbeispiele und in Verbindung mit den Figuren. Es zeigt in Prinzipdarstellung:
FIG 1 ein Zeit-Raum-Diagramm aller sich miteinander im Takt befindlichen Abspiel-Varianten eines mit Normalgeschwindigkeit wiedergegebenen Tracks als parallele Geraden der Steigung 1,
FIG 2 ein Detail-Ausschnitt des Zeit-Raum-Diagramms nach FIG 1 zur Beschreibung der geometrischen Zusammenhänge eines Full-Stop-
Scratch-Effekts ,
FIG 3 einen Ausschnitt eines Zeit-Raum-Diagramms zur Beschreibung der geometrischen Zusammenhänge eines Back-and-For-Scratc - Effekts,
FIG 4 verschiedene mögliche Lautstärke-Hüllkurven zur Realisierung eines Gater-Ξffektes auf einen Back-and-For Scratch-Effekt,
FIG 5 ein Blockschaltbild eines interaktiven Musik-Abspielers gemäß der Erfindung mit Eingriffsmöglichkeit in eine aktuelle Abspielposition,
FIG 6 ein Blockschaltbild einer zusätzlichen Signalverarbeitungskette zur Realisierung eines Scratch-Audio-Filters gemäß der Erfindung,
FIG 7 ein Blockschaltbild zur Veranschaulichung der Gewinnung rhythmusrelevanter Informationen und deren Auswertung zur nähe- rungsweisen Ermittlung von Tempo und Phase eines Musikdatenstroms ,
FIG 8 ein weiteres Blockschaltbild zur sukzessiven Korrektur von ermitteltem Tempo und Phase und πu _? ej.-j.eii uciL.fc:nuj:ciyei , uex Äuuxoudten unu öteuerαaceieii zur Kepro- duktion von aus den Audiodaten gemäß der Erfindung erstellten Scratch-Effekten oder Gesamtwerken vereint .
Zum Abspielen von vorproduzierter Musik werden herkömmlicherweise ver- 5 schiedenartige Geräte für verschiedene Speichermedien wie Schallplatte, Compakt Disk oder Cassette verwendet. Diese Formate wurden nicht dafür entwickelt, in den Abspielprozess einzugreifen, um die Musik damit auf kreative Art zu bearbeiten. Diese Möglichkeit ist aber wünschenswert, und wird heutzutage trotz der gegebenen Einschränkungen von den genannten DJ's 10 praktiziert. Dabei werden bevorzugt Vinyl-Schallplatten verwendet, weil man dort am leichtesten mit der Hand die Abspielgeschwindigkeit und - position beeinflussen kann.
Heute werden aber überwiegend digitale Formate wie Audio CD und MP3 zum Speichern von Musik verwendet. Bei MP3 handelt es sich um ein Kompressi-
L5 onsverfahren für digitale Audiodaten nach dem MPEG-Standard (MPEG 1 Layer 3) . Das Verfahren ist asymmetrisch, d.h. die Codierung ist sehr viel aufwendiger als die Decodierung. Ferner handelt es sich um ein verlustbehaftetes Verfahren. Die vorliegende Erfindung ermöglicht nun den genannten kreativen Umgang mit Musik auf beliebigen digitalen Formaten durch einen
20 geeigneten interaktiven Musik-Abspieler, der von den durch die vorangehend dargestellten erfindungsgemäßen Maßnahmen geschaffenen neuen Möglichkeiten Gebrauch macht .
Dabei besteht das prinzipielle Bedürfnis, möglichst viel hilfreiche Information in der grafischen Darstellung haben, um gezielt eingreifen zu kön- 25 nen. Außerdem möchte man ergonomisch in den Abspielvorgang eingreifen können, auf vergleichbare Art mit dem von DJ's häufig praktizierten "Scrat- ching" auf Vinylplattenspielern, wobei der Plattenteller während der Wiedergabe angehalten und vorwärts sowie rückwärts bewegt wird.
Um gezielt Eingreifen zu können, ist es wichtig, eine grafische Repräsen- 30 tation der Musik zu haben, in der man die aktuelle Abspielposition erkennt und auch einen gewissen Zeitraum in der Zukunft und in der Vergangenheit erkennt. Dazu stellt man üblicherweise die Amplitudenhüllkurve der Klangwellenform über einen Zeitraum von mehreren Sekunden vor und nach der Abspielposition dar. Die Darstellung verschiebt sich in Echtzeit in der Ge- 35 schwindigkeit, in der die Musik spielt.
Prinzipiell möchte man möglichst viel hilfreiche Information in der grafischen Darstellung haben, um gezielt eingreifen zu können. Außerdem möchte uicui uiuyj-xuxi&i- e yυiiumj-öc.j. xn uen ADspxexvorgang exngrexren Können, aut vergleichbare Art zum sogenannten "Scratching" auf Vinylplattenspielern. Der Begriff "Scratching" bezeichnet dabei das Anhalten und vorwärts oder rückwärts Bewegen des Plattentellers während der Wiedergabe.
Bei dem durch die Erfindung geschaffenen interaktiven Musik-Abspieler können nun musikalisch relevante Zeitpunkte, insbesondere die Taktschläge, mit der an späterer Stelle (FIG 7 und FIG 8) erläuterten Takterkennungs- funktion aus dem Audiosignal extrahiert und als Markierungen in der grafischen Darstellung angezeigt werden, z.B. auf einem Display oder auf einem Bildschirm eines digitalen Computers, auf dem der Musik-Abspieler durch eine geeignete Programmierung realisiert ist.
Weiter ist ein Hardware-Steuerelement Rl vorgesehen, z.B. ein Knopf, insbesondere der Mausknopf, mit dem man zwischen zwei Betriebsarten umschaltet:
a) Musik läuft frei, mit konstantem Tempo, b) Abspielposition und -gesc windigkeit wird vom Anwender direkt oder automatisch beeinflusst.
Der Modus a) entspricht einer Vinylplatte, die man nicht anfasst und deren Geschwindigkeit gleich der des Plattentellers ist. Der Modus b) hingegen entspricht einer Vinylplatte, die man mit der Hand anhält und hin- und herschiebt .
In einer vorteilhaften Ausführungsform eines interaktiven Musik-Abspielers wird die Abspielgeschwindigkeit in Modus a) weiter beeinflusst durch die automatische Steuerung zur Synchronisierung des Takts der abgespielten Musik zu einem anderen Takt (vgl. FIG 7 und FIG 8) . Der andere Takt kann synthetisch erzeugt oder von einer anderen gleichzeitig spielenden Musik gegeben sein.
Außerdem ist ein weiteres Hardware-Steuerelement R2 vorgesehen, mit dem man im Betriebsmodus b) quasi die Plattenposition bestimmt. Dies kann ein kontinuierlicher Regler, oder auch die Computermaus sein.
Die Darstellung nach FIG 5 zeigt ein Blockschaltbild einer solchen Anordnung mit den im folgenden erläuterten Signalverarbeitungsmitteln, mit denen ein interaktiver Musik-Abspieler gemäß der Erfindung mit Eingriffsmöglichkeit in eine aktuelle Abspielposition geschaffen wird. uxe iiij-L uieaem wt_xuexeu BLeuereie enu K vorgegebenen ositionsαacen naßen üblicherweise eine begrenzte zeitliche Auflösung, d.h. es wird nur in regelmäßigen oder unregelmäßigen Abständen eine Nachricht geschickt, die die aktuelle Position übermittelt . Die Abspielposition des gespeicherten 5 Audiosignals soll sich aber gleichmäßig ändern, mit einer zeitlichen Auflösung, die der Audio-Abtastrate entspricht. Deshalb verwendet die Erfindung an dieser Stelle eine Glättungsfunktion, die aus dem mit dem Steuerelement R2 vorgegebenen stufigen Signal ein hochaufgelöstes, gleichmäßig sich änderndes Signal erzeugt.
L0 Eine Methode hierzu besteht darin, mit jeder vorgegebenen Positionsnachricht eine Rampe mit konstanter Steigung auszulösen, die in einer vorgegebenen Zeit das geglättete Signal von seinem alten Wert auf den Wert der Positionsnachricht fährt. Eine weitere Möglichkeit ist, die stufige Wellenform in einen linearen digitalen Tiefpaß-Filter LP zu schicken, dessen
L5 Ausgang das gewünschte geglättete Signal darstellt. Dafür eignet sich besonders ein 2-Pol Resonanzfilter. Eine Kombination (Reihenschaltung) der beiden Glättungen ist auch möglich und vorteilhaft und ermöglicht folgende vorteilhafte Signalverarbeitungskette :
vorgegebenes Stufensignal -> Rampenglättung -> Tiefpassfilter -> exakte
20 Abspielposition
oder
vorgegebenes Stufensignal -> Tiefpassfilter -> Rampenglättung -> exakte Abspielposition
Das Blockschaltbild nach FIG 5 veranschaulicht die an einem vorteilhaften 25 Ausführungsbeispiel in Form einer Prinzipskizze. Das Steuerelement Rl
(hier ein Taster) dient zum Wechsel der Betriebsmodi a) und b) , indem dieser einen Schalter SW1 triggert . Der Regler R2 (hier ein kontinuierlicher Schieberegler) liefert die Positionsinformation mit zeitlich begrenzter Auflösung. Diese dient einem Tiefpaß-Filter LP zur Glättung als Eingangs-
30 signal. Das geglättete Positionssignal wird nun differenziert (DIFF) und liefert die Abspielgeschwindigkeit. Der Schalter SW1 wird mit diesem Signal an einem ersten Eingang INI angesteuert (Modus b) . Der andere Eingang IN2 wird mit einem Tempowert A, der wie in FIG 7 und FIG 8 beschrieben ermittelt werden kann, beaufschlagt (Modus a) . Über das Steuerelement Rl 35 erfolgt der Wechsel zwischen den Eingangssignalen. Außerdem können über exn drxttes Steuerelement (nxcht gezeigt) die im vorangehenden beschriebenen Steuerinformationen zur automatischen Manipulation von Abspielposition und/oder Abspielrichtung und/oder Abspielgeschwindigkeit vorgegeben werden. Ein weiteres Steuerelement dient dann zum Auslösen der mit dem dritten Steuerelement vorgegebenen automatischen Manipulation der Abspielposition und/oder Abspielrichtung und/oder Abspielgeschwindigkeit .
Wenn man vom einen in den anderen Modus wechselt (entspricht dem Festhalten und Loslassen des Plattentellers) , darf die Position nicht springen. Aus diesem Grund übernimmt der vorgeschlagene interaktive Musik-Abspieler die im vorhergehenden Modus erreichte Position als Ausgangsposition im neuen Modus. Ebenso soll die Abspielgeschwindigkeit (1. Ableitung der Position) sich nicht Sprunghaft ändern. Deswegen übernimmt man auch die aktuelle Geschwindigkeit und führt sie durch eine Glättungsfunktion, wie oben beschrieben, zu der Geschwindigkeit, die dem neuen Modus entspricht. Nach FIG 5 erfolgt dies durch einen Slew Limiter SL, der eine Rampe mit konstanter Steigung auslöst, die in einer vorgegebenen Zeit das Signal von seinem alten Wert auf den neuen Wert fährt. Dieses positions- bzw. geschwindigkeitsabhängige Signal steuert dann die eigentliche Abspieleinheit PLAY zur Wiedergabe des Audiotracks an, indem es die Abspielgeschwindigkeit beeinflusst.
Die komplizierten Bewegungsabläufe, bei denen die Schallplatte und der Crossfader in ganz präziser, dem Tempo angepasster Weise zusammenwirken müssen, sind nun dank der in FIG 5 gezeigten Anordnung mit den entspre- chenden Steuerelementen und eines an späterer Stelle näher beschriebenen Meta-File Formats automatisierbar. Durch eine Reihe von Voreinstellungen kann die Länge und Art des Scratches ausgewählt werden. Der tatsächliche Ablauf des Scratches wird durch das erfindungsgemäße Verfahren tempogenau gesteuert . Dabei werden die Bewegungsabläufe entweder zuvor bei einem ech- ten Scratch aufgezeichnet oder sie werden in einem graphischen Editor "auf dem Reissbrett" entworfen.
Das automatisierte Scratch Modul bedient sich nun des vorangehend anhand von FIG 5 beschriebenen sogenannten Scratch-Algorithmus .
Das voranstehend dargestellte Verfahren bedarf lediglich eines Parameters, nämlich der Position der Hand mit welcher die virtuelle Schallplatte bewegt wird (vgl. entsprechendes Steuerelement), und errechnet daraus mittels zweier Glättungsverfahren die aktuelle Abspielposition im Audio- Sample. Dxe Verwendung dxeser Glättungsverfahren xst nxcht von theoretischer Notwendigkeit sondern von technischer. Ohne seiner Verwendung wäre es für die unverfremdete Wiedergabe notwendig, die Berechnung der aktuellen Abspielposition in der Audio-Rate (44kHz) durchzuführen, was ein ent- scheidenden Mehrbedarf an Rechenleistung erfordern würde. Dank des Algorithmus kann die Abspielposition in sehr viel niedrigerer Rate berechnet werden (z.B. 344 Hz) .
Im folgenden wird anhand der zwei einfachsten Scratch-Automationen erläutert, wie das erfindungsgemäße Verfahren zur automatischen Erzeugung von Scratch-Effekten funktioniert. Das gleich Verfahren kann aber auch auf viel komplexere Scratch-Abfolgen angewendet werden.
FÜLL STOP
Bei diesem Scratch handelt es sich um einen Effekt, bei dem die Schallplatte (entweder durch die Hand oder durch Bedienung der Stop-Taste des Plattenspielers) zum Stillstand gebracht wird. Nach einer gewissen Zeit wird die Schallplatte wieder losgelassen, bzw. der Motor wieder eingeschaltet . Nachdem die Schallplatte wieder auf ihre ursprüngliche Umdrehungsgeschwindigkeit gekommen ist, muss sie sich wieder im Takt zu dem "weitergedachten" Takt vor dem Scratch bzw. wieder im Takt zu einem zwei- ten, während des Full-Stops unangetasteten, Referenz-Takt befinden.
Zur Berechnung der Abbrems-, Stillstand- und Beschleunigungsphasen wurden folgende vereinfachende Annahmen gemacht. (Es sind jedoch auch komplexere Verläufe des Scratches ohne Aufwand zu berechnen) :
- Sowohl Abbremsen als auch Beschleunigen erfolgen linear, d.h. mit konstanter Beschleunigung.
- Abbremsen und Beschleunigen erfolgen mit derselben Beschleunigung jedoch mit umgekehrtem Vorzeichen.
Die Darstellung gemäß FIG 1 zeigt ein Zeit-Raum-Diagramm aller zueinander synchronen bzw. sich miteinander im Takt befindlichen Abspiel-Varianten eines mit Normalgeschwindigkeit wiedergegebenen Tracks. Die Dauer einer
Viertelnote eines gegenwärtigen Tracks ist dabei mit beat bezeichnet.
Stellt man alle sich miteinander im Takt (beat) befindlichen Abspiel- Varianten eines mit Normalgeschwindigkeit wiedergegebenen Tracks als parallele Geraden der Steigung 1 in einem Zeit-Raum-Diagramm dar (X-Achse: Zeit t in [ms] , Y-Achse Sample-Position SAMPLE in [ms] ) , so kann ein FÜLL STOP Scratch als Verbindungskurve (gestrichelte Linie) zwischen zwei der parallel gelegenen Abspiel-Geraden dargestellt werden. Der lineare Geschwindigkeitsübergang zwischen den Bewegungsphasen und der Stillstandsphase des Scratches stellt sich im Zeit-Raum-Diagramm als Parabel-Segment dar (lineare Geschwindigkeitsänderung = quadratische Positionsveränderung) .
Einige geometrische Überlegungen anhand der in FIG 1 gezeigten Darstellung ermöglichen nun die Dauer der verschiedenen Phasen (Abbremsen, Stillstand, Beschleunigen) so zu berechnen, dass nach Vollendung des Scratches die Abspielposition auf einer zur Ursprungs-Geraden parallelen und um ein ganzes Vielfaches einer Viertelnote (beat) versetzten Geraden zu liegen kommt, was das" graphische Äquivalent zur oben aufgestellten Forderung nach taktgetreuer Wiederaufnahme der Bewegung darstellt . Dazu zeigt die FIG 2 einen Ausschnitt von FIG 1, an dem sich die folgenden mathematischen Über- legungen nachvollziehen lassen.
Sei die Dauer des Abbrems- und Beschleunigungsvorgangs ,ab', v die Geschwindigkeit, x die mit der Zeit t korrelierte Abspielposition und die Dauer einer Viertelnote des gegenwärtigen Tracks beat, dann berechnet sich die Dauer der einzuhaltenden Stillstandsphase c folgendermaßen:
c = beat-ab.
Die Gesamtdauer T des Scratches beträgt
T=beat+ab
und besteht also aus 3 Phasen:
Abbremsen von v=l auf v=0: Dauer: ab
Stillstand: Dauer: beat-ab
Beschleunigen von v=0 auf v=l: Dauer: ab
(für ab<= beat)
Daraus ergibt sich, dass zunächst mit normaler Geschwindigkeit v=l verfahren wird, ehe dann ein lineares Abbremsen f (x) = - x2 erfolgt, was die Zeit ,ab' dauert. Für die Dauer ,beat-ab' besteht Stillstand v=0, ehe ein lineares Beschleunigen f (x) = % x2 erfolgt, was wiederum die Zeit ,ab' dauert. Danach wird wieder mit Normalgeschwindigkeit V=l verfahren. uxe uauex , a.v xur aas ΛDDremsen unα aas tsescnxeunxgen wurαe ßewusst variabel gehalten, da man durch die Veränderung dieses Parameter entscheidend in den "Sound" (die Qualität) des Scratches eingreifen kann (siehe Voreinstellungen) .
5 Wird die Stillstandsphase c um Vielfache von beat verlängert, kann man takt-synchrone Full-Stop-Scratches einer beliebigen Länge erzeugen.
BACK AND FOR
Bei diesem Scratch geht es darum, die virtuelle Schallplatte an einer Stelle tempo-synchron vorwärts und rückwärts zu bewegen und nach Beendi- L0 gung des Scratches wieder im Takt mit dem Ursprungs- bzw. Referenz-Takt zu sein. Man kann sich wieder des gleichen Zeit-Raum-Diagramms aus FIG 1 bedienen und diesen Scratch in seiner einfachsten Form
Geschwindigkeit = +/- 1 ; Frequenz = 1/beat,
wie in der Darstellung gemäß FIG 3 darstellen, die an FIG 2 angelehnt ist. L5 Natürlich sind auf diese Weise auch viel komplexere Bewegungsabläufe berechenbar.
Die Abbremsung von v=+l auf v=-l und umgekehrt bedarf nun der doppelten Dauer = 2*ab. Mit geometrischen Überlegungen kann die Dauer der Rückwärts- Lauf-Phase "rü" und der darauffolgenden Vorwärtslaufphase "vo" wie anhand
20 von FIG 3 nachvollziehbar ermittelt werden:
rü = vo = l/2*beat - 2ab
Die Gesamtdauer des Scratches beträgt diesmal genau T=beat und besteht aus 4 Phasen-.
Abbremsen vom v=l auf v=-l: Dauer: 2ab
25 Rückwärtslauf: Dauer: l/2*beat - 2ab
Beschleunigen von v=-l auf v=l: Dauer: 2ab
Vorwärtslauf -. Dauer: l/2*beat - 2ab
Dieser Scratch kann beliebig oft wiederholt werden und kehrt immer wieder an die Start-Abspielposition zurück, die virtuelle Schallplatte bewegt
30 sich im Ganzen nicht weiter. Das bedeutet also mit jeder Iteration eine
Verschiebung um p=-beat gegenüber dem Referenztakt. Auch in diesem Scratch bleibt die Dauer des Abbrems- und Beschleunigungsvorgangs "ab" variabel, da durch die Veränderung von a die Charakteristik des Scratches stark verändert werden kann.
GATER
Zusätzlich zur eigentlichen Manipulation der originalen Wiedergabegeschwindigkeit erhält ein Scratch seine Vielfältigkeit durch zusätzliches rhythmisches Hervorheben gewisser Passagen des Bewegungsablaufes mittels Lautstärke oder EQ/Filter- (Klangcharakteristik) Manipulationen. So kann beispielsweise bei einem BACK AND FOR Scratch immer nur die Rückwärtsphase hörbar gemacht werden und die Vorwärtsphase ausgeblendet werden.
Auch dieser Vorgang wurde in vorliegendem Verfahren automatisiert, indem die aus dem Audiomaterial extrahierte Tempo-Information (vgl. dazu FIG 7 und FIG 8) dazu genutzt wird, diese Parameter rhythmisch zu steuern.
Hier soll auch wieder nur beispielhaft illustriert werden, wie anhand von drei Parametern
- RATE (Frequenz des Gate-Vorgangs) ,
- SHAPE (Verhältnis von "An"- zu "Aus "-Phase) und
- OFFSE (Phasen-Verschiebung, relativ zum Referenztakt)
eine große Vielfalt an Effekt-Variationen möglich ist. Diese 3 Parameter können anstatt nur auf die Lautstärke des Scratches zu wirken, natürlich auch auf EQs/Filter oder jeden anderen Audio-Effekt, wie Hall, Delay und ähnliches angewendet werden.
Der Gater selbst exisitert bereits in vielen Effekt-Geräten. Jedoch die Kombination mit einem tempo-synchronen Scratch-Algorithmus zur Erzeugung vollautomatischer Scratch-Abläufe, zu denen zwingend auch Lautstärke- Verläufe gehören, wird in diesem Verfahren erstmalig verwendet.
In FIG 4 ist ein einfacher 3-fach BACK AND FOR Scratch
dargestellt. Darunter verschiedene Lautstärke-Hüllkurven, die sich aus den jeweils daneben stehenden Gate-Parametern ergeben. Dargestellt ist dann auch die resultierende Wiedergabe-Kurve, um zu veranschaulichen, wie unterschiedlich das Endergebnis durch die Anwendung verschiedener Gate- Parameter werden kann. Wird jetzt noch der BACK AND FOR Scratch in seiner Frequenz und dem Beschleunigungsparameter "ab" variiert (in der Zeichnung nicht mehr dargestellt) , ergeben sich extrem viele Kombinations- Möglichkeiten.
Der erste Verlauf unterhalb der Ausgangsform (3-fach BACK AND FOR Scratch) betont nur jeweils die zweite Hälfte der Wiedergabebewegung, während er 5 deren erste Hälfte jeweils eliminiert. Die Gater-Werte für diesen Verlauf sind:
- RATE = 1/4
- SHAPE = 0
- OFFSET = 0 L0
Der Verlauf der Lautstärke-Hüllkurve ist dabei jeweils durchgehend gezeichnet, während die damit selektierten Bereiche der Wiedergabebewegung jeweils gestrichelt dargestellt sind.
Beim darunter liegenden Verlauf werden nur die Rückwärtsbewegungen der L5 Wiedergabebewegung selektiert mit den Gater-Parametern:
- RATE = 1/4
- SHAPE = - 1/2
- OFFSET = 0,4
Der darunter liegende Verlauf ist eine weitere Variante bei welcher je- .0 weils derobere und untere Umkehrpunkt der Wiedergabebewegungausgewählt wird durch:
- RATE = 1/8
- SHAPE = - 1/2
- OFFSET = 0,2
25 In einem weiteren Betriebsmodus des Scratch-Automatismus ist es vorstellbar, auch die Auswahl des Audio-Samples, mit welchem des Scratch vollzogen wird, zu optimieren und damit benutzer-unabhängig zu machen. In diesem Modus würde der Tastendruck zwar das Verfahren starten, dieses aber erst vollzogen, wenn im Audiomaterial ein geeignetes Beat-Event gefunden wird,
30 welches sich für die Durchführung des gewählten Scratches besonders gut eignet . "SCRATCH-SYNTHESIZER"
Alles bisher Beschriebene behandelt das Verfahren mit welchem ein beliebiger Ausschnitt aus einem Audiomaterial modifiziert
Wiedergegeben werden kann (im Falle von rhythmischem Material auch te po- synchron) . Da nun aber das Ergebnis (der Sound) eines Scratches unmittelbar mit dem ausgewählten Audiomaterial zusammenhängt, ist die sich ergebende Klangvielfalt prinzipiell so groß, wie das verwendete Audio-Material selbst. Da das Verfahren parametrisiert ist, lässt es sich sogar als neues Klang-Synthese-Verfahren bezeichnen.
Beim "Scratching" mit Vinyl-Platten, also dem Abspielen mit sich stark und schnell ändernder Geschwindigkeit, ändert sich die Tonwellenform auf charakteristische Art, aufgrund der Eigenheiten des AufZeichnungsverfahrens, das standardmäßig für Schallplatten verwendet wird. Beim Erstellen des Press-Masters für die Schallplatte im Aufnahmestudio durchläuft das Ton- signal ein Pre-Emphase-Filter (Vorverzerrungs-Filter) nach RIAA-Norm, der die Höhen anhebt (sogenannte „Schneidekennlinie") . In jeder Anlage, die zum Abspielen von Schallplatten verwendet wird, befindet sich ein entsprechendes De-Emphase-Filter (Rückentzerrungs-Filter) , das die Wirkung umkehrt, so dass man näherungsweise das ursprüngliche Signal erhält.
Wenn nun aber die Abspielgeschwindigkeit nicht mehr dieselbe ist, wie bei der Aufnahme, was u.a. beim "Scratching" auftritt, so werden alle Frequenzanteile des Signals auf der Schallplatte entsprechend verschoben und deswegen vom De-Emphase-Filter unterschiedlich bedämpft. Dadurch ergibt sich ein charakteristischer Klang.
Um beim Abspielen mit sich stark und schnell ändernder Geschwindigkeit eine möglichst authentische Wiedergabe ähnlich dem „Scratchen" mit einem Vinyl-Plattenspieler zu erreichen, verwendet eine weitere vorteilhafte Ausführungsform des interaktiven Musik-Abspielers nach der Erfindung für ein Audiosignal ein Scratch-Audio-Filter, wobei das Audiosignal einer Pre- Emphase-Filterung (Vorverzerrung) unterzogen und in einem Pufferspeicher abgelegt wird, aus dem es in Abhängigkeit von der jeweiligen Abspielgeschwindigkeit mit variablem Tempo auslesbar ist, um anschließend einer DeEmphase-Filterung (Rückentzerrung) unterzogen und wiedergegeben zu werden.
In dieser vorteilhaften Ausgestaltung des erfindungsgemäßen interaktiven Musik-Abspielers nach der Erfindung mit einem Aufbau entsprechend FIG 5 ist daher ein Scratch-Audio-Filter zur Simulation des beschriebenen cha- rakteristischen Effekts vorgesehen. Dazu wird, insbesondere für eine digitale Simulation dieses Vorgangs, das Audiosignal innerhalb der Abspieleinheit PLAY aus FIG 5 einer weiteren Signalverarbeitung unterzogen, wie diese in FIG 6 dargestellt ist. Dazu wird das Audiosignal, nachdem die digi- talen Audiodaten des wiederzugebenden Musikstücks von einem Medium D bzw. Tonträger (z.B. CD oder MP3) gelesen und (vor allem im Fall des MP3- Formats) dekodiert DEC wurde, einer entsprechenden Pre-Emphase-Filterung PEF unterzogen. Das so vorgefilterte Signal wird dann in einem Pufferspeicher B abgelegt, aus dem es in einer weiteren Verarbeitungseinheit R je nach Betriebsmodus a) oder b) , wie in FIG 5 beschrieben, entsprechend dem Ausgangssignal von SL mit variierender Geschwindigkeit ausgelesen wird. Das ausgelesene Signal wird dann mit einem De-Emphase-Filter DEF behandelt und dann wiedergegeben (AUDIO_OUT) .
Für das Pre- und De-Emphase Filter PEF und DEF, die den gleichen Frequenz- gang wie in der RIAA-Norm festgelegt haben sollten, verwendet man günstigerweise jeweils ein digitales IIR-Filter 2.Ordnung, d.h. mit zwei günstig gewählten Polstellen und zwei günstig gewählten Nullstellen. Wenn die Polstellen des einen Filters gleich den Nullstellen des anderen Filters sind, heben sich, wie gewünscht, die beiden Filter in ihrer Wirkung genau auf, wenn das Audiosignal mit Originalgeschwindigkeit abgespielt wird. In allen anderen Fällen erzeugen die genannten Filter den charakteristischen Toneffekt beim "Scratching" . Selbstverständlich kann das beschriebene Scratch- Audio-Filter auch im Zusammenhang mit beliebigen anderen Arten von Musik- Abspielgeräten mit „Scratching"-Funktion eingesetzt werden.
Als Informationen aus dem Audiomaterial wird das Tempo des Tracks benötigt, um die Größe der Variablen "beat", sowie die "Taktung" des Gates bestimmen zu können. Hierfür wird beispielsweise das im folgenden beschriebene Tempo-Ermittlungs-Verfahren für Audio-Tracks verwendet.
In diesem Zusammenhang stellt sich das technische Problem der Tempo- und Phasenangleichung zweier Musikstücke bzw. Audiotracks in Echtzeit. Dabei wäre es wünschenswert, wenn eine Möglichkeit zur automatischen Tempo- und Phasenangleichung zweier Musikstücke bzw. Audiotracks in Echtzeit zur Verfügung stünde, um den DJ von diesem technischen Aspekt des Mixens zu befreien, bzw. einen Mix automatisch oder halbautomatisch, ohne die Hilfe eines versierten DJ's erstellen zu können.
Bisher wurde dieses Problem nur in Teilaspekten gelöst. So gibt es Software-Player für das Format MP3 (ein Standardformat für komprimierte digi- tale Audiodaten) , die reine Echtzeit-Tempoerkennung und -anpassung realisieren. Die Erkennung der Phase muss jedoch weiterhin durch das Gehör und die Anpassung des DJ manuell erfolgen. Dadurch wird ein beträchtliches Maß an Aufmerksamkeit des DJ in Anspruch genommen, was andernfalls für künst- lerische Aspekte wie Musikzusammenstellung etc. zur Verfügung stünde.
Eine Aufgabe der vorliegenden Erfindung besteht somit in der Schaffung einer Möglichkeit zur automatischen Tempo- und Phasenangleichung zweier Musikstücke bzw. Audiotracks in Echtzeit mit möglichst hoher Genauigkeit.
Eine wesentliche zu überwindende technische Hürde stellt dabei die Genau- igkeit einer Tempo- und Phasen-Messung dar, welche mit der für diese Messung zur Verfügung stehenden Zeit sinkt. Das Problem stellt sich somit vorrangig für eine Ermittlung des Tempos und der Phase in Echtzeit, wie es u.a. beim Live-Mixen der Fall ist.
Im folgenden soll eine mögliche Realisierung der näherungsweisen Tempo- und Phasenerkennung sowie Tempo- und Phasenanpassung gemäß der Erfindung dargestellt werden.
Erster Schritt der Prozedur ist eine erste, näherungsweise Ermittlung des Tempos des Musikstückes. Dies erfolgt durch eine statistische Auswertung der zeitlichen Abstände der sog. Beat-Ereignisse. Eine Möglichkeit zur Gewinnung rhythmusrelevanter Ereignisse aus dem Audiomaterial erfolgt durch schmale Bandpassfilterung des Audiosignals in verschiedenen Frequenzbereichen. Um das Tempo in Echtzeit zu ermitteln, werden für die folgenden Berechnungen jeweils nur die Beatereignisse der letzten Sekunden verwendet. Dabei entsprechen 8 bis 16 Ereignisse in etwa 4 bis 8 Sekunden.
Aufgrund der quantisierten Struktur von Musik (lδtel Noten Raster) können nicht nur Viertelnoten Beat-Intervalle zur Tempoberechnung herangezogen werden. Auch aridere Intervalle (16tel, 8tel, und ganze Noten) können durch Oktavierung (z.B. durch Multiplizieren ihrer Frequenz mit 2er Potenzen) in eine vordefinierte Frequenz-Oktave (z.B. 80 - 160 bpm, Englisch für Beats per inute) transformiert werden und somit temporelevante Informationen liefern. Fehlerhafte Oktavierungen (z.B. von Triolen-Intervallen) fallen später wegen ihrer verhältnismäßigen Seltenheit bei der statistischen Auswertung nicht ins Gewicht.
Um auch Triolen, bzw. geschuffelte Rhythmen (einzelne leicht aus dem lδtel Raster versetzte Noten) zu erfassen, werden die im ersten Punkt gewonnenen Zeitintervalle zusätzlich noch in Paaren und Dreiergruppen durch Addition ihrer Zeitwerte gruppiert bevor sie oktaviert werden. Durch dieses Verfahren wird die rhythmische Struktur zwischen den Takten aus den Zeitintervallen herausgerechnet.
Die so gewonnene Menge an Daten wird auf Häufungspunkte untersucht . Es entstehen dabei in der Regel drei Häufungsmaxima bedingt durch die Okta- vierungs- und Gruppierungsverfahren, deren Wert in rationalen Verhältnis (2/3, 5/4, 4/5 oder 3/2) zueinander stehen. Sollte aus der Stärke eines der Maxima nicht deutlich genug hervorgehen, das dieses das tatsächliche Tempo des Musikstückes .angibt, lässt sich das korrekte Maximum aus dem rationalen Verhältnissen der Maxima untereinander ermitteln.
Zur näherungsweisen Ermittlung der Phase wird ein Referenz-Oszillator verwendet. Dieser schwingt mit dem zuvor ermittelten Tempo. Seine Phase wird vorteilhaft so gewählt, dass sich die beste Übereinstimmung zwischen Beat- Ereignisse des Audiomaterials und Nulldurchgängen des Oszillators ergibt.
Anschließend erfolgt eine sukzessive Verbesserung der Tempo- und Phasenermittlung. Durch die natürliche Unzulänglichkeit der ersten näherungsweisen Tempoermittlung wird sich zunächst nach einigen Sekunden die Phase des Referenz-Oszillators relativ zum Audiotrack verschieben. Diese systematische Phasenverschiebung gibt Auskunft darüber, um welche Menge das Tempo des Referenz-Oszillators verändert werden muss . Eine Korrektur des Tempos und der Phase erfolgt vorteilhaft in regelmäßigen Abständen, um unterhalb der Hörbarkeitsgrenze der Verschiebungen und der Korrekturbewegungen zu bleiben.
Sämtliche Phasenkorrekturen, die ab der näherungsweisen Phasenkorrelation erfolgt sind, werden über die Zeit akkumuliert, so dass die Berechnung des Tempos und der Phase auf einem ständig wachsenden Zeitintervall basiert . Dadurch werden die Tempo- und Phasen-Werte zunehmend präziser und verlieren den eingangs erwähnten Makel der näherungsweisen EchtZeitmessung. Nach kurzer Zeit (ca. 1 min) sinkt der Fehler des mit diesem Verfahren ermit- telten Tempo-Wertes unterhalb 0.1%, ein Maß an Genauigkeit, das Voraussetzung für die Berechnung von Loop-Längen ist.
Die Darstellung gemäß FIG 7 zeigt eine mögliche technische Realisierung der beschriebenen näherungsweisen Tempo- und Phsenerkennung eines Musikdatenstroms in Echtzeit anhand eines Blockschaltbildes. Die gezeigte Struk- tur kann auch als , Beat Detector' bezeichnet werden. Als Input liegen zwei Ströme von Audio-Events bzw. Audio-Ereignissen Et mit Wert 1 vor, welche den Peaks in den Frequenzbändern Fl bei 150 Hz und F2 bei 4000Hz oder 9000 Hz entsprechen. Diese beiden Eventströme werden vorerst getrennt behandelt, indem diese durch jeweilige Bandpassfilter mit jeweiliger Grenzfrequenz Fl und F2 gefiltert werden.
Folgt ein Event innerhalb von 50 ms dem vorhergehenden, wird das zweite Event nicht berücksichtigt. Eine Zeit von 50 ms entspricht der Dauer eines lδtels bei 300 bpm, liegt also weit unter der Dauer des kürzesten Intervalls, in dem die Musikstücke üblicherweise angesiedelt sind.
Aus dem Strom der gefilterten Events E± wird nun in jeweiligen Verarbeitungseinheiten BDI und BD2 ein Strom aus den einfachen Zeitintervallen Ti zwischen den Events gebildet.
Aus dem Strom der einfachen Zeitintervalle Tαi werden in gleichen Verarbeitungseinheiten BPM_C1 und BPM_C2 jeweils zusätzlich zwei weitere Ströme der bandbegrenzten Zeitintervalle gebildet, nämlich mit Zeitintervallen
T2i, den Summen von jeweils zwei aufeinanderfolgenden Zeitintervallen, und mit Zeitintervallen T3i, den Summen von jeweils drei aufeinanderfolgenden Zeitintervallen. Die dazu herangezogenen Events dürfen sich auch überlappen.
Dadurch werden aus dem Strom: tl t t2, t3, t4, t5, ts, ... zusätzlich folgende zwei Ströme erzeugt :
T2i: (tx+t2) , (t2+t3) , (t3+t4) , (t4+ts) , (t5+ts ),... und
' T3i: (tι+t2+t3) , (t2+t3+t4) , (t3+t4+t5) , (t4+t5+t6) , ...
Die drei Ströme u, T2i, T3i, werden nun zeit-oktaviert in entsprechenden Verarbeitungseinheiten OKT. Die Zeit-Oktavierung OKT erfolgt derart, dass die einzelnen Zeitintervalle jedes Stroms so oft verdoppelt werden, bis sie in einem vorgegebenen Intervall BPM_REF liegen. Auf diese Weise erhält man drei Datenströme Tlio, T2io, T3io, ... Die obere Grenze des Intervalls berechnet sich aus der unteren bpm-Grenze nach der Formel:
thi [ms] = 60000/ bpmlow .
Die untere Grenze des Intervalls liegt bei 0.5* thi.
Jeder der so erhaltenen drei Ströme wir nun für beide Frequenzbänder Fl, F2 in jeweiligen weiteren Verarbeitungseinheiten CHK auf seine Konsistenz überprüft. Damit wird ermittelt, ob jeweils eine gewisse Anzahl aufeinanderfolgender, zeit-oktavierter Intervallwerte innerhalb einer vorgegebenen Fehlergrenze liegen. Dazu überprüft man beispielsweise im einzelnen mit folgenden Werten:
Für U überprüft man dessen letzte 4 Events tllo l t12o, t13o, t14o daraufhin, ob gilt:
a) ( tlio - tι o) + ( t ι0 - tι3o) + ( tιι0 - tι o) < 20
Ist dies der Fall, wird der Wert txlo als gültiges Zeitintervall ausgegeben.
Für T2i überprüft man dessen letzte 4 Events t2l0, t22o, t23o, t24o daraufhin, ob gilt:
b) ( t2l0 - t22o) 2 + ( t21c - t23o) 2 + ( t2Xo - t24o) 2 < 20
Ist dies der Fall, wird der Wert tll0 als gültiges Zeitintervall ausgegeben.
Für T3i überprüft man dessen letzte 3 Events t31o, t32o, t33o, daraufhin, ob gilt:
c ) ( t3l0 - t32o) 2 + ( t3l0 - t33o) 2 < 20
Ist dies der Fall, wird der Wert t3l0 als gültiges Zeitintervall ausgegeben.
Hierbei hat die Konsistenzprüfung a) Vorrang vor b) und b) hat Vorrang vor c) . Wird also bei a) ein Wert ausgegeben, werden b) und c) nicht mehr untersucht. Wird bei a) kein Wert ausgegeben, so wird b) untersucht, usw. Wird hingegen weder bei a) noch bei b) noch bei c) ein konsistenter Wert gefunden, so wird die Summe der letzten 4 nicht oktavierten Einzelinter- valle (tl4-t2+t3+t4) ausgegeben.
Der so aus den drei Strömen ermittelte Wertestrom konsistenter Zeitintervalle wird wiederum in einer nachgeschalteten Verarbeitungseinheit OKT in das vorgegebene Zeit-Intervall BPM_REF oktaviert . Anschließend wird das oktavierte Zeit-Intervall in einen BPM Wert umgerechnet.
Als Resultat liegen jetzt zwei Ströme BPMl und BPM2 von bpm-Werten vor - einer für jeden der beiden Frequenzbereiche Fl und F2. In einem Prototyp werden diese Ströme mit einer festen Frequenz von 5 Hz abgefragt und die jeweils letzten acht Events aus beiden Strömen für die statistische Auswertung herangezogen. Man kann an dieser Stelle jedoch durchaus auch eine variable (eventgesteuerte) Abtastrate verwenden und man kann auch mehr als nur die letzten 8 Events verwenden, beispielsweise 16 oder 32 Events.
Diese letzten 8, 16 oder 32 Events aus jedem Frequenzband Fl, F2 werden zusammengeführt und in einer nachgeschalteten Verarbeitungseinheit STAT auf Häufungsmaxima N betrachtet. In der Prototyp-Version wird ein Fehlerintervall von 1,5 bpm verwendet, d.h. solange Events weniger als 1,5 bpm voneinander differieren, werden sie als zusammengehörig betrachtet und addieren sich in der Gewichtung. Die Verarbeitungseinheit STAT ermittelt hierbei, bei welchen BPM-Werten Häufungen auftreten und wie viele Events den jeweiligen Häufungspunkten zuzuordnen sind. Der am stärksten gewichte- te Häufungspunkt kann als die lokale BPM-Messung gelten und liefert den gewünschten Tempowert A.
In einer ersten Weiterbildung dieses Verfahrens erfolgt zusätzlich zu der lokalen BPM-Messung eine globale Messung, indem man die Zahl, der verwendeten Events auf 64, 128 etc. ausweitet. Bei alternierenden Rhythmus- Patterns, in welchen nur jeden 4. Takt das Tempo klar durchkommt, kann häufig eine Eventzahl von mindestens 128 nötig sein. Solch eine Messung ist zuverlässiger, benötigt jedoch auch mehr Zeit.
Eine weitere entscheidende Verbesserung kann durch folgende Maßnahme erzielt werden:
In Betracht gezogen wird nicht nur das erste Häufungsmaximum, sondern auch das zweite. Dieses zweite Maximum entsteht fast immer durch vorhandene Triolen und kann sogar stärker als das erste Maximum sein. Das Tempo der
Triolen hat jedoch ein klar definiertes Verhältnis zum Tempo der Viertel Noten, so dass sich aus dem Verhältnis der Tempi der beiden ersten Maxima ermitteln lässt, welches Häufungsmaximum den Vierteln und welches den Triolen zuzuordnen ist .
Nimmt man Tl als das Tempo des ersten Maximums in bpm und T2 als das des zweiten Maximums an, so gelten folgende Regeln:
Wenn T2 = 2/3 * Tl, dann ist T2 das Tempo.
Wenn T2 = 4/3 * Tl, dann ist T2 das Tempo.
Wenn T2 = 2/5 * Tl, dann ist T2 das Tempo. Wenn T2 = 4/5 * Tl, dann ist T2 das Tempo.
Wenn T2 = 3/2 * Tl, dann ist Tl das Tempo.
Wenn T2 = 3/4 * Tl, dann ist Tl das Tempo.
Wenn T2 = 5/2 * Tl, dann ist Tl das Tempo.
Wenn T2 = 5/4 * Tl, dann ist Tl das Tempo.
Ein näherungsweiser Phasenwert P wird anhand einer der beiden gefilterten einfachen Zeitintervalle i zwischen den Events ermittelt, vorzugsweise anhand derjenigen Werte, die mit der niedrigeren Frequenz Fl gefiltert sind. Diese dienen zur groben Bestimmung der Frequenz des Referenz- Oszillators.
Die Darstellung nach FIG 8 zeigt ein mögliches Blockschaltbild zur sukzessiven Korrektur von ermitteltem Tempo A und Phase P, im folgenden als ,CLOCK CONTROL' bezeichnet.
Zunächst wird der Referenz-Oszillator bzw. die Referenz-Clock MCLK in ei- nem ersten Schritt 1 mit den groben Phasenwerten P und Tempowerten A aus der Beat-Detection gestartet, was quasi einem Reset des in FIG 2 gezeigten Regelkreises gleichkommt. Anschließend werden in einem weiteren Schritt 2 die Zeitintervalle zwischen Beat-Events des eingehenden Audiosignals und der Referenz-Clock MCLK ermittelt. Dazu werden die näherungsweisen Phasen- werte P mit einem Referenzsignal CLICK, welches die Frequenz des Referenz- Oszillators MCLK aufweist, in einem Komparator V verglichen.
Bei systematischem Überschreiten (+) einer „kritischen" Abweichung bei mehreren aufeinanderfolgenden Ereignissen mit einem Wert von beispielsweise über 30ms wird in einem weiteren Verarbeitungsschritt 3 die Referenz- Clock MCLK durch eine kurzzeitige Tempoänderung
A(i+1) = A(i) 4- q oder
A(i+1) = A(i) - q
entgegen der Abweichung (wieder) an das Audio-Signal angepasst, wobei q die verwendete Absenkung oder Anhebung des Tempos darstellt. Andernfalls (-) wird das Tempo konstant gehalten.
Im weiteren Verlauf erfolgt in einem weiteren Schritt 4 eine Summierung aller Korrektur-Ereignisse aus Schritt 3 und der seit dem letzten „Reset" verstrichenen Zeit in eigenen Speichern (nicht gezeigt). Bei ungefähr jedem 5. bis 10. Ereignis einer annähernd akkuraten Synchrσnisierung (Differenz zwischen den Audiodaten und der Referenz-Clock MCLK etwa unterhalb 5 ms) wird der Tempo-Wert auf der Basis des bisherigen Tempo-Wertes, der bis 5 dahin akkumulierten Korrektur-Ereignisse und der seit dem verstrichenen Zeit in einem weiteren Schritt 5 wie folgt neu errechnet.
Mit
- q als der in Schritt 3 verwendeten Absenkung oder Anhebung des Tempos (beispielsweise um den Wert 0.1),
L0 - dt als der Summe der Zeit, für welche das Tempo insgesamt abgesenkt oder angehoben wurde (Anhebung positiv, Absenkung negativ) ,
- T als dem seit dem letzten Reset (Schritt 1) verstrichenen Zeitintervall, und
- bpm als dem in Schritt 1 verwendeten Tempowert A
L5 errechnet sich das neue, verbesserte Tempo nach folgender einfachen Formel:
bpm_neu = bpm * (1+ (q*dt) /T)
Weiter wird geprüft, ob die Korrekturen in Schritt 3 über einen gewissen Zeitraum hinweg immer jeweils negativ oder positiv sind. In solch einem
20 Fall liegt wahrscheinlich eine Tempo-Änderung im Audiomaterial vor, die mit obigem Verfahren nicht korrigiert werden kann. Dieser Status wird erkannt und bei Erreichen des nächsten annähernd perfekten Synchronisations- Ereignisses (Schritt 5) werden der Zeit- und der Korrekturspeicher in einem Schritt 6 gelöscht, um den Ausgangspunkt in Phase und Tempo neu zu
25 setzten. Nach diesem „Reset" beginnt die Prozedur erneut mit einem Aufsetzen auf Schritt 2 das Tempo zu optimieren.
Eine Synchronisierung eines zweiten Musikstückes erfolgt nun durch Anpassung von dessen Tempo und Phase. Die Anpassung des zweiten Musikstückes erfolgt indirekt über den Referenz-Oszillator. Nach der oben beschriebenen
30 näherungsweisen Tempo- und Phasenermittlung des Musikstückes werden diese Werte sukzessive nach obigem Verfahren an den Referenz-Oszillator ange- passt, nur wird diesmal die Abspielphase und die Abspielgeschwindigkeit des Tracks selbst verändert . Das originale Tempo des Tracks lässt sich rückwärts leicht aus der notwendigen Veränderung seiner Abspielgeschwin-
35 digkeit gegenüber der Original-Abspielgeschwindigkeit errechnen. Des weiteren ermöglicht die gewonnene Information über das Tempo und die Phase eines Audiotracks die Ansteuerung sogenannter temposynchroner Effekte. Dabei wird das Audiosignal passend zum eigenen Rhythmus manipuliert, was rhythmisch effektvolle Echtzeit-Klangveränderung ermöglicht. Insbeson- dere kann die Tempo-Information dazu genutzt werden, Loops mit taktgenauen Längen in Echtzeit aus dem Audiomaterial herauszuschneiden.
Wie bereits eingangs erwähnt, werden herkömmlicherweise beim Mischen mehrerer Musikstücke die Audioquellen von Tonträgern auf mehreren Abspielgeräten abgespielt und über ein Mischpult abgemischt. Bei dieser Vorgehens- weise beschränkt sich eine Audioaufnahme auf eine Aufzeichnung des Endresultats . Eine Reproduktion des Mischvorganges oder von Scratch-Vorgängen und ein Aufsetzen zu einem späteren Zeitpunkt exakt an einer vorgebbaren Position innerhalb eines Musikstückes ist damit nicht möglich.
Genau dies erreicht nun die vorliegende Erfindung, indem ein Dateiformat für digitale Steuerinformationen vorgeschlagen wird, welches die Möglichkeit bietet, den Vorgang des interaktiven Mischens und eine eventuelle Effektbearbeitung von Audioquellen aufzuzeichnen und akkurat wiederzugeben. Dies ist insbesondere mit einem wie vorangehend beschriebenen Musik-Abspieler möglich.
Die Aufzeichnung von Mischvorgängen oder eines Scratch-Vorgangs gliedert sich in eine Beschreibung der verwendeten Audioquellen und einen zeitlichen Ablauf von Steuerinformationen des Mischvorgangs oder Scratch- Vorgangs und zusätzlicher Effektbearbeitung.
Es werden nur die Information über den eigentlichen Mischvorgang oder Scratch-Vorgang und über die Ursprungsaudioquellen benötigt, um das Resultat wiederzugeben. Die eigentlichen digitalen Audiodaten werden extern zur Verfügung gestellt. Dies vermeidet urheberrechtlich problematische Kopiervorgänge von geschützten Musikstücken. Es können durch das Abspeichern von digitalen Steuerinformationen somit Mischvorgänge von mehreren Audiostü- cken im Hinblick auf Abspielpositionen, Synchronisationsinformationen,
Echtzeiteingriffe mit Audio-Signalverarbeitungsmitteln etc. als ein Mix der Audioquellen und deren Effektbearbeitung z.B. mit Scratch-Effekten als neues Gesamtwerk mit vergleichsweise langer Abspieldauer realisiert werden.
Dies bietet den Vorteil, dass die Beschreibung der Bearbeitung der Audioquellen im Vergleich zu den erzeugten Audiodaten des Mischvorgangs gering sind, der Mischvorgang an beliebigen Stellen editiert und wiederaufgesetzt werden kann. Außerdem können vorhandene Audiostücke in verschiedenen Zusammenfassungen oder als längere zusammenhängende Interpretationen wiedergegeben werden.
Mit bisherigen Tonträgern und Musik-Abspielgeräten war es hingegen nicht möglich, die Interaktion eines Anwenders aufzuzeichnen und wiederzugeben, da den bekannten Abspielgeräten die technischen Voraussetzungen fehlen, diese genau genug zu steuern. Dies wird erst durch die vorliegende Erfindung ermöglicht, indem mehrere digitale Audioquellen wiedergegeben und deren Abspielpositionen bestimmt und gesteuert werden können. Dadurch wird es möglich, den gesamten Vorgang digital zu verarbeiten und entsprechende Steuerdaten in einer Datei zu speichern. Diese digitalen Steuerinformationen werden vorzugsweise in einer Auflösung abgelegt, die der Abtastrate der verarbeiteten digitalen Audiodaten entspricht.
Die Aufzeichnung gliedert sich im wesentlichen in 2 Teile:
- eine Liste der verwendeten Audioquellen z.B. digitale Aufgezeichnete
Audiodaten in komprimierter und unkomprimierter Form wie z.B. WAV, MPEG, AIFF und digitale Tonträger wie etwa eine Compact Disk und
- den zeitlichen Ablauf der Steuerinformation.
Die Liste der Verwendeten Audioquellen enthält u.a.:
- Informationen zur Identifizierung der Audioquelle
- zusätzlich berechnete Information, die Charakteristiken der Audioquelle beschreibt (z.B. Abspiellänge und Tempoinformationen)
- beschreibende Information zur Herkunft und Urheberinformation der Audioquelle (z.B. Künstler, Album, Verlag etc.)
- Metainformation, z.B. Zusatzinformation die über den Hintergrund der
Audioquelle informiert (z.B. Musikgenre, Information zum Künstler und Verlag)
Die Steuerinformation speichert u.a.:
- die zeitliche Abfolge von Steuerdaten
- die zeitliche Abfolge von exakten Abspielpositionen in der Audioquelle - Intervalle mit kompletter Zustandsinformation aller Stellglieder, um als Wiederaufsetzpunkte der Wiedergabe zu dienen
Im Folgenden ist ein mögliches Beispiel der Verwaltung der Liste von Audiostücken in einer Ausprägung des XML Formats dargestellt. Dabei steht XML als Abkürzung für Extensible Markup Language . Dies ist eine Bezeichnung für eine Metasprache zur Beschreibung von Seiten im WWW (World Wide Web) . Dabei ist es im Gegensatz zu HTML (Hypertext Markup Language) möglich, dass der Autor eines XML-Dokumentes im Dokument selbst bestimmte Erweiterungen von XML im Document-Type-Definition-Teil des Dokumentes de- finiert und im gleichen Dokument auch nutzt.
<?xml version="l .0" encoding="ISO-8859-l"?>
<MJL VERSION=" ersions Beschreibung">
<HEAD PROGRAM="Programmname" COMPANY=" Firmenname" />
<MIX TITLE="Titel des Mixes">
<LOCÄTION FILE="Kennung der Steuerinformationsdatei" PATH="Speieherort der Steuerinformationsdatei "/>
<COMMENT>Kommentare und Bemerkungen zum Mix</COMMENT>
</MIX>
<PLAYLIST>
<ENTRY TITLE="Titel Eintrag 1" ARTIST="Name des Autors" ID= "Kennung des
Titels">
<LOCATION FILE=" Kennung der Audioquelle" PATH="Speicherort der Audioquelle" VOLUME="Speichermedium der Datei"/>
<ALBUM TITLE="Name des zugehörigen Albums" TRACK="Kennung des Tracks auf Album" />
<INFO PLAYTIME="Abspieldauer in Sekunden" GENRE_ID="Musik Genre-Kennung"/>
<TEMP0 BPM="Abspieltempo in BPM" BPM_QUALI Y="Güte des Tempowerts aus der Analyse" />
<CUE POINTl="Lage des 1. Markierungspunkts" ... POINTn="Lage des n. Markie- rungspunkts" /> <FADE TIME="Überblendzeit" MODE="Überblendmodus ">
<COMMENT>Kommentare und Bemerkungen zum Audiostück>
<IMAGE FILE="Kennung einer Bilddatei als zusätzliche Kommentarmöglichkeit"/>
<REFERENCE URL="Kennung für weiterführende Informationen zur Audioquel- le"/>
</COMMENT>
</ENTRY>
<ENTRY
</ENTRY>
</PLAYLIST>
</MJL>
Mögliche Voreinstellungen bzw. Steuerdaten zur automatischen Erzeugung von Scratch-Effekten wie im vorangehenden beschrieben, werden im folgenden beschrieben.
Hierbei handelt es sich um eine Reihe von Bedienelementen, mit welchen alle Parameter des Scratches im Vorfeld eingestellt werden können. Hierzu gehört:
- Scratch Art (Full-Stop, Back & For, Back-Spin, u.v.m.)
- Scratch Dauer (1,2,... beats - auch Druckdauer-Abhängig s.u.)
- Scratch Geschwindigkeit (Spitzengeschwindigkeit)
- Beschleunigungsdauer a (Dauer einer Geschwindigkeitsänderung von +/-1)
- Scratch Frequenz (Wiederholungen pro beat bei rhythmischen Scratches)
- Gate Frequenz (Wiederholungen pro beat)
- Gate Shape (Verhältnis von "An"- zu "Aus "-Phase) - Gate Offset (Versatz des Gate relativ zum Takt)
- Gate Routing (Zuweisung des Gates auf andere Effekt-Parameter)
Dies sind nur einige von vielen denkbaren Parametern, die je nach Art eines realisierten Scratch-Effektes anfallen.
Der eigentliche Scratch wird nach erfolgter Voreinstellung durch einen zentralen Button/Steuerelement ausgelöst und entwickelt sich von diesem Punkt an automatisch. Der Benutzer braucht den Scratch lediglich, durch den Moment, in welchem er die Taste drückt (Auswahl des gescratchten Audio- Samples) und durch die Dauer, des Tastendruckes (Auswahl der Scratch- Länge) beeinflussen.
Die Steuerinformationsdaten, referenziert durch die Liste von Audiostücken, werden vorzugsweise im Binärformat gespeichert. Der prinzipielle Aufbau der abgespeicherten Steuerinformationen in einer Datei lässt sich beispielhaft wie folgt beschreiben:
[Anzahl der Steuerblöcke N]
Für [Anzahl der Steuerblöcke N] wird wiederholt {
[Zeitdifferenz seit letztem Steuerblock in Millisekunden]
[Anzahl der Steuerpunkte M]
Für [Anzahl der Steuerpunkte M] wird wiederholt {
[Kennung des Controllers]
[Controller Kanal]
[Neuer Wert des Controllers]
} Mit [Kennung des Controllers] ist ein Wert bezeichnet, der ein Steuerglied
(z.B. Lautstärke, Geschwindigkeit, Position, Abspielrichtung etc.) des interaktiven Musik-Abspielers identifiziert. Solchen Steuergliedern können mehrere Unterkanäle [Controller Kanal], z.B. Nummer des Abspielmoduls, zugeordnet sein. Ein eindeutiger Steuerpunkt M wird durch [Kennung des Controllers], [Controller Kanal] adressiert. Als Resultat entsteht eine digitale Aufzeichnung des Mischvorgangs oder des Scratch-Vorgangs, der gespeichert, nicht-destruktiv im Bezug auf das Audiomaterial reproduziert, vervielfältigt und übertragen werden kann, z.B. über das Internet.
Eine vorteilhafte Ausführung mit solchen Steuerdateien stellt ein Datenträger D dar, wie dieser anhand von FIG 9 veranschaulicht ist. Dieser weist eine Kombination einer normalen Audio-CD mit digitalen Audiodaten AUDIO_DATA eines ersten Datenbereichs Dl mit einem auf einem weiteren Datenteil D2 der CD untergebrachten Programm PRG_DATA zum Abspielen solcher ebenfalls vorhandener Mixdateien oder Scratch-Effekt Dateien MIX_DATA auf, die unmittelbar auf die auf der CD abgelegten Audio-Daten AUDIO_DATA zugreifen. Dabei muss die Abspiel- bzw. Mix-Applikation PRG_DATA nicht zwingend Bestandteil eines solchen Datenträgers sein. Auch eine Kombination aus einem ersten Datenbereich Dl mit digitalen Audioinformationen AUDIO_DATA und einem zweiten Datenbereich mit einer oder mehreren Dateien mit den genannten digitalen Steuerdaten MIX_DATA ist vorteilhaft, denn ein solcher Datenträger beinhaltet in Verbindung mit einem Musik-Abspieler der Erfindung alle erforderlichen Informationen zur Reproduktion eines zu einem früheren Zeitpunkt erstellten neuen Gesamtwerkes aus den vorhandenen digitalen Audioquellen.
Besonders vorteilhaft jedoch lässt sich die Erfindung auf einem geeignet programmierten digitalen Computer mit entsprechenden Audio-Schnittstellen realisieren, indem ein Softwareprogramm die im vorangehenden dargestellten Verfahrensschritte auf dem Computersystem durchführt (z.B. die Abspiel- bzw. Mix-Applikation PRG_DATA) .
Alle in der vorstehenden Beschreibung erwähnten bzw. in den Figuren dargestellten Merkmale sollen, sofern der bekannte Stand der Technik dies zu- lässt, für sich allein oder in Kombination als unter die Erfindung fallend angesehen werden.
Weitere Informationen, Weiterbildungsmöglichkeiten und Details ergeben sich in Verbindung mit der Offenbarung der deutschen Patentanmeldung des Anmelders mit dem Aktenzeichen 101 01 473.2-51, deren Inhalt hiermit durch Bezugnahme eingeschlossen wird.
Die vorangehende Beschreibung bevorzugter Ausführungsformen nach der Er- findung ist zum Zwecke der Veranschaulichung angegeben. Diese Ausführungs- beispiele sind nicht erschöpfend. Auch ist die Erfindung nicht auf die genaue angegebene Form beschränkt, sondern es sind zahlreiche Modifikatio- nen und Änderungen im Rahmen der vorstehend angegebenen technischen Lehre möglich. Eine bevorzugte Ausfuhrungsform wurde gewählt und beschrieben, um die prinzipiellen Details der Erfindung und praktische Anwendungen zu verdeutlichen, um den Fachmann in die Lage zu versetzen, die Erfindung zu realisieren. Eine Vielzahl bevorzugter Ausfuhrungsformen sowie weitere Modifikationen kommen bei speziellen Anwendungsgebieten in Betracht.
Bezugszeichenliste
beat Dauer einer Viertelnote eines gegenwärtigen .
Tracks ab Dauer des Abbrems- und Beschleunigungsvorgangs c Stillstandsphase
SAMPLE Abspielposition des Audiosignals t Zeit v Geschwindigkeit x Weg
T Gesamtdauer eines Scratches rü Rückwärtslaufphase vo Vorwärtslaufphase
RATE Frequenz eines Gate-Vorgangs
SHAPE Verhältnis von "An"- zu "Aus"-Phase
OFFSET Phasen-Verschiebung, relativ zum Referenztakt
Ei Events eines Audiodatenstroms
Ti Zeitintervalle
Fl, F2 Frequenzbänder
BDI, BD2 Detektoren für rhythmusrelevante Informationen
BPM_REF Referenz-Zeitintervall BPM_C1,
BPM_C2 Verarbeitungseinheiten zur Tempoerkennung
Tu ungruppiert Zeitintervalle
T2ι Paare von Zeitintervallen
T3i Dreiergruppen von Zeitintervallen
OKT Zeit-Oktavierungseinheiten
Tiio... 3io zeit-oktavierte Zeitintervalle
CHK Konsistenzprüfung
BPM1,BPM2 unabhängige Ströme von Tempowerten bpm
STAT Statistische Auswertung der Tempowerte
N Häufungspunkte
A, bpm näherungsweise ermitteltes Tempo eines
Musikstückes
P näherungsweise ermittelte Phase eines
Musikstückes
1...6 Verfahrensschritte MCLK Referenz-Oszillator / Master-Clock V Komparator
+ Phasenübereinstimmung
Phasenverschiebung q Korrekturwert bpm_neu resultierender neuer Tempowert A
RESET Neustart bei Tempoänderung
CD-ROM Audiodatenquelle / CD-Rom-Laufwerk
S . zentrale Instanz / Scheduler
TR1... TRn Audiodatentracks
Pl...Pn Pufferspeicher
AI...An aktuelle Abspielpositionen
Sl...Sn Anfänge der Daten
Rl, R2 Regler / Steuerelemente
LP Tiefpaß-Filter
DIFF Differenzierer
SW1 Schalter
INI, IN2 erster und zweiter Eingang a erster Betriebsmodus b zweiter Betriebsmodus
SL Mittel zur Rampenglättung / Slew Limiter
PLAY Abspieleinheit
DEC Decoder
B Pufferspeicher
R Ausleseeinheit mit variablem Tempo
PEF Pre-Emphase-Filter / Vorverzerrungs-Filter
DEF De-Emphase-Filter / Rückentzerrungs-Filter
AUDIO_OUT Audio-Ausgabe
D Tonträger / Datenträger
Dl, D2 Datenbereiche
AUDIO_DATA digitale Audiodaten
MIX_DATA digitale Steuerdaten
PRG DATA Computerprogrammdaten

Claims

Patentansprüche
1. Verfahren zur elektrischen Klangerzeugung, bei dem als Ausgangsmaterial ein eine vorgebbare Zeitdauer andauerndes, in digitalem Format vorliegendes Audiosignal (Sample) dient, welches anhand von Steuerinformationen in
5 unterschiedlich vorgebbarer Weise automatisch und rhythmusbezogen (beat) in Abhängigkeit einer musikalischen Tempoinformation in seiner Wiedergabeposition und/oder der Wiedergabe-Richtung und/oder der Wiedergabe- Geschwindigkeit moduliert wird.
2. Verfahren zur elektrischen Klangerzeugung nach Anspruch 1, L0 d a d u r c h g e k e n n z e i c h n e t, dass auch die Wiedergabe-Lautstärke und/oder Klangcharakteristik rhythmusbezogen (beat) in Abhängigkeit der musikalischen Tempoinformation moduliert wird.
3. Verfahren zur elektrischen Klangerzeugung nach Anspruch 1 oder 2, L5 d a d u r c h g e k e n n z e i c h n e t, dass als musikalische Tempoinformation das ermittelte Tempo des verwendeten Audiomaterials (Sample) dient.
4. Verfahren zur elektrischen Klangerzeugung nach Anspruch 1 oder 2, d a d u r c h g e k e n n z e i c h n e t, dass
20 als musikalische Tempoinformation ein externes Referenz-Tempo dient.
5. Verfahren zur elektrischen Klangerzeugung nach einem der Ansprüche 1 bis 4, d a d u r c h g e k e n n z e i c h n e t, dass die Steuerinformationen eine Art, eine Dauer und eine Geschwindigkeit der 25 Modulation des Audiosignals umfassen.
6. Verfahren zur elektrischen Klangerzeugung nach einem der Ansprüche 1 bis 5, d a d u r c h g e k e n n z e i c h n e t, dass die Steuerinformationen Bewegungsabläufe einer Schallplatte auf einem
30 Plattenteller eines Schallplattenspielers repräsentieren und die automatische Modulation des Audiosignals derart erfolgt, dass ein musikalischer sogenannter Scratch-Effekt resultiert.
7. Verfahren zur elektrischen Klangerzeugung nach Anspruch 6, d a d u r c h g e k e n n z e i c h n e t, dass
35 zur Generierung von Steuerinformationen Bewegungsabläufe einer Schallplat- te bei einem manuellen Scratch als zeitdiskrete Werte aufgezeichnet werden.
8. Verfahren zur elektrischen Klangerzeugung nach Anspruch 6, d a d u r c h g e k e n n z e i c h n e t, dass zur Generierung von Steuerinformationen virtuelle Bewegungsabläufe einer Schallplatte für einen Scratch-Effekt in Form von zeitdiskreten Werten in einer vorgebbaren Auflösung konstruiert werden, insbesondere mittels einer graphischen Editierung.
9. Verfahren zur elektrischen Klangerzeugung nach einem der vorangehenden Ansprüche 5 bis 8, d a d u r c h g e k e n n z e i c h n e t, dass die Steuerinformationen bezüglich der Art, Dauer und Geschwindigkeit der Modulation des Audiosignals die Art, Dauer und Geschwindigkeit eines Bewegungsablaufs einer Schallplatte für einen Scratch-Effekt repräsentieren.
10. Verfahren zur elektrischen Klangerzeugung nach einem der vorangehenden Ansprüche 5 bis 9, d a d u r c h g e k e n n z e i c h n e t, dass auch eine Beschleunigungsdauer (a) eines Bewegungsablaufs einer Schallplatte für einen Scratch-Effekt als zeitdiskreter Steuerwert ermittelt und zur Modulation des Audiosignals vorgegeben wird, wobei der Beschleunigungswert selbst modulierbar ist.
11. Verfahren zur elektrischen Klangerzeugung nach Anspruch 10, d a d u r c h g e k e n n z e i c h n e t, dass als Steuerwert für die Beschleunigung eine konstante Beschleunigung angenommen wird.
12. Verfahren zur elektrischen Klangerzeugung nach Anspruch 10 oder 11, d a d u r c h g e k e n n z e i c h n e t, dass zur Erzeugung eines Steuerwertes für die Beschleunigung für einen Bewegungsablauf eines Scratch-Effekts ein Abbremsen und Beschleunigen der Schallplatte mit derselben Beschleunigung angenommen wird.
13. Verfahren zur elektrischen Klangerzeugung nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass anhand von weiteren Steuerinformationen in unterschiedlich vorgebbarer Weise automatisch und rhythmusbezogen (beat) in Abhängigkeit der musikalischen Tempoinformation ein abschnittweises Hervorheben bestimmter Passagen des Audiosignals (Sample) oder des Bewegungsablaufs erfolgt, insbesondere indem ein entsprechendes rhythmisches Hervorheben durch- Manipulation der Lautstärke oder der Klangcharakteristik erfolgt.
14. Verfahren zur elektrischen Klangerzeugung nach Anspruch 13, d a d u r c h g e k e n n z e i c h n e t, dass die weiteren Steuerinformationen ein Verhältnis von Aktivierungs- zu Unterdrückungsphasen der Hervorhebungen und/oder einen Versatz relativ zu einer Taktinformation und/oder eine Anzahl von Wiederholungen der Hervorhebungen umfassen.
15. Verfahren zur elektrischen Klangerzeugung nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t, dass zur Ermittlung einer musikalischen Tempoinformation eine Erkennung von Tempo und Phase einer in digitalem Format vorliegenden Musikinformation, insbesondere des Audiosignals (Sample) , nach den folgenden Verfahrensschritten erfolgt :
- näherungsweise Ermittlung des Tempos (A) der Musikinformation durch eine statistische Auswertung (STAT) der zeitlichen Abstände (Ti) rhythmusrelevanter Beat-Informationen in den digitalen Audiodaten (Ei) , - näherungsweise Ermittlung der Phase (P) des Musikstückes anhand der Lage der Takte in den digitalen Audiodaten im Zeitraster eines mit einer dem ermittelten Tempo proportionalen Frequenz schwingenden Referenz- Oszillators (MCLK) ,
- sukzessive Korrektur von ermitteltem Tempo (A) und Phase (P) der Musiki- normation anhand einer möglichen Phasenverschiebung des Referenz- Oszillators (MCLK) relativ zu den digitalen Audiodaten durch Auswertung der resultierenden systematischen Phasenverschiebung und Regulierung der Frequenz des Referenz-Oszillators proportional der ermittelten Phasenverschiebung.
16. Verfahren zur elektrischen Klangerzeugung nach Anspruch 15, d a d u r c h g e k e n n z e i c h n e t, dass rhythmusrelevante Beat-Informationen (Ti) durch Bandpassfilterung (Fl, F2) der zugrunde liegenden digitalen Audiodaten in verschiedenen Frequenzbereichen gewonnen werden.
17. Verfahren zur elektrischen Klangerzeugung nach Anspruch 15 oder 16, d a d u r c h g e k e n n z e i c h n e t, dass Rhythmusintervalle der Audiodaten im Bedarfsfall durch Multiplikation ih- rer Frequenz mxc zer-Potenzen xn exne vorαetxnxerte Frequenz-Oktave transformiert (OKT) werden, wo diese Zeitintervalle (Tlio...T3io) zur Tempoermittlung liefern.
18. Verfahren zur elektrischen Klangerzeugung nach Anspruch 17, d a d u r c h g e k e n n z e i c h n e t, dass der Frequenz-Transformation (OKT) eine Gruppierung von Rhythmusintervallen (Ti) , insbesondere in Paare (T2i) oder Dreiergruppen (T3i) , durch Addition ihrer Zeitwerte vorausgeht .
19. Verfahren zur elektrischen Klangerzeugung nach einem der Ansprüche 16 bis 18, d a d u r c h g e k e n n z e i c h n e t, dass die gewonnene Menge an Daten von Zeitintervallen (BPMl, BPM2) der rhythmusrelevanten Beat-Informationen auf Häufungspunkte (N) untersucht wird und die näherungsweise Tempoermittlung anhand der Informationen eines Häu- fungsmaximums erfolgt.
20. Verfahren zur elektrischen Klangerzeugung nach einem der Ansprüche 15 bis 19, d a d u r c h g e k e n n z e i c h n e t, dass zur näherungsweisen Ermittlung der Phase (P) des Musikstückes die Phase des Referenz-Oszillators (MCLK) derart gewählt wird, dass sich die größtmögliche Übereinstimmung zwischen den rhythmusrelevanten Beat-Informationen in den digitalen Audiodaten und den Nulldurchgängen des Referenz- Oszillators (MCLK) einstellt.
21. Verfahren zur elektrischen Klangerzeugung nach einem der Ansprüche 15 bis 20, d a d u r c h g e k e n n z e i c h n e t, dass eine sukzessive Korrektur (2, 3, 4, 5) von ermitteltem Tempo und Phase des Musikstückes in regelmäßigen Abständen in so kurzen Zeitintervallen erfolgt, dass resultierende Korrekturbewegungen und/oder Korrekturverschie- bungen unterhalb der Hörbarkeitsgrenze bleiben.
22. Verfahren zur elektrischen Klangerzeugung nach einem der Ansprüche 15 bis 21, d a d u r c h g e k e n n z e i c h n e t, dass alle sukzessiven Korrekturen von ermitteltem Tempo und Phase des Musikstü- ckes über die Zeit akkumuliert (4) werden und darauf aufbauend weitere Korrekturen mit stetig steigender Präzision erfolgen.
23. Verfahren zur elektrischen Klangerzeugung nach Anspruch 22, d a d u r c h g e k e n n z e i c h n e t, dass sukzessive Korrekturen solange erfolgen, bis ein vorgegebener tolerierbarer Fehlergrenzwert unterschritten wird, insbesondere bis für das ermit- telte Tempo ein Fehlergrenzwert kleiner als 0,1% unterschritten wird.
24. Verfahren zur elektrischen Klangerzeugung nach einem der Ansprüche 15 bis 23, d a d u r c h g e k e n n z e i c h n e t, dass für den Fall, dass die Korrekturen über einen vorgebbaren Zeitraum hinweg immer jeweils negativ oder positiv sind (6) , eine erneute (RESET) näherungsweise Ermittlung von Tempo (A) und Phase (P) mit anschließender sukzessiver Korrektur (2, 3, 4, 5) erfolgt.
25. Interaktiver Musik-Abspieler, der
- ein Mittel zur graphischen Darstellung von mit einer Tempo- und Phasen- erkennungsfunktion, insbesondere einer solchen nach einem der Ansprüche 15 bis 24, bestimmten Taktgrenzen eines in der Wiedergabe befindlichen Musikstückes in Echtzeit,
- ein erstes Steuerelement (Rl) zum Wechsel zwischen einem ersten Betriebsmodus (a) , in dem das Musikstück mit einem konstanten Tempo abge- spielt wird, und einem zweiten Betriebsmodus (b) , in dem die Abspielposition und/oder Abspielrichtung und/oder Abspielgeschwindigkeit beeinflussbar ist,
- ein zweites Steuerelement zur Vorgabe von Steuerinformationen, insbesondere von nach einem der Ansprüche 6 bis 12 bestimmten Steuerinformationen, zur Manipulation von Abspielposition und/oder Abspielrichtung und/oder Abspielgeschwindigkeit und
- ein drittes Steuerelement zum Auslösen der mit dem zweiten Steuerelement vorgegebenen automatischen Manipulation der Abspielposition und/oder Abspielrichtung und/oder Abspielgeschwindigkeit umfasst.
26. Interaktiver Musik-Abspieler nach Anspruch 25, mit
- einem Mittel zur graphischen Darstellung der aktuellen Abspielposition, mit dem eine Amplitudenhüllkurve der Klangwellenform des wiedergegebenen Musikstückes über einen vorgebbaren Zeitraum vor und nach der aktuellen Abspielposition darstellbar ist, wobei sich die Darstellung in Echtzeit mit dem Tempo der Wiedergabe des Musikstückes verschiebt, und mit
- einem Mittel zur Glättung (LP, SL) eines stufigen Verlaufs zeitlich begrenzter, mit dem zweiten Steuerelement (R2) vorgegebener Abspiel- osxtxonsαaten zu exnem sxcn gleichma&ig mit einer der Audio-Abtastrate entsprechenden zeitlichen Auflösung ändernden Signal .
27. Interaktiver Musik-Abspieler nach Anspruch 26, wobei zur Glättung eines stufigen Verlaufs zeitlich begrenzter Abspiel-Positionsdaten ein Mit-
5 tel zur Rampenglättung (SL) vorgesehen ist, durch das mit jeder vorgegebenen Abspiel-Positionsnachricht eine Rampe mit konstanter Steigung auslösbar ist, die in einem vorgebbaren Zeitintervall das geglättete Signal von seinem bisherigen Wert auf den Wert der Abspiel-Positionsnachricht fährt.
28. Interaktiver Musik-Abspieler nach Anspruch 26, wobei ein lineares di- L0 gitales Tiefpaß-Filter (LP) , insbesondere ein Resonanzfilter zweiter Ordnung, zur Glättung eines stufigen Verlaufs zeitlich begrenzter vorgegebener Abspiel-Positionsdaten dient.
29. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 25 bis 28, wobei im Fall eines Wechsels zwischen den Betriebsmodi (a, b) die
L5 im vorhergehenden Modus erreichte Position als Ausgangsposition im neuen Modus dient.
30. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 25 bis 29, wobei im Fall eines Wechsels zwischen den Betriebsmodi (a, b) die im vorhergehenden Modus erreichte aktuelle Abspielgeschwindigkeit (DIFF)
20 durch eine Glättungsfunktion, insbesondere eine Rampenglättung (SL) oder ein lineares digitales Tiefpaß-Filter (LP) , auf die dem neuen Betriebsmodus entsprechende Abspielgeschwindigkeit führbar ist.
31. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 25 bis 30, wobei ein Audiosignal ein Scratch-Audio-Filter durchläuft, indem
25 das Audiosignal einer Pre-Emphase-Filterung (PEF) unterzogen und in einem Pufferspeicher (B) abgelegt wird, aus dem es in Abhängigkeit von der jeweiligen Abspielgeschwindigkeit mit variablem Tempo auslesbar (R) ist, um anschließend einer De-Emphase-Filterung (DEF) unterzogen und wiedergegeben zu werden.
30 32. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 25 bis 31, wobei jeder wiedergegebene Audiodatenstrom durch Signalverarbeitungsmittel in Echtzeit manipulierbar ist, insbesondere durch Filtereinrichtungen und/oder Audioe fekte.
33. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 25 35 bis 32, wobei Echtzeiteingriffe über den zeitlichen Ablauf als digitale Steuerinformatxonen (MIX_DATA) speicherbar sind, insbesondere solche eines manuellen Scratch-Eingriffs mit einem separaten Steuerelement (R2) und/oder zusätzliche Signalverarbeitungen.
34. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 32 5 oder 33, wobei gespeicherte digitale Steuerinformationen ein Format aufweisen, das Informationen zur Identifikation der verarbeiteten Musikstücke und eine jeweilige diesen zugeordnete zeitliche Abfolge von Abspielpositionen und Zustandsinformationen der Stellglieder des Musik-Abspielers um- fasst .
L0 35. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 25 bis 34, der durch ein geeignet programmiertes mit Audioschnittstellen ausgestattetes Computersystem realisiert ist.
36. Computerprogrammprodukt, das direkt in den internen Speicher eines digitalen Computers geladen werden kann und Softwareabschnitte umfasst,
L5 mit denen die Verfahrensschritte gemäß einem der Ansprüche 1 bis 24 ausgeführt werden, wenn das Programmprodukt auf einem Computer ausgeführt wird.
37. Datenträger (D) , insbesondere Compact Disc, der
- einen ersten Datenbereich (Dl) mit digitalen Audiodaten (AUDIO_DATA) eines oder mehrerer Musikstücke (TRl...TRn) und
20 - einen zweiten Datenbereich (D2) mit einer Steuerdatei (MIX_DATA) mit digitalen Steuerinformationen zur Ansteuerung eines Musik-Abspielers umfasst, insbesondere eines solchen nach einem der Ansprüche 25 bis 35, wobei
- die Steuerdaten (MIX_DATA) des zweiten Datenbereichs (D2) auf Audiodaten 25 (AUDIO_DATA) des ersten Datenbereichs (Dl) Bezug nehmen.
38. Datenträger (D) nach Anspruch 37, wobei die digitalen Steuerinformationen (MIX_DATA) des zweiten Datenbereichs (D2) interaktive Aufzeichnungen von manuellen Scratch-Eingriffen und/oder Startpunkte und Art automatischer Scratch-Eingriffe in Musikstücke als ein neues Gesamtwerk der digi-
30 talen Audioinformationen (AUDIO_DATA) von Musikstücken des ersten Datenbereichs (Dl) repräsentieren.
39. Datenträger (D) nach Anspruch 37 oder 38, wobei gespeicherte digitale Steuerinformationen (MIX_DATA) des zweiten Datenbereichs (D2) ein Format aufweisen, das Informationen zur Identifikation der verarbeiteten Musik-
35 stücke (TRl...TRn) des ersten Datenbereichs (Dl) und eine jeweilige die- sen zugeordnete zeitliche Abfolge von Abspielpositionen und Zustandsinformationen der Stellglieder des Musik-Abspielers umfasst.
40. Computerprogrammprodukt (PRG_DATA) , das auf einem Datenträger (D) nach einem der Ansprüche 37 bis 39 angeordnet ist und direkt in den internen Speicher eines digitalen Computers geladen werden kann und Softwareabschnitte umfasst, mit denen dieser digitale Computer die Funktion eines Musik-Abspielers übernimmt, insbesondere eines solchen nach einem der Ansprüche 25 bis 35, mit dem entsprechend den Steuerdaten (MIX_DATA) des zweiten Datenbereichs (D2) des Datenträgers (D) , die auf Audiodaten (AUDIO_DATA) des ersten Datenbereichs (Dl) des Datenträgers (D) verweisen, ein durch die Steuerdaten (MIX_DATA) repräsentiertes Gesamtwerk abspielbar ist, wenn das Programmprodukt (PRG_DATA) auf einem Computer ausgeführt wird.
EP02754699A 2001-06-18 2002-06-18 Automatische erzeugung von musikalischen sratch-effekten Expired - Lifetime EP1415297B1 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE10129301 2001-06-18
DE10129301 2001-06-18
DE10153673 2001-09-05
DE10153673A DE10153673B4 (de) 2001-06-18 2001-09-05 Automatische Erzeugung von musikalischen Scratch-Effekten
PCT/EP2002/006708 WO2002103671A2 (de) 2001-06-18 2002-06-18 Automatische erzeugung von musikalischen sratch-effekten

Publications (2)

Publication Number Publication Date
EP1415297A2 true EP1415297A2 (de) 2004-05-06
EP1415297B1 EP1415297B1 (de) 2008-09-24

Family

ID=26009542

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02754699A Expired - Lifetime EP1415297B1 (de) 2001-06-18 2002-06-18 Automatische erzeugung von musikalischen sratch-effekten

Country Status (3)

Country Link
US (1) US7041892B2 (de)
EP (1) EP1415297B1 (de)
WO (1) WO2002103671A2 (de)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1014526C2 (nl) 2000-02-29 2001-08-30 N2It Dev B V I O Schijf te gebruiken in een inrichting voor signaalbewerking, alsmede een dergelijke inrichting.
DE10164686B4 (de) * 2001-01-13 2007-05-31 Native Instruments Software Synthesis Gmbh Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
US8077568B2 (en) * 2002-11-12 2011-12-13 Spencer Charles A Method and system for synchronizing information specific to a location on a surface with an external source
KR20040060718A (ko) * 2002-12-28 2004-07-06 삼성전자주식회사 오디오 스트림 믹싱 방법, 그 장치 및 그 정보저장매체
US7208672B2 (en) * 2003-02-19 2007-04-24 Noam Camiel System and method for structuring and mixing audio tracks
NL1025634C2 (nl) * 2004-03-04 2005-09-07 Circle Music Systems Inrichting voor het verwerken van audiosignalen, geluidsinstallatie voor het verwerken van audiosignalen, werkwijze voor het verwerken van audiosignalen en een computerprogramma voor het uitvoeren van een dergelijke werkwijze.
JP4650662B2 (ja) * 2004-03-23 2011-03-16 ソニー株式会社 信号処理装置および信号処理方法、プログラム、並びに記録媒体
US20060173692A1 (en) * 2005-02-03 2006-08-03 Rao Vishweshwara M Audio compression using repetitive structures
JP4317892B2 (ja) * 2005-03-28 2009-08-19 パイオニア株式会社 オーディオ信号再生装置
US7518053B1 (en) * 2005-09-01 2009-04-14 Texas Instruments Incorporated Beat matching for portable audio
KR100774533B1 (ko) * 2005-12-08 2007-11-08 삼성전자주식회사 이동통신 단말기에서 외부입력 장치를 이용한 사운드 효과발생 방법
JP2007304128A (ja) * 2006-05-08 2007-11-22 Roland Corp 効果装置
US7482527B2 (en) * 2006-06-06 2009-01-27 Benq Corporation Method of utilizing a touch sensor for controlling music playback and related music playback device
US7956274B2 (en) * 2007-03-28 2011-06-07 Yamaha Corporation Performance apparatus and storage medium therefor
JP4311466B2 (ja) * 2007-03-28 2009-08-12 ヤマハ株式会社 演奏装置およびその制御方法を実現するプログラム
JP2008262021A (ja) * 2007-04-12 2008-10-30 Hiromi Murakami 電気楽器における位相切替装置
US7985911B2 (en) 2007-04-18 2011-07-26 Oppenheimer Harold B Method and apparatus for generating and updating a pre-categorized song database from which consumers may select and then download desired playlists
US20080257134A1 (en) * 2007-04-18 2008-10-23 3B Music, Llc Method And Apparatus For Generating And Updating A Pre-Categorized Song Database From Which Consumers May Select And Then Download Desired Playlists
US7985915B2 (en) * 2007-08-13 2011-07-26 Sanyo Electric Co., Ltd. Musical piece matching judging device, musical piece recording device, musical piece matching judging method, musical piece recording method, musical piece matching judging program, and musical piece recording program
JP2009063714A (ja) * 2007-09-05 2009-03-26 Sony Computer Entertainment Inc オーディオ再生装置およびオーディオ早送り再生方法
US8314321B2 (en) * 2007-09-19 2012-11-20 Agency For Science, Technology And Research Apparatus and method for transforming an input sound signal
US8173883B2 (en) * 2007-10-24 2012-05-08 Funk Machine Inc. Personalized music remixing
EP2523372A1 (de) * 2011-05-09 2012-11-14 British Telecommunications Public Limited Company System zur Lieferung von Inhalten
US8729375B1 (en) * 2013-06-24 2014-05-20 Synth Table Partners Platter based electronic musical instrument
US11151970B2 (en) 2017-01-19 2021-10-19 Inmusic Brands, Inc. Systems and methods for selecting musical sample sections on an electronic drum module
JP2020106753A (ja) * 2018-12-28 2020-07-09 ローランド株式会社 情報処理装置および映像処理システム
US10593313B1 (en) 2019-02-14 2020-03-17 Peter Bacigalupo Platter based electronic musical instrument

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4300225A (en) * 1979-08-09 1981-11-10 Lambl George R Disco beat meter
US5313011A (en) * 1990-11-29 1994-05-17 Casio Computer Co., Ltd. Apparatus for carrying out automatic play in synchronism with playback of data recorded on recording medium
JP2896716B2 (ja) * 1991-03-01 1999-05-31 ヤマハ株式会社 自動演奏装置
JP3245890B2 (ja) * 1991-06-27 2002-01-15 カシオ計算機株式会社 拍検出装置及びそれを用いた同期制御装置
US5350882A (en) * 1991-12-04 1994-09-27 Casio Computer Co., Ltd. Automatic performance apparatus with operated rotation means for tempo control
JP2734909B2 (ja) * 1992-10-12 1998-04-02 ヤマハ株式会社 波形データ読み出し装置
EP0880779A1 (de) 1995-06-20 1998-12-02 André Rickli Digitales tonsignalverarbeitungsgerät
US6025552A (en) * 1995-09-20 2000-02-15 Yamaha Corporation Computerized music apparatus processing waveform to create sound effect, a method of operating such an apparatus, and a machine-readable media
US6011212A (en) * 1995-10-16 2000-01-04 Harmonix Music Systems, Inc. Real-time music creation
US5627335A (en) * 1995-10-16 1997-05-06 Harmonix Music Systems, Inc. Real-time music creation system
US5824933A (en) * 1996-01-26 1998-10-20 Interactive Music Corp. Method and apparatus for synchronizing and simultaneously playing predefined musical sequences using visual display and input device such as joystick or keyboard
JP3399297B2 (ja) * 1997-05-22 2003-04-21 ヤマハ株式会社 電子楽器
JP4060993B2 (ja) * 1999-07-26 2008-03-12 パイオニア株式会社 オーディオ情報記憶制御方法及び装置並びにオーディオ情報出力装置。
US6479740B1 (en) * 2000-02-04 2002-11-12 Louis Schwartz Digital reverse tape effect apparatus
JP2001243692A (ja) * 2000-02-25 2001-09-07 Teac Corp 記録媒体再生装置
JP3687467B2 (ja) * 2000-02-25 2005-08-24 ティアック株式会社 記録媒体再生装置
DE10164686B4 (de) * 2001-01-13 2007-05-31 Native Instruments Software Synthesis Gmbh Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
CA2457402A1 (en) * 2001-08-07 2003-02-20 Justin A. Kent System for converting turntable motion to midi data
US6541690B1 (en) * 2001-12-18 2003-04-01 Jerry W. Segers, Jr. Scratch effect controller
US6818815B2 (en) * 2002-05-06 2004-11-16 Stanton Magnetics Inc. Phonograph turntable with MIDI output
JP3933583B2 (ja) * 2003-01-10 2007-06-20 ローランド株式会社 電子楽器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02103671A3 *

Also Published As

Publication number Publication date
EP1415297B1 (de) 2008-09-24
US7041892B2 (en) 2006-05-09
WO2002103671A3 (de) 2003-10-09
WO2002103671A2 (de) 2002-12-27
US20040177746A1 (en) 2004-09-16

Similar Documents

Publication Publication Date Title
DE10164686B4 (de) Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
EP1415297B1 (de) Automatische erzeugung von musikalischen sratch-effekten
DE69623318T2 (de) Verfahren und vorrichtung zur interaktiven bildung von neuen bearbeitungen von musikstücken
DE202020005830U1 (de) Vorrichtung zum Zerlegen, Rekombinieren und Abspielen von Audiodaten
DE69720706T2 (de) Interaktives system zur synchronisierung und zum simultanen spielen von vorbestimmten musiksequenzen
DE19936346B4 (de) Ein audiosignalverarbeitendes Gerät
DE102007034774A1 (de) Vorrichtung zur Bestimmung von Akkordnamen und Programm zur Bestimmung von Akkordnamen
DE69517294T2 (de) Vorrichtung zur automatischen Aufführung
DE69632696T2 (de) Digitales Musikinstrument mit Wellenformbearbeitung zur Erzeugung eines Klangeffektes
DE19714688C2 (de) Verfahren zur Reproduzierung von Audiosignalen und Audioabspielgerät
DE68920730T2 (de) Plattenwiedergabegerät.
DE69611874T2 (de) Verfahren und Vorrichtung zur Musiktonerzeugung
DE19843702A1 (de) Editieren digitalisierter Audio/Videodaten über ein Netzwerk
DE3023581A1 (de) Verfahren zur digitalen huellkurvensteuerung eines polyphonen musiksyntheseinstruments und schaltungsanordnung zur durchfuehrung des verfahrens
DE69732797T2 (de) Verfahren und vorrichtung zur speicherung von tonfolgen in cyclischen schleifen
DE10101473B4 (de) Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
DE10153673B4 (de) Automatische Erzeugung von musikalischen Scratch-Effekten
DE3905623C2 (de) Vorrichtung zum Editieren von PCM-Signalen
EP1758096A1 (de) Verfahren und Vorrichtung zur Mustererkennung in akustischen Aufnahmen
DE4190031B4 (de) Datenverdichtung von ausschwingenden Musikinstrumententönen für ein digitales Abtastungssystem
DE69521822T2 (de) Vorrichtung zur Wiedergabe für Karaokebenutzung
DE102016226042B4 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Gestaltung eines Übergangs zwischen zwei Audio-Dateien
DE112019006852T5 (de) Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE4128327C2 (de) Verfahren zur Tonnachbearbeitung und Vorrichtung zur Durchführung des Verfahrens
DE10056980A1 (de) Verfahren und Gerät zum Verarbeiten einer Audiowellenform

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

17P Request for examination filed

Effective date: 20040413

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 50212811

Country of ref document: DE

Date of ref document: 20081106

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080924

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090104

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090224

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080924

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080924

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080924

26N No opposition filed

Effective date: 20090625

BERE Be: lapsed

Owner name: NATIVE INSTRUMENTS SOFTWARE SYNTHESIS G.M.B.H.

Effective date: 20090630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20081224

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090630

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20100226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090630

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090630

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100101

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090618

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20081225

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090618

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080924

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080924

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20200625

Year of fee payment: 19

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20210618

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210618