EP3105753B1 - Verfahren zur synthetischen erzeugung eines digitalen audiosignals - Google Patents

Verfahren zur synthetischen erzeugung eines digitalen audiosignals Download PDF

Info

Publication number
EP3105753B1
EP3105753B1 EP15707298.4A EP15707298A EP3105753B1 EP 3105753 B1 EP3105753 B1 EP 3105753B1 EP 15707298 A EP15707298 A EP 15707298A EP 3105753 B1 EP3105753 B1 EP 3105753B1
Authority
EP
European Patent Office
Prior art keywords
control points
waveform
values
segment
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP15707298.4A
Other languages
English (en)
French (fr)
Other versions
EP3105753A1 (de
Inventor
Johannes Bochmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jobomusic AG
Original Assignee
Jobomusic AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jobomusic AG filed Critical Jobomusic AG
Publication of EP3105753A1 publication Critical patent/EP3105753A1/de
Application granted granted Critical
Publication of EP3105753B1 publication Critical patent/EP3105753B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/08—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform
    • G10H7/10—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform using coefficients or parameters stored in a memory, e.g. Fourier coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/08—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/165—Polynomials, i.e. musical processing based on the use of polynomials, e.g. distortion function for tube amplifier emulation, filter coefficient calculation, polynomial approximations of waveforms, physical modeling equation solutions
    • G10H2250/205—Third order polynomials, occurring, e.g. in vacuum tube distortion modeling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/551—Waveform approximation, e.g. piecewise approximation of sinusoidal or complex waveforms
    • G10H2250/565—Polynomial waveform approximation, i.e. using polynomials of third order or higher

Definitions

  • the invention relates to a method for the synthetic generation of a digital audio signal by using recurrently calculated amplitude values of a waveform.
  • the synthetic generation of digital audio signals is used in the context of sound synthesis for the electronic generation of sounds.
  • digital audio signals are used directly after their generation directly for sound synthesis or alternatively deposited for later use in a memory unit.
  • the digital audio signal is then used, for example by means of a digital-to-analog converter, to control a loudspeaker unit or the like.
  • the sound synthesis is usually used for the purpose of generating sounds that do not occur in nature. Another application concerns the imitation of natural sounds or natural instruments such as piano, guitar or the like. In addition, the sound synthesis also allows the deliberate or accidental alienation of natural sounds, for example, by their superposition and editing with electronic effects, for creative music design.
  • the periodic sampling of a suitably chosen or predetermined waveform or an algorithmically generated signal is usually performed, which as a result a value stream per channel ("result waveform") with a fixed sample rate and a fixed Value resolution (so-called bit depth) delivers. In this case, one value is made available per channel per output rate clock step.
  • oscillator In order to provide the waveform provided as the basis for the sampling, a so-called oscillator is usually used, which can be modified according to the desired adaptation in terms of pitch, timbre or other musical effects as needed.
  • oscillators produce multi-part waveforms, so subsequent processors, and typically a low-pass filter, can attenuate or amplify these partials according to the sound designer's wishes (“Subtractive Synthesis”).
  • Subtractive Synthesis In the context of physical modeling, the oscillator takes over e.g. the role of a vibrating side of a piano. The corresponding sound body is then emulated by a filter, for example.
  • the oscillator In the context of additive synthesis, however, the oscillator is a sine wave of a specific frequency, amplitude and phase. Additive synthesis generates complex waveforms by adding many such simple oscillators. Further and a mixture of these tone generation techniques are typically used in the context of a synthesizer.
  • This object is achieved according to the invention by using recurrently calculated amplitude or magnitude values of a waveform which are characterized by a period-phase or frequency-dependent, by approximation or interpolation between a number of amplitude-period, magnitude-frequency and phase-frequency
  • the control points are variable in their parameter values and / or other attributes by respectively assigned control signals, and wherein the approximation of the control points determined by the currently available control signals is used for the calculation of the amplitude or magnitude values.
  • the waveform used for generating the audio signal is thus generated on the basis of user-adjustable control points and their amplitude or magnitude values calculated recurring, the control points in the form of nodes specify the approximate course of the wave function and the actual wave function suitable interpolation or approximation between these control points or interpolation points is generated.
  • the amplitude, magnitude or phase values of the wave function, which are used for the generation of the audio signal are thereby continuously updated in the manner of a cyclic or periodic sampling and in particular recalculated as needed (ie, for example, by the user or by control signals caused change in the parameters or attributes of one or more of the control points). This allows influencing the wave function and thus of the audio signal generated therefrom by the user in real time, ie during the generation, the audio signal can be changed directly by the user.
  • the amplitude, magnitude or phase values of the control points on the one hand and the period phase or frequency values of the control points on the other hand of individually assigned control signals independently and alternatively or additionally particularly preferably also other attributes of the control points each of individually assigned control signals independent of the Amplitude or magnitude values or phase values and / or the period phase or frequency values of the control points are changed, so that the user has individualized modification options for individual parameters of the control points via a corresponding influencing of the control signals.
  • This allows a particularly high number of possible variations with regard to the tonal properties of the generated audio signal.
  • an attribute of a control point for example, mark this as an anchor point.
  • all other control points that lie between this anchor and a next anchor are influenced by the control signal present to the anchor control point, so that the relations of the control point parameters or attributes, after changing the anchor control point, between the anchor control points relative be preserved to the initial state.
  • control points and their attributes are in particular intended to specify the course of the waveform approximately, so that by resorting to only a manageable number of parameters (namely, the parameters defining the control points in the manner of coordinates) the coarse course of the waveform can be defined.
  • This allows the definition of a continuous waveform based on a comparatively small number of parameters or attributes, which can be rendered in arbitrary resolution during a sampling cycle by evaluation on the basis of the current value of the control signals.
  • a time-domain waveform may be processed for purposes of bandlimitation either by oversampling or by Fourier transformation together with band-limited inverse transformation.
  • phase offset In the case of the Fourier transformation, it is also possible to influence the resulting magnitudes via a spectral filter, which in turn consists of a constructive waveform.
  • a structurally evaluated phase offset Here, the time domain waveform is sampled based on the desired pitch and transformed into the frequency spectrum. To guarantee a consistent filter at different pitches, the filter waveform is evaluated at a high sampling rate and multiplied by, for example, trapezoidal integration to the resulting frequency bands of magnitudes. The same applies to the phase offset, which, however, is distributed additive.
  • the constructive filter and the constructive phase offset can also be applied without prior transformation of a constructively evaluated time domain waveform in the sense of a direct additive synthesis.
  • the filter is also distributed additive and not multiplicatively.
  • the use in real time is achieved by repeating this evaluation process at regular intervals (possibly in the sample rate) taking into account the current state of the control signals and the pitch to be output.
  • a band limitation of the pitch to be outputted is automatic if the spectrum, which consists of fewer pitches with increasing pitch, is "oversampled” effectively by increasing "zero-padding” as a result of the inverse transformation. Pitch changes between update cycles fall only with audio modulation of the pitch in the weight and can thereby generate artifacts. To minimize this, if necessary, the pitch changing speed can be reduced by, for example, a low-pass filter.
  • the approximation of the waveform by the control points can be done preferably by the waveform by interpolation of the control points (ie determination of that waveform that passes under observance of any predetermined boundary conditions, the control points) or approximation of the control points (ie determination of that waveform, which adheres to a given optimization criterion as close as possible to the individual control points) is determined.
  • the waveform is particularly preferably composed in segments by linear combination of basic functions, with two adjacent control points specifying the edges and thus the boundary conditions for each segment.
  • the waveform is composed of a number of within a period phase - or, if the processing in the frequency domain, within a frequency band - successive, each defined by a segment-specific linear combination of a number of basis functions wave segments, the wave segments at their segment edges over each one of the control points are connected to the respective adjacent wave segment, and wherein - in the case of interpolation - those linear coefficients are determined for each wave segment with which the respective wave segment at its segment edges in the context of the local control point respectively specifiable, variable amplitude or magnitude and wherein during the recurrent calculation of the values respectively updated linear coefficients for the respective Shaft segment determined and used for the calculation of the values.
  • the waveform is thus segmentally composed of a number of time-sequential wave segments, within each wave segment the corresponding "sub-waveform" is constructively or additively generated by linearly superimposing a number of basic wave functions.
  • the respective segment can thus be based either on the design overlay linear coefficients used in the basis function or in the case of approximation, based on the constructive overlays of basis function and control point products.
  • the linear coefficients of the basic functions used for the constructive superimposition are particularly preferably selected such that in the respective wave segment a desired (output) partial wave is reproduced largely exactly or at least approximately approximated.
  • the output sub-wave which can be specified by a user or given or selected from waveform stored in a library, is thus decomposed into a superposition from the basis functions.
  • the linear coefficients are preferably chosen such that the amplitude of the waveform in the respective segment at the segment edges prescribable amplitude margins.
  • a particularly preferred, even more advanced possibility for influencing the change of the waveform by the user is achievable by the linear coefficients are selected for each shaft segment in an advantageous development such that the respective shaft segment at its segment edges each having a predeterminable, changeable edge slope.
  • the amplitude values at the segment edges, but also their edge slopes are given as boundary conditions for the decomposition of the partial waveform of the respective segment into the basic functions.
  • the angle between the two am Segment edge is provided on meeting gradients.
  • the linear coefficients of the basis functions are advantageously given by a node vector, and in the case of a non-variable node vector the basic functions are not changeable.
  • the control points influence the course of the wave segment by overlapping it with the basis functions.
  • the approximation guarantees certain properties as well as the degree of continuity of the resulting waveform.
  • discontinuities can also be specified. These parameters can be added as attributes to the control point and are therefore variable according to the constructive approach by control signals. Depending on the application This approach can offer benefits.
  • both approaches can be carried out in the same way and represent only two different approaches by means of which the values between the control points can be determined.
  • basic functions for the constructive generation of the waveform segments preferably feature sets such as Bezier functions, B-splines, NURBS or the like may be provided.
  • basic functions are polynomial-based functions; it is thus preferably a polynomial decomposition of the waveform segments.
  • third-order polynomials or cubic polynomials are used as basic functions.
  • alignment with polynomials of third degree or cubic polynomials enables a functional behavior to be generated in a particularly simple way, for which only the boundary conditions of the respective segment (amplitude margins, edge slopes in the case of interpolation or continuity in the case of approximation) without the need for further parameterization must be used.
  • the waveform is composed of a number of wave segments consecutive within a period phase or frequency band, each defined by a segment specific linear combination of a number of basis functions and, in the case of approximation control points, the wave segments at their segment edges near each one of the control points are connected to the respectively adjacent wave segment, and wherein during the recurrent calculation of the values, the linear combination of the current control points is respectively based on the assigned basis functions - or in the case of interpolation the linear combination of the linear coefficients derived from the current control points
  • a graphical user interface is particularly preferred for the modification of the waveform and thus also for the generation of the digital audio signal.
  • the "constructive synthesis" embodied as explained above makes the waveform and the effects of its modification transparent to the user in a particularly preferred embodiment by displaying the result, ie the waveform, on a suitable display means such as a screen or display, because the user, without the detour via algorithms, directly specifies the resulting waveform and its temporal change. This eliminates the limitations of the possible resulting waveforms given by algorithms. The result is a copy from the universe of all imaginable waveforms that can be mapped by the basic functions used.
  • an associated input device via which the control points and their attributes can be changed.
  • touch points the user can thus directly access the amplitude values in the edge regions of the segment and on their gradients or possibly also other attributes of the control points.
  • the amplitude edge values and / or the edge slopes or the parameters and attributes of the control points are particularly preferably changed over time according to a modulation function stored in a memory unit. This allows the user to specify the temporal development with which the waveform and / or its segments change their state.
  • the modulation function is in turn generated by use of recurrently calculated amplitude values of a waveform formed by a period-phase or frequency-dependent, by approximation or interpolation between a number of control points formed by amplitude-period phase or amplitude-frequency value pairs Amplitude curve over a predetermined interval is determined, the control points in their parameter values and / or other attributes are variable by respectively associated control signals, and wherein the calculation of the amplitude values is based on the interpolation or approximation of the control points determined by the currently available control signals.
  • the concept of constructive synthesis is also applied to the modulation function per se.
  • the linear coefficients are recalculated for the wave segment limited by this.
  • This is particularly advantageous in the case of the preferred use of cubic polynomials or third-degree polynomials as basic functions, since these can be unambiguously defined by the parameters "boundary value" and "edge slope".
  • coefficients can also be changed without affecting the edge slope and / or the amplitude edge value.
  • further parameters are available for describing and defining the wave segment, for example the curve curvature at the segment edge.
  • the boundary conditions are advantageously chosen so that the curve inevitably receives a predetermined cross-segment degree of continuity and a change in the control points thus entails a change in the curve while retaining this degree of continuity.
  • Other attributes may be e.g. Describe a weighting of individual control points with which the degree of continuity of the curve can be influenced in the vicinity of the corresponding control points, up to the extreme at which the curve, as in the interpolation, actually passes through the control points. In all cases, after changing a control point or its attributes, at least the wave segments affected by this control point are re-evaluated.
  • the number of segments into which the waveform is divided is preferably selected as needed.
  • the number of segments can be changed by inserting or eliminating segment boundaries or control points.
  • those sections of the waveform can be combined into a common segment in which uniform or common changes or modifications by the user are provided.
  • the number of segments is also a user definable and / or variable by the user parameters.
  • the "constructive synthesis” basically describes the waveform as a system which can basically take any form. Unlike algorithmic approaches, the waveform becomes superpositioned Basic functions clearly and explicitly defined on the basis of the linear coefficients and control points. A particular advantage is that the result can be changed without the limitations of the algorithm. Effects such as a filter on an output wave can be directly "constructed” and altered in an unusual way.
  • a temporal change of the construction and thus the resulting waveform can be achieved by changing the control or touch points over time.
  • the motion possibilities include shifting the control points and changing the weight of the control points.
  • the C2 continuity guaranteed with equal weighting is a desirable property, whereby the continuity in the vicinity of a control point can be varied by weighting to the near discontinuity.
  • a complex waveform may sometimes require a complicated structure of control points and / or their changes.
  • the splitting of the desired waveform into individual components, which are constructively generated and added later, makes it possible to simplify such a structure.
  • a constructive waveform can be used to alter its own control points and / or attributes, or those of another constructive waveform.
  • a constructive and modifiable waveform can be used to map input values to output values, e.g. in a waveshaper. Furthermore, a constructive waveform can also be used as a changeable kernel of a convolution, etc.
  • a signal present as a value stream can be converted by (auto) vectorization into a control-point-based form, which in an approximation of the signal results.
  • the result is explicitly provided in the form of basic functions and their control characters, which in turn can be subjected to further modification and adaptation.
  • the waveforms that are created in the constructive synthesis can be output directly in the time domain as a signal. Alternatively, these waveforms can also be interpreted as signals in the frequency domain. By Fourier transformation or additive synthesis, this signal can be converted back into the time domain. It also makes sense to apply a constructive waveform scaling to an existing magnitude spectrum. This gives the functionality of a filter. The same applies to the phase offset.
  • the wave elements as well as all the aforementioned parameters can be specified separately for each channel. Control points can be inserted, removed, moved, rotated, angled or changed in other parameters or attributes.
  • constructive synthesis is the so-called “constructive sampling”. Namely, on the basis of the method of generating changing waveforms by means of changeable convolution point-based interpolation / approximation, it may be provided to go backwards from the result. In this case, an automatic image of an already existing, time-varying waveform would have to be derived as an approximation by algorithms.
  • the determined control points are then preferably displayed in a display unit or a display and can be processed from there regularly.
  • the automatically generated control points can be revised or the underlying (auto) vectorization algorithm can be re-parameterized in order to reproduce the measured result as precisely as possible.
  • the result can be selectively changed in subsequent phases in order to generate new timbres based on the audio experience heard.
  • the combination of sampling and constructive synthesis results in a novel tool for sound design.
  • the time domain maps the waveform analogous to the motion of the loudspeaker diaphragm. That is, it shows the rash of the membrane (negative or positive) in relation to time - this illustration describes the appearance of the waveform. With this you can make precise statements about transients, but only general statements about the included frequencies (partials).
  • DFT Discrete Fourier Transform
  • additive synthesis one can transform a signal from the frequency domain into the time domain, which then can directly control the loudspeaker diaphragm again.
  • the DFT needs a number x of magnitude and phase values, each magnitude value representing a frequency at a multiple of the pitch to be output and each phase value representing a phase shift (relative to 0 degrees of a cosine). Since the constructive waveform is in continuous form, it can be sampled at random intervals, so that any pitch can be mapped, which can be represented by an even number of samples. For pitches which do not contain an even number of samples, it is then preferable to use oversampling, interpolation or windowing.
  • the next higher 2-power number of samples can be calculated, and thus an optimized Fast Fourier Transform (FFT) algorithm can be used.
  • FFT Fast Fourier Transform
  • DFT digital filter
  • a constructive time domain waveform can first be transformed into the frequency domain by means of the above-described FFT, and then the resulting magnitudes and phases can be modified using further constructional waveforms before the above-described inverse transformation. This then reflects the common practice of, for example, a subtractive synthesizer in which the oscillator (time domain waveform) is modified by a filter (frequency domain waveforms).
  • a particularly preferred embodiment of the mentioned concept is the generation of the waveform or waveform segments by additive or constructive superimposition of individual components, which in turn are preferably generated according to the aforementioned concept of linear combination generation from suitable basic functions.
  • these can be equipped in a further advantageous embodiment additionally with parameters that allow to set individual components in relation to other components.
  • said components are preferably provided in the nature of standardized constituents or building blocks from which the waveforms can be assembled.
  • the components thus themselves constitute building blocks or wave elements for the synthesis of the waveform, and in turn are composed of the basic functions in the manner of a superposition.
  • the composite of the components waveforms are then preferably used as an oscillator for generating the audio signal and as a modulator for generating control signals.
  • the components mentioned are expediently chosen so that results can be formed in a simple manner with you, which typically occur in synthetically generated digital audio signals.
  • each signal-generating component (except for the noise component) having an independent frequency, phase and amplitude.
  • the frequency is always relative to a fundamental frequency, which is indicated by a control signal from the user.
  • wave elements of the components it is particularly preferred to have ready access for easier access (preferably in the manner of a library):
  • the oscillator component is intended as a changing constructive wave element, which can be considered as a fundamental oscillator.
  • the frequency offset is to be seen here relative to the fundamental frequency to be output.
  • several such components occur in the generation of a complex clay.
  • This component is preferably in turn of a constructive waveform, which, however, indicates a frequency change of one or more other oscillator or staircase components (target wave elements) that is dependent on the phase of the fundamental frequency.
  • a frequency multiplier which multiplies the frequency of the target waveform depending on the fundamental frequency allows the repetitive target wave element to be longitudinally varied over time. As a result, this process is similar to a frequency modulation.
  • a sweep of the frequency multiplier allows phase synchronization effects to be realized. Since these frequency changes are used in constructive waveform generation, any of these effects are band limited, as long as the Fourier Transform approach is followed as described above.
  • this component again consists of a constructive waveform that scales the amplitude of the target wave components depending on the phase of the fundamental frequency.
  • an envelope can be created that allows frequency modulation of the target wave element phase-synchronized to the fundamental frequency without causing discontinuities at the edges of the fundamental frequency.
  • this fundamental wave element is not based on a constructive waveform - it is specified by a step-editor which allows to render shapes with hard edges efficiently.
  • a variable 1-pole low-pass filter that can be used to adjust the degree of sharpness that is to be brought into the signal by the hard edges.
  • This component produces white or pink noise, giving the opportunity to add a signal without pitch (without a repeating pattern). It also preferably has a sample and hold functionality, which makes it possible to query new noise values only at certain time intervals. This is particularly interesting with regard to the modulator context. Lastly, this component also has a 2-pole low-pass filter with which, e.g. the sample and hold transitions can be softened.
  • This component again consists of a constructive waveform, which, however, is applied in the frequency domain. In addition to the control point parameters and their attributes, it has no other parameters. Similar to the shift component and the envelope component, it can be applied to the Oscillator components and the stair components are applied.
  • the target wave components are transformed into the frequency domain based on the currently desired pitch, and the filter component waveform, which is preferably pitch-independent, is multiplicatively distributed by preferably trapezoidal integration to the resulting magnitude spectrum.
  • This component behaves analogously to the spectral filter component, with the difference that its waveform is additively distributed to the phase spectrum of the target waveform (s).
  • This component preferably contains a parameter for amplitude scaling and / or a parameter for specifying the so-called clipping behavior of the final mixed-up signal.
  • the result of the component summation is the waveform.
  • the output of each component can in turn be used to modulate the control points and parameters in the other components.
  • this modulation is preferably carried out in audio rates and allows common methods such as FM, AM, also between the components, etc.
  • the phases of the components can be synchronized with each other and thus enable e.g. Phase Sync.
  • Common visualization methods build on the heard result waveform, that is on the audio signal as a whole, with no differentiation between individual components of the signal flow can be made.
  • Common visualization methods usually only allow the detection of frequencies, for example with the aid of Fourier transformation, as well as the detection of transients.
  • a representation derived from the individual components of the signal flow allows one to "construct" a visualization, taking into account the underlying signal flow of the generated sound.
  • the viewer can be made aware of certain internal processes of the sound via the eye.
  • a consistent audio stream solely through the visual stimulus which emphasizes various processes in the composition of the audio stream, for the listener / viewer are varied. This results in a more accurate understanding of the sound, which is beneficial in the context of sound design as well as in the context of sound experience.
  • Such a “constructive visualizer” is not to be understood as an external instrument placed on an audio stream, but as a tool integrated in the audio stream, which allows “guided hearing”.
  • the inexperienced ear hears a tone less differentiated than a trained, in addition, the ear can focus on certain areas in a sound. Through the visual stimulus one can now draw attention to details in the sound and "focus” the focusing of all viewers / listeners on a certain element.
  • the "constructive visualizer” implements the above two points. First, individual components within the signal flow are tapped, preferably by using the interpolation or approximation method used in the synthesis of the audio signal. In the second step, which is preferably provided, an integrated visualization method forms a complex, changing and color-toned geometry on the basis of the tapped signal flows.
  • the starting points are a three-dimensional space and a definable set of vertices.
  • Each vertex has an X, Y, and Z coordinate (dimensions) and is associated with a red, green, and blue value (color channels).
  • signals from the signal flow which determine the values of the selected dimension or the color channel can be tapped or determined on the basis of the present parameters. Instead of a tapped or projected signal, either a linear course or a constant value can be specified for this.
  • the mesh created from the vertex has the theoretical possibility of accepting any kind of three-dimensional shape and coloring.
  • the individual dimensions / color channels can be scaled independently of one another and the entire mesh can be rotated and moved in three-dimensional space around each axis. This scaling, rotation and displacement can also be temporally changed via control signals or control signals.
  • the preferred goal is to visualize the change in the tapped and / or projected value streams over time, regardless of their fundamental frequencies, so that it is possible to work with an entire period in one step and thus determine independently of the frequency.
  • the information of the frequency of the signal in the components is preferably provided.
  • the frequency information is not explicitly available, it can also be determined analytically.
  • a two-dimensional buffer is advantageously used for each dimension and for each color channel - one dimension for the period of the value stream and the second dimension for the time ,
  • Vertex and fragment shaders can access two-dimensional data sources (textures). This possibility is used to create the geometry. For each dimension and for each color channel, a dedicated texture is created. Each texture has the same size (# x values * # y values) and this also determines the number of available vertices. The textures are mapped over the vertex so that each texel (a point in the texture) identifies a vertex. The vertex shader can now read a position for each vertex based on the corresponding texel from the texture of each dimension. The same applies to the fragment shader, which fills the areas between the vertices with color values derived from the surrounding vertexes by interpolating the color values of the texels.
  • the advantages achieved by the invention are in particular that creates by the constructive synthesis by resorting to the segmental decomposition of the waveform in a linear combination of basic function special transparency and handling with respect to the nature of the waveform.
  • changes and influences on the waveform also taking into account their future course or behavior, created, which are not possible with previous methods.
  • the constructive synthesis now provided can be regarded as a "whitebox” method in which the user has full transparency with regard to the resulting waveform and explicitly specifies its shaping and temporal change.
  • the user also acts as a "gray box” creator by defining parameters within the whitebox that are available outside the whitebox.
  • the user-defined behavior of the whitebox can be controlled via parameters, as in conventional synthesis methods.
  • the user has the option of viewing the whitebox and can understand and change the internal processes in the process of creating the sound and its parameters.
  • the synthesizer 1 comprises a central processing unit 2, in particular a computer, in which the processing of a so-called oscillator or a waveform can be performed, which can be modified according to the desired adjustment in terms of pitch, timbre or other musical effects, if necessary.
  • the oscillator or waveform is generated from the construction of piecewise basis functions and control points in the context of the system (components, temporal changes, etc) stored as a data set in the memory 4. Since the control points can be continuously evaluated, the resulting construct can also be continuously evaluated. Therefore, it is possible to sample the underlying construct at any frequency and thus generate any pitches.
  • the sampling takes place with a constant sample rate, and the sampled values are stored, possibly after spectral band limitation and further processing, with a constant bit depth in a memory 4 and / or output directly as a digital audio signal, which is in a downstream digital Analog converter 10 is converted into an analog audio signal.
  • the analog audio signal is then used to drive a downstream speaker unit 12 and supplied to this.
  • the synthesizer 1 is specifically designed to allow the user a particularly simple and intuitive access to change and creatively transform the waveform underlying the sample.
  • the central unit 2 is a processing unit 20, so in particular an editor assigned, via which a modification or processing of the read in the central unit oscillator or present in the central unit 2 waveform is possible.
  • To the central unit 2 is also a display unit 22, so in particular a screen or a display connected, via which the processing of the present waveform is displayed directly and made comprehensible for the user.
  • the processing unit 20 is designed as a separate unit from the display unit. Alternatively, however, it can also be integrated into the display unit 22 in a particularly preferred embodiment, in particular by a design as a touch screen.
  • the waveform for processing in the central processing unit 2 is provided in a particularly processing-friendly manner.
  • the waveform is divided into a number of time-sequential wave segments so that the overall waveform is obtainable by combining the temporal wave segments (or frequency-domain frequency-domain processing) successive wave segments.
  • Each wave segment is simulated in the manner of a mathematical decomposition by a segment-specific linear combination of a number of basis functions and control points, wherein in the embodiment as basic functions, the particularly preferred cubic polynomials, or in other words polynomial functions third order, are used.
  • the linear coefficients for each wave segment are selected in the interpolation-based exemplary embodiment in such a way that the respective wave segment has predefinable, variable amplitude edge values and slopes at its segment edges.
  • the number of segments in this decomposition of the waveform can be specified by the user and also modified. In particular, it may be considered whether and to what extent there should be or should be sections within the waveform which should be characterized by a specific characteristic or behavior; it may be expedient for the user to associate such individualized sections within the waveform each with its own wave segment, so that a targeted and selective modification of the respective section is made possible.
  • Examples of such modifiable waveforms are in the form of sequences of screenshots or snapshots of the display unit 22 in FIGS FIGS. 2 to 9 shown.
  • the respective waveform shown as an amplitude line 30 comprises the wave segments 32, which merge at their segment edges 34 at so-called touch points 36 into the respectively adjacent wave segment 32.
  • the linear coefficients for each shaft segment 32 are selected in a particularly preferred embodiment such that the respective shaft segment 32 has at its segment edges 34 each have a predetermined, variable edge slope.
  • the amplitude boundary values and the edge slopes are directly changeable via the processing unit 20, thus in particular via the touch screen, by selecting the grab points 36 and entering the corresponding values via a context-related menu or a context-related editor.
  • the amplitude edge values and the edge slopes can be changed in time in addition to the immediate change by the user according to a stored in the memory 4 modulation function.
  • a periodic change of the respective parameters in the manner of an oscillation or a linear change in the sense of a continuous Enlargement of the respective parameter or any other changes may be provided.
  • the respective modulation function is in turn composed of a number of temporally successive, each defined by a segment-specific linear combination of a number of basis functions and control points wave segments, wherein selected in the exemplary embodiment, the linear coefficients for each wave segment be that the respective wave segment at its segment edges each have predeterminable, variable amplitude edge values and / or edge slopes. After a change in an amplitude margin value and / or a boundary gradient, the linear coefficients for the limited wave segment are recalculated.
  • FIG. 2a the waveform present in the form of the amplitude line 30 is designed in the manner of a symmetrical configuration with respect to the x- or period-phase axis and comprises two wave segments 32 which are connected at their common segment edge 34 via the control or touch point 36 and merge into one another.
  • the amplitude line 30 is calculated in each wave segment 32 in each of the temporally successive wave segments 32, from which the waveform is composed, based on a segment-specific cubic polynomial, ie a segment-specific linear combination of a number of polynomials used as basis functions Display unit shown.
  • each wave segment 32 of this corresponding proportion of the waveform is mathematically defined and based on a comparatively small number of four coefficients (ie the linear coefficients for the polynomials to the third order). With these, the respective wave segment 32 can be described for the current state, but if necessary also extrapolated into the future.
  • the corresponding "sub-waveform" is constructively or additively generated by linearly superposing a number of polynomials provided as base wave functions.
  • the linear coefficients for each shaft segment 32 are selected such that the amplitude line 30 in the respective shaft segment 32 at its segment edges 34 each have predeterminable, variable amplitude edge values.
  • Am by the in FIG. 2c illustrated control ortownddling 36 defined transition point between the adjacent wave segments 32 are selected suitable in the example shown for a steady transition between the adjacent wave segments 32.
  • control or touch point 36 can be moved with the aid of the processing unit 20, or an automatic shift can be specified by means of control menus using a context menu. Accordingly, the linear coefficients of the cubic polynomials in the wave segments 32 are recalculated and determined to correctly reflect the modified design.
  • the thus modified waveform is then provided by its mathematical definition of the constructive synthesis for the tone-generating sample.
  • FIG. 2 Fig. 3 shows a modification of the wave function by shifting the control or touch point 36 in the x-direction, corresponding to the time axis of the wave function.
  • FIG. 2 B the wave function after the shift of the control or touch point 36 to the left
  • FIG. 2c By contrast, such a shift in the x-direction also means that the boundary between the wave segments 32 shifts accordingly, ie, that in terms of time each one of the wave segments 32 after shifting occupies a correspondingly larger proportion of the time interval of the wave function as a whole. Accordingly, gem.
  • FIG. 2 Fig. 3 shows a modification of the wave function by shifting the control or touch point 36 in the x-direction, corresponding to the time axis of the wave function.
  • FIG. 3 a modification of the wave function by displacement of the control or touch point 36 in the y-direction, corresponding to the amplitude of the wave function shown.
  • FIG. 3b the wave function after the shift of the control or touch point 36 up
  • FIG. 3c such a shift in the y-direction essentially means a corresponding change in the amplitude of the wave function as a whole.
  • the linear coefficients of the cubic polynomials in the wave segments 32 are, on the one hand, chosen such that the respective wave segment 32 has at its segment edges 34 the respectively definable amplitude boundary values which may be variable via the control or touch points 36.
  • the linear coefficients of the cubic polynomials for each shaft segment 32 but also selected such that the respective shaft segment 32 has at its segment edges 34 each have a predetermined edge slope. This is individually variable by the user, which in the embodiment by appropriate configuration of the editor based on a rotation of the respective control oravaddlings 36, in its entirety or for each segment edge 34 is independent, allows.
  • FIG. 4 An example of such a rotation of the control or touch point 36, in which on the edge of the segment 34 between the shaft segments 32 on both sides the edge slopes are changed correspondingly, is in the sequence according to FIG. 4 shown.
  • FIG. 5 an example that the edge slopes on both sides of the segment edge 34 between the shaft segments 32 are changed separately from each other. Such a separate change of the edge slopes results in a change in the angle in the control or touch point 36.
  • the number of control or touch points 36 and thus the number of wave segments 32, from which the wave function is composed, is also changeable by the user.
  • An example of adding or removing Control or touch points 36 and, consequently, the modification of the number of wave segments 32 is gem. FIG. 6 shown.
  • modulations of a wave function as such can be edited and changed in an analogous manner. Examples of this are in the sequences gem.
  • FIG. 7 Amplitude modulation of a constructive waveform by shifting a control or touch point 36 of another constructive waveform
  • FIG. 8th Frequency modulation of a constructive waveform by rotation of a control or apprehension point 36 of another constructive waveform.

Description

  • Die Erfindung betrifft ein Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals durch Nutzung von wiederkehrend errechneten Amplitudenwerten einer Wellenform.
  • Die synthetische Erzeugung von digitalen Audiosignalen wird im Rahmen der Klangsynthese zur elektronischen Erzeugung von Klängen eingesetzt. Zu diesem Zweck werden digitale Audiosignale unmittelbar nach ihrer Erzeugung direkt zur Klangsynthese eingesetzt oder alternativ auch zur späteren Verwendung in einer Speichereinheit hinterlegt. Zur eigentlichen Klangerzeugung wird das digitale Audiosignal sodann, beispielsweise mittels eines Digital-Analog-Wandlers, zur Ansteuerung einer Lautsprechereinheit oder dergleichen herangezogen.
  • Die Klangsynthese wird dabei üblicherweise zum Zweck der Erzeugung von Klängen eingesetzt, die nicht in der Natur vorkommen. Ein anderer Anwendungsfall betrifft die Imitation von Naturklängen oder Naturinstrumenten wie Klavier, Gitarre oder dergleichen. Darüber hinaus erlaubt die Klangsynthese auch die gezielte oder zufällige Verfremdung von Naturklängen, zum Beispiel durch deren Überlagerung und Bearbeitung mit elektronischen Effekten, zur kreativen Musikgestaltung. Im Rahmen der synthetischen Erzeugung von digitalen Audiosignalen wird üblicherweise die periodische Abtastung einer geeignet gewählten oder vorgegebenen Wellenform oder eines algorithmisch erzeugten Signals vorgenommen, die als Ergebnis einen Wertestrom pro Kanal ("Ergebniswellenform") mit einer festen Ausgaberate (sogenannte sample rate) und einer festen Wertauflösung (sogenannte bit-Tiefe) liefert. Dabei wird ein Wert pro Kanal pro Ausgabenraten-Taktschritt zur Verfügung gestellt.
  • Bezüglich dieser Parameter können im Allgemeinen folgende grundsätzlichen Einflüsse auf den Charakter des digitalen Audiosignals festgestellt werden:
    • Die Form der Ergebniswellenform bestimmt die Klangfarbe
    • Die Frequenz der Wiederholungen der Ergebniswellenform bestimmt die Tonhöhe
    • Wenn die Ergebniswellenform sich von Wiederholung zu Wiederholung ändert, ändert sich die Klangfarbe
    • Wenn die Frequenz der Wiederholungen sich ändert, ändert sich die Tonhöhe.
  • Zur Bereitstellung der als Basis für die Abtastung vorgesehenen Wellenform wird üblicherweise ein sogenannter Oszillator verwendet, der je nach der gewünschten Anpassung hinsichtlich Tonhöhe, Klangfarbe oder sonstigen musikalischen Effekten bedarfsweise modifiziert werden kann. Typischerweise erzeugen Oszillatoren Wellenformen mit vielen Teiltönen, so dass nachfolgende Prozessoren sowie typischerweise ein Tiefpass-Filter diese Teiltöne entsprechend der Wünsche des Sound-Designers abschwächen oder verstärken kann ("Subtraktive Synthese"). Im Kontext des physical modellings übernimmt der Oszillator z.B. die Rolle einer vibrierenden Seite eines Klaviers. Der dem entsprechende Klangkörper wird dann beispielsweise durch einen Filter emuliert. Im Kontext der additiven Synthese ist der Oszillator hingegen eine Sinuswelle einer bestimmten Frequenz, Amplitude und Phase. Die additive Synthese erzeugt komplexe Wellenformen durch die Addition vieler solcher einfachen Oszillatoren. Weitere und eine Mischung dieser Vorgehensweisen zur Klangerzeugung werden typischerweise im Kontext eines Synthesizers genutzt.
  • Die gängigen Methoden zur synthetischen Klangerzeugung basieren auf der Nutzung von Algorithmen, die von durch die Nutzer gesetzten Parametern gesteuert werden. Diese Algorithmen erzeugen die für die Ausgabe zugrunde gelegte Wellenform, ihre Veränderung über die Zeit sowie über die Frequenz und deren Veränderung über die Zeit. Die Beschaffenheit der resultierenden Wellenform ist dabei für den Nutzer üblicherweise nicht oder allenfalls begrenzt auf die Oszillator-Grundform ersichtlich und nicht nachvollziehbar. Die herkömmlichen Methoden können somit als "Blackbox"-Verfahren angesehen werden. Die Blackbox stellt in diesem Sinne dem Nutzer lediglich einige Parameter zur Verfügung, anhand welcher, im Rahmen der Möglichkeiten der gestellten Parameter, dieser den entstehenden Ton definieren oder modifizieren kann. Einsichten oder Einflüsse über die inneren Vorgänge im Entstehungsprozess des Tons hat der Nutzer nicht. Er kann lediglich per Oszilloskop oder per Sampling das Ergebnis sichtbar machen. Der Artikel von Nick Collins: "SplineSynth: An Interface to Low Level Digital Audio",Proceedings of the 1999 Diderot Forum on Mathematics and Music: Vienna, Austria, December 2-4, 1999, bezieht sich auf ein Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals, auf der Basis interpolierender Spline-Funktionen zwischen einer Anzahl von Kontrollpunkten. Dem gegenüber liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals anzugeben, das dem Nutzer einen besonders einfach gehaltenen und intuitiven Zugang zur Veränderung und kreativen Umgestaltung der der Abtastung zugrunde gelegten Wellenform ermöglicht.
    Diese Aufgabe wird erfindungsgemäß gelöst, indem wiederkehrend errechnete Amplituden-oder Magnitudenwerte einer Wellenform genutzt werden, die durch einen periodenphasen- oder frequenzabhängigen, durch Approximation oder Interpolation zwischen einer Anzahl von durch Amplituden-Periodenphase-, Magnituden-Frequenz- bzw. Phasen-Frequenz- Wertepaaren gebildeten Kontrollpunkten gebildeten Verlauf bestimmt ist, wobei die Kontrollpunkte in ihren Parameterwerten und/oder sonstigen Attributen durch jeweils zugeordnete Kontrollsignale veränderbar sind, und wobei für die Errechnung der Amplituden- bzw. Magnitudenwerte die Approximation der durch die aktuell vorliegenden Kontrollsignale bestimmten Kontrollpunkte zugrundegelegt wird.
    Mit anderen Worten wird die für die Erzeugung des Audiosignals zugrunde gelegte Wellenform somit anhand von durch den Nutzer veränderbaren Kontrollpunkten erzeugt und ihre Amplituden- oder Magnitudenwerte wiederkehrend errechnet, wobei die Kontrollpunkte in der Art von Stützstellen den näherungsweisen Verlauf der Wellenfunktion vorgeben und die eigentliche Wellenfunktion durch geeignete Interpolation oder Approximation zwischen diesen Kontrollpunkten oder Stützstellen erzeugt wird. Die Amplituden-, Magnituden- oder auch Phasenwerte der Wellenfunktion, die für die Erzeugung des Audiosignals herangezogen werden, werden dabei in der Art einer zyklischen oder periodischen Abtastung fortlaufend aktualisiert und insbesondere bedarfsweise (also beispielsweise nach einer durch den Nutzer oder durch Kontrollsignale veranlassten Veränderung der Parameter oder Attribute eines oder mehrerer der Kontrollpunkte) neu berechnet. Dies ermöglicht eine Beeinflussung der Wellenfunktion und damit des auf deren Basis erzeugten Audiosignals durch den Nutzer in Echtzeit, d. h. während der Erzeugung kann das Audiosignal durch den Nutzer unmittelbar verändert werden.
  • Vorzugsweise können die Amplituden-, Magnituden- bzw. Phasenwerte der Kontrollpunkte einerseits und die Periodenphase- bzw. Frequenzwerte der Kontrollpunkte andererseits jeweils von individuell zugeordneten Kontrollsignalen unabhängig voneinander und alternativ oder zusätzlich besonders bevorzugt auch sonstige Attribute der Kontrollpunkte jeweils von individuell zugeordneten Kontrollsignalen unabhängig von den Amplituden- bzw. Magnituden- bzw. Phasenwerten und/oder den Periodenphasen- bzw. Frequenzwerten der Kontrollpunkte verändert werden, so dass der Nutzer über eine entsprechende Beeinflussung der Kontrollsignale individualisierte Modifikationsmöglichkeiten für einzelne Parameter der Kontrollpunkte hat. Diese ermöglicht eine besonders hohe Vielzahl an Variationsmöglichkeiten hinsichtlich der klanglichen Eigenschaften des erzeugten Audiosignals.
  • Als zusätzliche Vereinfachung der Beeinflussung mehrerer Kontrollpunkte zusammen mit deren Attributen kann ein Attribut eines Kontrollpunktes beispielsweise diesen als Ankerpunkt markieren. Bei Veränderung eines als Ankerpunkt markierten Kontrollpunktes werden alle anderen Kontrollpunkte, welche zwischen diesem Anker und einem nächsten Anker liegen, durch das dem Ankerkontrollpunkt vorliegende Kontrollsignal mit beeinflusst, so dass die Relationen der Kontrollpunktparameter bzw. Attribute, nach Veränderung des Ankerkontrollpunktes, zwischen den Ankerkontrollpunkten relativ zum Ausgangszustand bewahrt werden.
  • Die Kontrollpunkte und deren Attribute sind insbesondere dafür vorgesehen, den Verlauf der Wellenform näherungsweise vorzugeben, so dass unter Rückgriff auf lediglich eine überschaubare Anzahl an Parametern (nämlich der die Kontrollpunkte in der Art von Koordinaten definierenden Parameter) der grobe Verlauf der Wellenform definiert werden kann. Dies ermöglicht die Definition einer kontinuierlichen Wellenform anhand von einer vergleichsweise geringen Anzahl an Parametern oder Attributen, welche während eines Abtastzyklus durch Evaluation aufgrund des aktuellen Wertebestands der Kontrollsignale in beliebiger Auflösung gerendert werden kann. Eine Zeitdomänen-Wellenform kann hierbei zu Zwecken der Bandlimitierung entweder per Übersampling oder per Fourier Transformation zusammen mit bandlimitierter Rücktransformation bearbeitet werden.
  • Im Falle der Fourier Transformation bietet sich auch die Möglichkeit, die resultierenden Magnituden über einen spektralen Filter, welcher wiederum aus einer konstruktiven Wellenform besteht, zu beeinflussen. Gleiches gilt auch für ein konstruktiv evaluiertes Phasenoffset. Hierbei wird die Zeitdomänen-Wellenform anhand der gewünschten Tonhöhe gesampelt und ins Frequenzspektrum transformiert. Um einen gleichbleibenden Filter bei verschiedenen Tonhöhen zu garantieren, wird die Filter-Wellenform in hoher Abtastrate evaluiert und beispielsweise mittels trapezoidaler Integration auf die resultierenden Frequenzbänder der Magnituden multiplikativ verteilt. Gleicheres gilt für das Phasenoffset, welches allerdings additiv verteilt wird.
  • Alternativ können der konstruktive Filter und das konstruktive Phasenoffset auch ohne vorherige Transformation einer konstruktiv evaluierten Zeitdomänen-Wellenform im Sinne einer direkten additiven Synthese angewandt werden. In diesem Fall wird auch der Filter additiv und nicht multiplikativ verteilt.
  • Die Verwendung in Echtzeit wird erreicht, indem dieser Evaluationsprozess in regelmäßigen Abständen (u.U. in der Samplerate) unter Berücksichtigung des aktuellen Zustandes der Kontrollsignale und der auszugebenden Tonhöhe wiederholt wird. Eine Bandlimitierung der auszugebenden Tonhöhe erfolgt automatisch, wenn das Spektrum, welches bei zunehmender Tonhöhe aus weniger Teiltönen besteht, durch zunehmendes "zero-padding" durch die Rücktransformation effektiv zunehmenden "überabgetastet" wird. Tonhöhenveränderungen zwischen den Aktualisierungszyklen fallen nur bei Audioraten-Modulation der Tonhöhe ins Gewicht und können dabei Artefakte erzeugen. Um diese zu minimieren kann, wenn notwendig, die Tonhöhenveränderungsgeschwindigkeit mittels beispielsweise eines Tiefpassfilters reduziert werden.
  • Die näherungsweise Vorgabe der Wellenform durch die Kontrollpunkte kann dabei bevorzugt erfolgen, indem die Wellenform durch Interpolation der Kontrollpunkte (d. h. Ermittlung derjenigen Wellenform, die unter Einhaltung eventuell vorgegebener Randbedingungen die Kontrollpunkte durchläuft) oder Approximation der Kontrollpunkte (d. h. Ermittlung derjenigen Wellenform, die unter Einhaltung eines vorgegebenen Optimierungskriteriums möglichst nah an den einzelnen Kontrollpunkten vorbeiläuft) bestimmt wird. Bevorzugt werden zur Ermittlung des Verlaufs zwischen Kontrollpunkten Polynom-basierte Interpolation, Bézier-Kurven, b-splines oder NURBS verwendet, wobei vorzugsweise die Rahmenbedingungen des Interpolationsverfahrens bei einer Veränderung der Kontrollpunkte und/oder ihrer Attribute angepasst werden.
  • Besonders bevorzugt wird die Wellenform segmentweise durch Linearkombination aus Basisfunktionen zusammengesetzt, wobei jeweils zwei benachbarte Kontrollpunkte die Ränder und damit die Randbedingungen für jeweils ein Segment vorgeben. Vorteilhafterweise wird dabei die Wellenform aus einer Anzahl von innerhalb einer Periodenphase - oder, falls die Bearbeitung in der Frequenzdomäne erfolgt, innerhalb eines Frequenzbandes - aufeinanderfolgenden, jeweils durch eine segmentspezifische Linearkombination aus einer Anzahl von Basisfunktionen definierten Wellensegmenten zusammengesetzt, wobei die Wellensegmente an ihren Segmenträndern über jeweils einen der Kontrollpunkte mit dem jeweils benachbarten Wellensegment verbunden sind, und wobei - im Falle der Interpolation - für jedes Wellensegment diejenigen Linearkoeffizienten ermittelt werden, mit denen das jeweilige Wellensegment an seinen Segmenträndern im Rahmen des dortigen Kontrollpunkts jeweils vorgebbare, veränderbare Amplituden- bzw. Magnituden- bzw. Phasenrandwerte aufweist, und wobei während der wiederkehrenden Berechnung der Werte jeweils aktualisierte Linearkoeffizienten für das jeweilige Wellensegment ermittelt und für die Berechnung der Werte zugrundegelegt werden.
  • Die Wellenform wird somit segmentweise aus einer Anzahl von zeitlich aufeinanderfolgenden Wellensegmenten zusammengesetzt, wobei innerhalb jedes Wellensegments die entsprechende "Teilwellenform" konstruktiv oder additiv durch lineare Überlagerung einer Anzahl von Basis-Wellenfunktionen erzeugt wird. Unter Rückgriff auf standardisierte, vorzugsweise in einer Bibliothek oder dergleichen hinterlegte Sätze von Basis-Wellenfunktionen wie beispielsweise die besonders bevorzugt vorgesehenen kubischen Polynome, Bernstein-Polynome, b-spline-Basisfunktionen oder dergleichen, kann das jeweilige Segment somit entweder anhand der bei der konstruktiven Überlagerung der Basisfunktion verwendeten Linearkoeffizienten oder anhand der konstruktiven Überlagerungen von Basisfunktion- und Kontrollpunkt-Produkten im Fall der Approximation eindeutig definiert und bestimmt werden. Damit kann die Beschreibung und Definition auch vergleichsweise unkonventioneller oder komplexer Wellenformen unter Rückgriff auf eine begrenzte Anzahl von Parametern erfolgen, und die Erzeugung und damit auch spätere Modulation oder Modifikation der Wellenform durch Editierung dieser Parametersätze wird ermöglicht. Gerade durch ein derartiges, in der Art einer "konstruktiven Synthese" ausgestaltetes Konzept ist insbesondere auch die Variation der Wellenform in Echtzeit möglich, so dass neue kreative Spielräume für den Benutzer geschaffen werden.
  • Die Linearkoeffizienten der für die konstruktive Überlagerung verwendeten Basisfunktionen werden besonders bevorzugt derart gewählt, dass im jeweiligen Wellensegment eine gewünschte (Ausgangs-)Teilwelle weitgehend exakt oder zumindest näherungsweise approximiert wiedergegeben wird. Die Ausgangs-Teilwelle, die von einem Benutzer spezifiziert oder vorgegeben oder auch aus in einer Bibliothek hinterlegten Wellenformen ausgewählt werden kann, wird somit in eine Superposition aus den Basisfunktionen zerlegt.
  • Im Falle der Interpolation werden die Linearkoeffizienten bevorzugt derart gewählt, dass die Wellenform in ihrer Amplitude im jeweiligen Segment an dessen Segmenträndern vorgebbare Amplitudenrandwerte annimmt. Durch eine vom Nutzer vorgenommene Veränderung dieser Amplitudenrandwerte kann somit eine Veränderung der Teilwellenform im jeweiligen Segment vorgenommen werden, da diese durch die über die Amplitudenrandwerte vorgebbaren Randbedingungen definiert ist.
  • Eine besonders bevorzugte, noch weiter führende Möglichkeit zur Einflussnahme auf die Veränderung der Wellenform durch den Benutzer ist erreichbar, indem in vorteilhafter Weiterbildung die Linearkoeffizienten für jedes Wellensegment derart gewählt werden, dass das jeweilige Wellensegment an seinen Segmenträndern jeweils eine vorgebbare, veränderbare Randsteigung aufweist. Damit werden als Randbedingungen für die Zerlegung der Teilwellenform des jeweiligen Segments in die Basisfunktionen nicht nur die Amplitudenwerte an den Segmenträndern, sondern auch deren Randsteigungen vorgegeben. Durch Modifikation dieser Parameter kann der Benutzer mit besonders einfach gehaltener Handhabung auch vergleichsweise komplexe Sound- oder Musikeffekte erzeugen. Bei einem stetigen Übergang der Wellenform zwischen zwei benachbarten Segmenten, also wenn der ausgangsseitige Amplitudenwert ohne Sprung in den eingangsseitigen Amplitudenwert des Nachbarsegments übergeht, kann dies auch vereinfacht zur Editierung durch den Benutzer zur Verfügung gestellt werden, indem als veränderbarer Parameter der Winkel zwischen den beiden am Segmentrand aufeinandertreffenden Steigungen bereitgestellt wird.
  • Im Falle der Approximation werden die Linearkoeffizienten der Basisfunktionen vorteilhafterweise durch einen Knotenvektor vorgegeben, wobei bei einem nichtveränderlichen Knotenvektor auch die Basisfunktionen nicht veränderlich sind. Die Kontrollpunkte nehmen Einfluss auf den Verlauf des Wellensegments, indem sie überlappend mit den Basisfunktionen gewichtet werden. Die Approximation garantiert gewisse Eigenschaften, sowie Kontinuitätsgrad der resultierenden Wellenform. Durch Gewichtung der Kontrollpunkte und nicht-lineare Verteilung des Knotenvektors können auch Diskontinuitäten spezifiziert werden. Diese Parameter können als Attribute dem Kontrollpunkt hinzugefügt werden und sind dadurch nach dem konstruktiven Ansatz durch Kontrollsignale veränderlich. Je nach Anwendungszweck kann diese Vorgehensweise Vorteile bieten. Für punktweise echtzeit-Evaluation ist dieser Ansatz allerdings ungeeignet, da der Kurvenverlauf nicht als Funktion zu einem Periodenphasen bzw. Frequenz-Wert sondern als Funktion eines weiteren unabhängig parametrisierten Wertes t definiert ist. Für Echtzeit-Evaluation von kompletten Periodenphasen oder Frequenzbändern kann dieser Ansatz allerdings hinzugezogen werden. Hierbei werden die Kontrollsignale, welche die Kontrollpunkte und dessen Attribute verändern, immer zum Zeitpunkt der nächsten Evaluation der kompletten Wellenform ausgelesen, was in einer Zeit-Granulation der Kontrollsignale resultiert. Mittels modernen Computern kann diese Zeit-Granulation allerdings sehr gering gehalten werden und zusätzlich durch Interpolation der resultierenden Wellenformen verwischt werden, so dass praktisch nur in Extremfällen ein Unterschied zur direkten punkteweisen Interpolation merkbar ist.
  • Aus Sicht der konstruktiven Synthese sind beide Ansätze auf gleiche Weise durchführbar und stellen lediglich zwei verschiedene Vorgehensweise dar, anhand welcher die Werte zwischen den Kontrollpunkten ermittelt werden können.
  • Als Basisfunktionen zur konstruktiven Erzeugung der Wellenform-Segmente können bevorzugt Funktionensätze wie beispielsweise Bézier-Funktionen, B-Splines, NURBS oder dergleichen vorgesehen sein. In all diesen Ansätzen werden als Basisfunktionen Polynom-basierte Funktionen verwendet; es handelt sich somit bevorzugt um eine Polynomial-Zerlegung der Wellenformsegmente. In ganz besonders bevorzugter Weiterbildung werden dabei als Basisfunktionen Polynome dritten Grades oder kubische Polynome verwendet. Diese haben den ganz besonderen Vorteil, dass damit innerhalb der jeweiligen Segmente eine vergleichsweise gute Approximation gewünschter funktionaler Verläufe selbst mit einer besonders geringen Anzahl an Linearkoeffizienten darstellbar ist. Zudem kann durch eine Ausrichtung auf Polynome dritten Grades oder kubische Polynome auf besonders einfache Weise ein funktionales Verhalten generiert werden, für das lediglich auf die genannten Randbedingungen des jeweiligen Segments (Amplitudenrandwerte, Randsteigungen im Fall der Interpolation oder ein Kontinuitätsmaß im Fall der Approximation) ohne das Erfordernis weiterer Parametrierung zurückgegriffen werden muss.
  • Vorteilhafterweise wird die Wellenform aus einer Anzahl von innerhalb einer Periodenphase bzw. eines Frequenzbandes aufeinanderfolgenden, jeweils durch eine segmentspezifische Linearkombination aus einer Anzahl von Basisfunktionen und - im Falle der Approximation - Kontrollpunkten definierten Wellensegmenten zusammengesetzt, wobei die Wellensegmente an ihren Segmenträndern in der Nähe von jeweils einem der Kontrollpunkte mit dem jeweils benachbarten Wellensegment verbunden sind, und wobei während der wiederkehrenden Berechnung der Werte jeweils die Linearkombination der aktuellen Kontrollpunkte mit den zugewiesenen Basisfunktionen - bzw. im Falle der Interpolation die Linearkombination der aus den aktuellen Kontrollpunkten abgeleiteten Linearkoeffizienten - zugrundegelegt wird
  • Um eine besonders benutzerfreundliche, vorzugsweise auch echtzeittaugliche Modifikation der Wellenform zu ermöglichen und damit besonders große Spielräume für musikalische Kreativität zu eröffnen, ist für die Modifikation der Wellenform und damit auch für die Erzeugung des digitalen Audiosignals besonders bevorzugt ein graphisches Benutzer-Interface vorgesehen. Die wie vorstehend erläutert ausgestaltete "konstruktive Synthese" macht nämlich insbesondere, indem in besonders bevorzugter Ausgestaltung das Resultat, also die Wellenform, auf einem geeigneten Anzeigemittel wie beispielsweise einem Bildschirm oder Display dargestellt wird, die Wellenform und die Effekte ihrer Modifikation für den Nutzer transparent, weil der Nutzer, ohne den Umweg über Algorithmen, direkt die resultierende Wellenform und deren zeitliche Veränderung spezifiziert. Hierbei werden die durch Algorithmen gegebenen Begrenzungen der möglichen resultierenden Wellenformen aufgehoben. Das Ergebnis ist ein Exemplar aus dem Universum aller denkbaren, durch die genutzten Basisfunktionen abbildbaren Wellenformen.
  • Zweckmäßigerweise wird dabei ein zugeordnetes Eingabegerät bereitgestellt, über das die Kontrollpunkte und deren Attribute veränderbar sind. In der Art von so genannten "Anfasspunkten" kann der Benutzer somit direkt auf die Amplitudenwerte in den Segment-Randbereichen und auf deren Steigungen oder ggf. auch auf andere Attribute der Kontrollpunkte zugreifen. Alternativ oder zusätzlich werden besonders bevorzugt die Amplitudenrandwerte und/oder die Randsteigungen bzw. die Parameter und Attribute der Kontrollpunkte entsprechend einer in einer Speichereinheit hinterlegten Modulationsfunktion zeitlich verändert. Damit kann vom Benutzer die zeitliche Entwicklung vorgegeben werden, mit der die Wellenform und/oder ihre Segmente ihren Zustand verändern.
  • In weiterer vorteilhafter Ausgestaltung wird die Modulationsfunktion dabei ihrerseits durch Nutzung von wiederkehrend errechneten Amplitudenwerten einer Wellenform erzeugt, die durch einen periodenphasen- oder frequenzabhängigen, durch Approximation oder Interpolation zwischen einer Anzahl von durch Amplituden-Periodenphasen- bzw. Amplituden-Frequenz-Wertepaaren gebildeten Kontrollpunkten gebildeten Amplitudenverlauf über ein vorgegebenes Intervall bestimmt ist, wobei die Kontrollpunkte in ihren Parameterwerten und/oder sonstigen Attributen durch jeweils zugeordnete Kontrollsignale veränderbar sind, und wobei für die Errechnung der Amplitudenwerte die Interpolation oder Approximation der durch die aktuell vorliegenden Kontrollsignale bestimmten Kontrollpunkte zugrundegelegt wird. Mit anderen Worten wird vorzugsweise das Konzept der konstruktiven Synthese auch auf die Modulationsfunktion an sich angewendet.
  • Vorteilhafterweise werden im Falle der Interpolation nach einer Veränderung eines Randwerts und/oder einer Randsteigung die Linearkoeffizienten für das von diesem begrenzte Wellensegment neu berechnet. Dies ist insbesondere bei der bevorzugten Nutzung von kubischen Polynomen oder Polynomen dritten Grades als Basisfunktionen vorteilhaft, da diese durch die Parameter "Randwert" und "Randsteigung" eindeutig definiert werden können. Bei der Verwendung von Polynomen höheren als des dritten Grades können hingegen auch Koeffizienten verändert werden, ohne dass die Randsteigung und/oder der Amplitudenrandwert beeinflusst werden. In diesem Fall stehen weitere Parameter zur Beschreibung und Definition des Wellensegments zur Verfügung, beispielsweise die Kurvenkrümmung am Segmentrand.
  • Im Falle der Approximation werden die Rahmenbedingungen vorteilhafterweise so gewählt, das der Kurvenverlauf zwingend einen vorgegebenen Segmentübergreifenden Kontinuitätsgrad erhält und eine Veränderung der Kontrollpunkte somit eine Veränderung der Kurve unter Einbehaltung dieses Kontinuitätsgrads mit sich zieht. Weitere Attribute hierbei können z.B. eine Gewichtung einzelner Kontrollpunkte beschreiben, mit welchen der Kontinuitätsgrad der Kurve in der Nähe der entsprechenden Kontrollpunkte beeinflusst werden kann, bis zu dem Extrem, an welchem die Kurve, ähnlich wie bei der Interpolation, faktisch durch die Kontrollpunkte hindurch geht. In allen Fällen werden nach Veränderung eines Kontrollpunktes oder von dessen Attributen zumindest die von diesem Kontrollpunkt beeinflussten Wellensegmente neu evaluiert.
  • Die Anzahl der Segmente, in die die Wellenform aufgeteilt wird, wird vorzugsweise bedarfsgerecht ausgewählt. Insbesondere kann dabei direkt beim Bearbeiten oder Editieren der Wellenform die Anzahl der Segmente durch Einfügen oder Eliminieren von Segmentgrenzen oder Kontrollpunkten verändert werden. Außerdem können insbesondere auch diejenigen Abschnitte der Wellenform zu einem gemeinsamen Segment zusammengefasst werden, in denen einheitliche oder gemeinsame Veränderungen oder Modifikationen durch den Benutzer vorgesehen sind. Vorteilhafterweise ist die Anzahl der Segmente ebenfalls ein vom Benutzer vorgebbarer und/oder durch den Nutzer veränderbarer Parameter.
  • Da das Endergebnis auch als Wertestrom ausgegeben wird, kann dessen Weiterverarbeitung - auf Wunsch - auch auf konventionelle Weise, z.B. mit konvolutionsbasierten Verfahren, erfolgen. Viele dieser konventionellen Prozesse können allerdings auch direkt und explizit in der konstruktiven Synthese spezifiziert werden. Deswegen ist die Möglichkeit der konventionellen Weiterverarbeitung als Zugeständnis an Nutzergewohnheiten und nicht als technische Notwendigkeit zu verstehen.
  • Die "konstruktive Synthese" beschreibt ihrem Grunde nach die Wellenform als ein System, welches grundsätzlich jede Form annehmen kann. Anders als bei algorithmischen Vorgehensweisen wird die Wellenform durch die Superposition aus Basisfunktionen anhand der Linearkoeffizienten und Kontrollpunkten eindeutig und explizit definiert. Ein besonderer Vorteil ist, dass das Ergebnis ohne die Einschränkungen des Algorithmus beliebig veränderbar ist. Es können Effekte, wie z.B. ein Filter auf einer Ausgangswelle, direkt "konstruiert" und auf ungewöhnliche Weise verändert werden.
  • Das beschriebene Verfahren der "konstruktiven Synthese" erstellt im Ergebnis jede erdenkliche Wellenform mit Hilfe von stückweisen Basisfunktionen, vorzugsweise kubischen Polynomen, oder anderen Basisfunktionen, also ähnlichen mathematischen Konstrukten, die über veränderbare Kontroll- oder "Anfasspunkte" miteinander verknüpft sind. Diese Polynome oder Basisfunktionen sind in der Lage, ggf. unter Hinzunahme von Rauschsignalen für die meisten typischen Audiosignale ausreichend präzise Approximationen zu liefern, die effizient zu berechnen sind.
  • Eine zeitliche Veränderung der Konstruktion und damit der resultierenden Wellenform kann erreicht werden, indem die Kontroll- oder Anfasspunkte über die Zeit verändert werden. Bei kubischer Polynomialinterpolation umfassen die Bewegungsmöglichkeiten insbesondere das Verschieben der Kontrollpunkte auf der x-(= Zeit/Frequenz-) und y- (=Amplituden/Magnituden/Phasen-) Achse und das Verändern des Ein- und Ausfallwinkels der Kurve, welche durch den jeweiligen Kontrollpunkt verläuft. Im musikalischen Kontext ist es vorteilhaft, den Ein- und Ausfallwinkel im gleichen Verhältnis spezifizieren zu können (durch - bildlich gesehen - eine Rotation des Kontrollpunkts), um keine ungewünschten Diskontinuitäten am Kontrollpunkt einzubringen. Bei gewünschten Diskontinuitäten kann am jeweiligen Kontrollpunkt zusätzlich ein gewünschter Winkel spezifiziert werden. Bei kubischer rationaler b-spline-Approximation umfassen die Bewegungsmöglichkeiten, ähnlich wie bei der kubischen Polynomialinterpolation, das Verschieben der Kontrollpunkte und das Verändern der Gewichtung der Kontrollpunkte. Im musikalischen Kontext ist die bei gleichmäßiger Gewichtung garantierte C2-Kontinuität eine wünschenswerte Eigenschaft, wobei gezielt die Kontinuität in der Nähe eines Kontrollpunktes durch Gewichtung bis zur nahen Diskontinuität variiert werden kann.
  • Durch die Konstruktion von Wellenformen anhand von stückweisen Polynomen (oder anderen Basisfunktionen) und die zeitliche Veränderung von deren Kontrollpunkten kann der Nutzer also, ohne den Umweg über Algorithmen und Parameter zu nehmen, die von ihm gewünschte resultierende Wellenform direkt definieren.
  • Auf der Grundlage der konstruktiven Synthese nach dem vorstehend erläuterten Konzept können folgende weitere als besonders vorteilhaft angesehene Ausgestaltungen in beliebiger Kombination miteinander vorgesehen sein:
    • - Synthese konstruktiver Komponenten
  • Eine komplexe Wellenform kann mitunter eine komplizierte Struktur an Kontrollpunkten und/oder deren Veränderungen benötigen. Die Aufsplittung der gewünschten Wellenform in einzelne Komponenten, welche konstruktiv erzeugt und später addiert werden, erlaubt es eine solche Struktur zu vereinfachen.
    • - Konstruktive Modulatoren
  • Eine konstruktive Wellenform kann dazu benutzt werden um ihre eigenen Kontrollpunkte und/oder Attribute, oder die einer anderen konstruktiven Wellenform, zu verändern.
    • - Konstruktive Prozessoren
  • Eine konstruktive und veränderbare Wellenform kann dazu benutzt werden, um Eingangswerte auf Ausgangswerte abzubilden, wie z.B. in einem Waveshaper. Des Weiteren kann eine konstruktive Wellenform auch als veränderbarer Kernel einer Konvolution benutzt werden etc.
    • - Konstruktives Sampling
  • Ein als Wertestrom vorliegendes Signal kann durch (Auto-)Vektorisierung in eine Kontrollpunkt-basierte Form umgewandelt werden, welche in einer Approximation des Signals resultiert. Im Unterschied zum konventionellen Sampling wird im konstruktiven Sampling das Ergebnis in Form von Basisfunktionen und deren Kontrollpukten explizit bereitgestellt, welche dann ihrerseits der weiteren Veränderung und Anpassung unterzogen werden können.
    • - Spektrale Konstruktive Synthese
  • Die Wellenformen, welche in der konstruktiven Synthese erstellt werden, können direkt in der Zeitdomäne als Signal ausgegeben werden. Alternativ können diese Wellenformen auch als Signale in der Frequenzdomäne interpretiert werden. Durch Fourier Transformation oder additive Synthese kann dieses Signal wieder in die Zeitdomäne umgewandelt werden. Hierbei bietet sich auch an, eine konstruktive Wellenform skalierend auf ein bestehendes Magnitudenspektrum anzuwenden. Hierdurch wird die Funktionalität eines Filters gegeben. Ähnliches gilt auch für das Phasenoffset.
  • Bei der apparativen Umsetzung des genannten Verfahrens kommt besonders bevorzugt eine Benutzeroberfläche zum Einsatz, welche es erlaubt in verschiedenen Schichten zu arbeiten. Diese Schichten sind vorteilhaft eine direkte Anwendung der oben erläuterten Synthese konstruktiver Komponenten.
    • Die tiefste Schicht stellt hierbei die konstruktive Erstellung von Wellenelementen dar. Diese bestehen bevorzugt aus einer "konstruktiv synthetisierten" Wellenform wie oben beschrieben, die vorzugsweise aus stückweisen Polynomialfunktionen zusammengesetzt wird. Solche Wellenelemente können Bestandteil einer Wellenform sein oder eigenständig als Waveshaper, Steuersignalshaper, Spektralfilter, Spektralphasenoffset oder Konvolutions-Kernel fungieren.
    • Die nächst höhere Schicht stellt Komponenten dar, welche konstruktive Wellenelemente zusammen mit bestimmten Parametern und Interaktionsmöglichkeiten kapseln.
    • Die nächst höhere Schicht stellt Wellenformen dar, welche aus mehreren zusammengemischten Komponenten bestehen. Diese Komponenten stellen, wie vorstehend beschrieben, bevorzugt in der Art standardisierter Bestandteile Wellenelemente in in eine Superposition aus den Basisfunktionen zerlegter Form dar, aus denen auf besonders einfache Weise komplexere Wellenformen zusammengesetzt werden können. Diese Wellenformen werden als Oszillator zur Generierung des Audiosignals und als Modulator zur Generierung von Kontrollsignalen genutzt. Die Parameter der Komponenten und die Kontrollpunkte der Wellenelemente können von Kontrollsignalen und von externen Steuersignalen beeinflusst werden.
  • Die Wellenelemente sowie sämtliche vorgenannten Parameter können pro Kanal separat spezifiziert werden. Kontrollpunkte können eingefügt, entfernt, verschoben, rotiert, gewinkelt oder in sonstigen Parametern oder Attributen verändert werden.
  • Die Flexibilität in der Erstellung der Wellenformen und die Möglichkeit, sämtliche Kontrollpunkte und Parameter der Wellenelemente mit Hilfe der gleichen oder anderer Wellenformen zu modulieren, erlaubt es, Resultate wie z.B. eine Sägezahn-Wellenform mit einem resonanten Tiefpass-Filter-Sweep direkt als Ergebniswellenform vorzulegen. Der Vorteil besteht insbesondere darin, dass dieses konstruierte Ergebnis und die zu seiner Erzeugung verwendeten Parameter explizit verfügbar und damit komplett veränderbar sind. Somit ist eine weiterführende Bearbeitung und Modifikation der Ergebniswellenform auf eine bisher nicht realisierbare Weise ermöglicht.
  • Da der Prozess der konstruktiven Synthese beliebige nicht bandlimitierte Ergebnisse erzeugen kann, selbst wenn die Ausgangswellenform bandlimitiert ist, wird vorteilhafterweise, je nach Signalfluss, internes Oversampling der Oszillatoren oder wahlweise des gesamten Systems und/oder spektrale Bandlimitierung mittels Fourier-Transformation der Wellenformen auf Basis der auszugebenden Tonhöhe genutzt. Hiermit werden die Aliasing Effekte, abhängig von der Oversampling-Rate, attenuiert oder im Falle der Fourier- Transformation je nach weiterem Tonhöhenverlauf vollständig oder fast vollständig eliminiert. Bezüglich des Oversampling zeigt sich in der Praxis eine Oversampling-Rate von 8x ausreichend für gute Ergebnisse für die meisten Signale, wobei hier eine Erhöhung der Oversampling-Rate (und dabei Verbesserung des Ergebnisses insbesondere bei sehr hohen Frequenzen) nur von der Rechenleistung abhängt.
  • Eine besonders interessante und bevorzugte Weiterentwicklung des Konzepts der "konstruktiven Synthese" besteht im so genannten "konstruktiven Sampling". Ausgehend vom Verfahren der Erzeugung von sich verändernden Wellenformen durch veränderbare Konrtollpunkt-basierte Interpolation/Approximation kann nämlich vorgesehen sein, vom Ergebnis her rückwärts zu gehen. In diesem Fall wäre ein automatisches Abbild einer schon bestehenden, sich zeitlich verändernden Wellenform als Approximation durch Algorithmen herzuleiten.
  • Die ermittelten Kontrollpunkte werden anschließend bevorzugt in einer Anzeigeeinheit oder einem Display dargestellt und können von dort aus regulär weiterbearbeitet werden. Das bedeutet, dass in einer ersten Phase die automatisch erstellten Kontrollpunkte überarbeitet werden können bzw. der zugrundeliegende (Auto-) Vektorisierungsalgorithmus re-parametriert werden kann, um das gemessene Ergebnis möglichst präzise zu reproduzieren. Darüber hinaus, und das ist der eigentliche Vorteil im Vergleich zum konventionellen Sampling, lässt sich in nachfolgenden Phasen das Ergebnis gezielt verändern, um ausgehend vom gehörten Tonerlebnis neue Klangfarben zu erzeugen. Aus der Mischung von Sampling und konstruktiver Synthese ergibt sich somit ein neuartiges Werkzeug zum Sound-Design.
  • Eine weitere bevorzugte Weiterentwicklung ist die spektrale konstruktive Synthese. Dabei wird berücksichtigt, dass es verschiedene Möglichkeiten zur Interpretation der Wellenformen gibt. Die Zeitdomäne bildet die Wellenform analog zur Bewegung der Lautsprechermembran ab. Das heißt, sie zeigt den Ausschlag der Membran (negativ oder positiv) in Relation zur Zeit - diese Darstellung beschreibt das Aussehen der Wellenform. Hiermit kann man präzise Aussagen über Transienten, aber nur generelle Aussagen über die beinhalteten Frequenzen (Teiltöne) machen.
  • Alternativ kann man auch Signale in der Frequenzdomäne betrachten, welche das Signal in Teiltöne und dessen Amplituden aufsplittet. In der Frequenzdomäne kann man präzise Aussagen über die beinhalteten Teiltöne machen. Per DFT (Discrete Fourier Transform) oder additiver Synthese kann man aus der Frequenzdomäne ein Signal in die Zeitdomäne transformieren, welches dann wieder direkt die Lautsprechermembran steuern kann.
  • Im Falle der Konstruktiven Synthese kann man eine konstruktiv synthetisierte Wellenform nutzen, um Teiltöne einer DFT abzubilden. Je nach auszugebender Tonhöhe braucht die DFT eine Anzahl x an Magnituden- und Phasenwerten, wobei jeder Magnitudenwert eine Frequenz mit einem Vielfachen der auszugebenden Tonhöhe und jeder Phasenwert eine Phasenverschiebung (relativ zu 0 Grad eines Cosinus) repräsentiert. Da die konstruktive Wellenform in kontinuierlicher Form vorliegt, kann sie in beliebigen Abständen gesampelt werden, so dass somit jede Tonhöhe abbildbar ist, welche sich durch eine gerade Anzahl von Samples abbilden lässt. Für Tonhöhen, welche keine gerade Anzahl von Samples enthalten, wird dann vorzugsweise mit Oversampling, Interpolations- oder Fenster-Verfahren gearbeitet. Alternativ kann relativ zur gewünschten Tonhöhe die nächst höhere Zweier-Potenz-Anzahl an Samples berechnet werden, und somit kann ein optimierter Fast Fourier Transform (FFT) Algorithmus genutzt werden. In der Praxis zeigt sich generell, dass sich der Umweg über die FFT lohnt. Die Transformation in die Zeitdomäne wird dann mit einer durch, je nach auszugebender Tonhöhe zunehmend durch "zero-padding", hochaufgelöste FFT (bzw. DFT) durchgeführt. Dies hat den Effekt, dass die resultierenden Wellenformen für zunehmende Tonhöhen in zunehmend stark übersampelter Form vorliegen und somit das Auslesen ohne Aliasing-Effekte möglich ist.
  • Durch diese Vorgehensweise, also die konstruktive Synthese in der Frequenzdomäne, erhält der Nutzer ein konstruktives System, mit welchem die Verteilung von Teiltönen und dessen zeitlichen Veränderungen innerhalb eines Signals präzise spezifiziert werden kann. Dies kann situationsbedingt vorteilhaft gegenüber der Zeitdömänen-Representation sein, da der Nutzer mit einem Werkzeug arbeitet, welches die Wellenform aus musikalisch verständlichen Teiltönen zusammensetzt. Es können auch in besonders vorteilhafter Auslegung eine konstruktive Zeitdomänen-Wellenform per oben beschriebener FFT erst in die Frequenzdomäne transformiert werden und anschließend die resultierenden Magnituden und Phasen anhand weiterer konstruktiven Wellenformen vor der oben beschriebenen Rücktransformation modifiziert werden. Dies spiegelt dann die gängige Vorgehensweise beispielsweise eines subtraktiven Synthesizers wieder, bei welchem der Oszillator (Zeitdomänen-Wellenform) durch einen Filter (Frequenzdomänen-Wellenformen) modifiziert wird.
  • Eine ganz besonders bevorzugte und auch als eigenständig erfinderisch angesehene Ausgestaltung des genannten Konzepts ist die Erzeugung der Wellenform bzw. der Wellenformsegmente durch additive oder konstruktive Überlagerung einzelner Komponenten, die ihrerseits bevorzugt nach dem genannten Konzept der Erzeugung durch Linearkombination aus geeigneten Basisfunktionen erzeugt werden. Diese können in weiterer vorteilhafter Ausgestaltung zusätzlich mit Parametern bestückt werden, die es erlauben, einzelne Komponenten in Relation mit anderen Komponenten zu setzen. Bei einer derartigen komponentenbasierten Synthese werden die genannten Komponenten bevorzugt in der Art standardisierter Bestandteile oder Bausteine bereitgestellt, aus denen die Wellenformen zusammengesetzt werden können. Die Komponenten stellen somit ihrerseits Bausteine oder Wellenelemente für die Synthese der Wellenform dar und werden ihrerseits in der Art einer Superposition aus den Basisfunktionen zusammengesetzt. Die aus den Komponenten zusammengesetzten Wellenformen werden sodann bevorzugt als Oszillator zur Generierung des Audiosignals und als Modulator zur Generierung von Kontrollsignalen genutzt. Die genannten Komponenten werden zweckmäßigerweise so gewählt, dass mit Ihnen auf einfache Weise Ergebnisse geformt werden können, welche typischerweise in synthetisch erzeugten digitalen Audiosignalen vorkommen.
  • Nachfolgend werden die besonders bevorzugten Komponenten beschrieben, die in einer apparativen Umsetzung des erfindungsgemäßen Konzepts bevorzugt benutzt werden. Je nach Anwendungszweck können aber auch andere Komponenten, ggf. ergänzend, vorteilhaft sein. Bevorzugt kommen die unten folgenden Komponenten zum Einsatz, wobei jede signalgenerierende Komponente (bis auf die Rauschkomponente) eine unabhängige Frequenz, Phase und Amplitude hat. Die Frequenz ist hierbei immer relativ zu einer Grundfrequenz, welche durch ein Steuersignal vom Nutzer angegeben wird. Als Wellenelemente der Komponenten werden besonders bevorzugt für einen erleichterten Zugriff bereitgehalten (vorzugsweise in der Art einer Bibliothek):
    • 1. eine Oszillatorkomponente
  • Die Oszillatorkomponente ist als sich veränderndes konstruktives Wellenelement gedacht, welches als grundsätzlicher Oszillator angesehen werden kann. Neben den Parametern der Kontrollpunkte und deren Attribute gibt es einen durch Kontrollsignale veränderbaren Frequenzoffset, Phasenoffset und Amplituden-Parameter. Das Frequenzoffset ist hierbei relativ zur auszugebenden Grundfrequenz zu sehen. Typischerweise kommen bei der Erzeugung eines komplexen Tons mehrere solcher Komponenten vor.
    • 2. eine Verschiebungskomponente
  • Diese Komponente besteht vorzugsweise ihrerseits aus einer konstruktiven Wellenform, welche allerdings eine von der Phase der Grundfrequenz abhängige Frequenzveränderung einer oder mehrerer anderer Oszillator- oder Treppenkomponenten (Zielwellenelemente) angibt. Ein Frequenzmultiplikator, welcher abhängig von der Grundfrequenz die Frequenz der Zielwellenform multipliziert, erlaubt es das sich wiederholende Zielwellenelement sich über die Zeit longitudinal verändern zu lassen. Im Ergebnis ist dieser Prozess ähnlich einer Frequenz-Modulation. Ein Sweep des Frequenzmultiplikator erlaubt es Phasensynchronisationseffekte zu realisieren. Da diese Frequenzveränderungen bei der konstruktiven Wellenformerzeugung zum Einsatz kommen, sind jegliche dieser Effekte bandlimitiert, sofern der Ansatz der Fourier Transformation, wie zuvor beschrieben, verfolgt wird.
    • 3. eine Hüllkurvenkomponente
  • Ähnlich wie die Verschiebungskomponenten besteht diese Komponente wiederum aus einer konstruktiven Wellenform, welche abhängig von der Phase der Grundfrequenz die Amplitude der Zielwellenkomponenten skaliert. Somit kann beispielsweise eine Hüllkurve erstellt werden, die eine zur Grundfrequenz phasensynchronisierte Frequenzmodulation des Zielwellenelements erlaubt, ohne dass Diskontinuitäten an den Rändern der Grundfrequenz entstehen.
    • 4. eine Treppenkomponente
  • Im Gegensatz zur Oszillatorkomponente basiert dieses Grundwellenelement nicht auf einer konstruktiven Wellenform - sie wird durch einen Step-Editor spezifiziert, welcher es erlaubt, Formen mit harten Kanten effizient darzustellen. Zusätzlich zu Frequenzoffset-, Phasenoffset- und Amplitudenparametern besitzt sie einen variablen 1 -poligen Tiefpassfilter, mit welchem der Grad der Schärfe eingestellt werden kann, welche durch die harten Kanten in das Signal gebracht werden soll.
    • 5. eine Rauschkomponente
  • Diese Komponente erzeugt weißes oder pinkes Rauschen und ergibt damit die Möglichkeit, ein Signal ohne Tonhöhe (ohne sich wiederholendes Muster) hinzuzumischen. Sie verfügt bevorzugt zusätzlich über eine Sample&Hold Funktionalität, welche es ermöglicht, neue Rauschwerte nur in bestimmten Zeitintervallen abzufragen. Das ist insbesondere in Hinsicht auf den Modulator-Kontext interessant. Zu guter Letzt besitzt diese Komponente auch einen 2-poligen Tiefpassfilter, mit welchem z.B. die Sample&Hold-Übergänge weicher gemacht werden können.
    • 6. eine spektrale Filterkomponente
  • Diese Komponente besteht wiederum aus einer konstruktiven Wellenform, welche allerdings in der Frequenzdomäne angewandt wird. Neben den Kontrollpunktparametern und deren Attributen besitzt sie keine weiteren Parameter. Ähnlich wie die Verschiebungskomponente und die Hüllkurvenkomponente kann sie auf die Oszillatorkomponenten und die Treppenkomponenten angewandt werden. Die Zielwellenkomponenten werden zur Anwendung basierend auf der aktuell gewünschten Tonhöhe in die Frequenzdomäne transformiert, und die Filterkomponentenwellenform, welche vorzugsweise Tonhöhenunabhängig hochaufgelöst vorliegt, wird per vorzugsweise trapezoidaler Integration auf das resultierende Magnituden-spektrum multiplikativ verteilt.
    • 7. eine spektrale Phasenverschiebungskomponente
  • Diese Komponente verhält sich analog zur spektralen Filterkomponente, mit dem Unterschied, dass deren Wellenform additiv auf das Phasenspektrum der Zielwellenform(en) verteilt wird.
    • 8. eine Masterkomponente
  • Diese Komponente beinhaltet vorzugsweise einen Parameter zur Amplitudenskalierung und/oder einen Parameter zur Spezifikation des so genannten Clipping-Verhaltens des final zusammengemischten Signals.
  • Das Ergebnis der Komponenten-Summierung ist die Wellenform. Alternativ kann man auch den Wertestrom einzelner Komponenten multiplizieren, um eine Ring-Modulation zu erzeugen. Innerhalb der Komponenten der Wellenform kann das Ausgangssignal der einzelnen Komponenten wiederum genutzt werden, um die Kontrollpunkte und Parameter in den anderen Komponenten zu modulieren. Im Falle des Oszillators erfolgt diese Modulation vorzugsweise in Audioraten und ermöglicht gängige Verfahren wie FM, AM, auch zwischen den Komponenten, etc. Des Weiteren können die Phasen der Komponenten miteinander synchronisiert werden und ermöglichen so z.B. Phase Sync.
  • Ein derartiges komponentenbasiertes Synthesekonzept erlaubt darüber hinaus ein neuartiges, besonders vorteilhaftes und ebenfalls als eigenständig erfinderisch angesehenes Konzept zur Visualisierung von Audiosignalen, das nachfolgend näher erläutert wird.
  • Gängige Visualisierungsverfahren bauen auf der gehörten Ergebniswellenform auf, also auf dem Audio-Signal als Ganzes, wobei keine Differenzierung zwischen einzelnen Bestandteilen des Signalflusses vorgenommen werden kann. Gängige Visualisierungsverfahren erlauben in der Regel nur die Erkennung von Frequenzen, beispielsweise mit Hilfe der Fourier Transformation, sowie die Erkennung von Transienten. Eine Darstellung, die aus den einzelnen Bestandteilen des Signalflusses hergeleitet wird, erlaubt es hingegen, eine Visualisierung unter Berücksichtigung des zugrunde liegenden Signal-Flusses des erzeugten Tons zu "konstruieren". Durch Auswahl der entsprechenden Werteströme innerhalb des Signalflusses kann der Betrachter über das Auge auf gewisse innere Vorgänge des Tons aufmerksam gemacht werden. Somit kann z.B. ein gleichbleibender Audiostrom alleine durch den visuellen Reiz, welcher verschiedene Vorgänge in der Zusammensetzung des Audiostroms hervorhebt, für den Hörer/Betrachter abwechslungsreich gestaltet werden. Daraus resultiert ein genaueres Tonverständnis, welches sowohl im Kontext von Sound-Design als auch im Kontext von Sound-Erfahrung von Vorteil ist.
  • Ein solcher "Konstruktiver Visualisierer" ist nicht als externes und auf einen Audiostrom aufgesetztes Instrument zu verstehen, sondern als in den Audiostrom integriertes Werkzeug, welches "gelenktes Hören" erlaubt. Das ungeübte Ohr hört einen Ton weniger differenziert als ein geschultes, außerdem kann das Ohr auf gewisse Bereiche in einem Ton fokussieren. Durch den visuellen Reiz kann man nun auf Details im Ton aufmerksam machen und die Fokussierung aller Betrachter/Hörer auf ein gewisses Element "lenken".
  • Für eine solche Visualisierung ist besonders bevorzugt vorgesehen:
    1. 1. Die Möglichkeit auf einzelne Bestandteile innerhalb eines Signal-Flusses zuzugreifen.
    2. 2. Ein Verfahren, welches aus den abgegriffenen Signalflüssen ein zusammenhängendes visuelles oder anders sensomotorisch wahrnehmbares Ergebnis produziert.
  • Gängige Audio-Visualisierungsverfahren erlauben es nicht, auf einzelne Werteströme innerhalb des Signal-Flusses zuzugreifen. Als Wertestrom erhält man in der Regel nur das finale Signal. Dieses Signal wird dann benutzt, um es zu analysieren und die Erkenntnisse aus der Analyse auf geeignete Weise zu visualisieren. Da diese Analyse das Signal als Ganzes betrachtet, ist es nicht möglich, ein einzelnes Element, welches zur Konstruktion des Audiostroms genutzt wurde, zu extrahieren.
  • Der "Konstruktive Visualisierer" setzt die beiden oben genannten Punkte um. Zunächst werden einzelne Bestandteile innerhalb des Signal-Flusses abgegriffen, bevorzugt unter Rückgriff auf die bei der Synthese des Audiosignals verwendeten Interpolations- bzw. Approximierungsverfahren. Im zweiten, vorzugsweise vorgesehenen Schritt formt ein integriertes Visualisierungsverfahren eine komplexe, sich verändernde und farbig getönte Geometrie anhand der abgegriffenen Signalflüsse.
  • Bei der oben beschriebenen komponentenbasierten konstruktiven Synthese ist es möglich, einzelne Bestandteile des Signal-Flusses an beliebigen Komponenten abzugreifen oder anhand der ihnen zugeordneten Kontrollpunkte zu rekonstruieren. Diese Komponenten enthalten zusätzliche Informationen wie die Frequenz und die Phase der ausgehenden Werteströme. Sie bilden die Basis für die Realisierung der ausdruckstarken Visualisierung, welche nachfolgend beschrieben wird.
  • Generell können einzelne Bestandteile des Signal-Flusses, soweit durch ein Interface zur Verfügung gestellt, in jedem System abgegriffen werden. Durch die komponentenbasierte konstruktive Synthese ist allerdings der besondere Vorteil gegeben, dass die für die Erzeugung der einzelnen Komponenten für die jeweiligen Wellensegmente erforderlichen Parameter, nämlich die Kontrollpunkte und deren Attribute und ggf. die weiteren Parameter der Komponenten, vorliegen und/oder archiviert sind, so dass das Ergebnis der Synthese und dessen zeitlicher Verlauf auf der Basis des aktuell vorliegenden Kontrollsignalstandes voll durchdefiniert sind. Somit kann neben dem gehörten Ergebnis auch eine Projektion des noch zu hörendem Ergebnisses, welches sich zu jeder Zeit anhand des aktuellen Modulationsstand anpasst, visualisiert werden. Bei herkömmlichen, beispielsweise konvolutionsbasierten Verfahren ist dies nicht möglich, da ein zukünftiger Schritt von dem vorherigen Input abhängig ist und somit nicht vorausgesagt werden kann.
  • Eine besonders bevorzugte Möglichkeit, die Werteströme ausgewählter Bestandteile innerhalb des Signalflusses zu visualisieren, wird im Folgenden aufgeführt. Diese bevorzugte Visualisierung setzt sich insbesondere als Ziel, eine einheitliche und sich zeitlich verändernde und färbende Geometrie aus den abgegegriffenen und/oder projizierten Signalen der Komponenten zu realisieren. Für die Durchführung der Visualisierung wird dabei vorteilhafterweise wie folgt vorgegangen:
  • Als Ausgangspunkte dienen ein dreidimensionalen Raum und eine definierbare Menge an Vertexen. Jedes Vertex hat eine X-, Y- und Z-Koordinate (Dimensionen) und ist mit einem rot, grün und blau Wert assoziiert (Farbkanäle).
  • Für jede Dimension und für jeden Farbkanal können anhand der vorliegenden Parameter Signale aus dem Signal-Fluss abgegriffen oder ermittelt werden, welche die Werte der ausgewählten Dimension oder des Farbkanals bestimmen. Anstelle eines abgegriffenen oder projizierten Signals kann wahlweise dafür auch ein linearer Verlauf oder ein konstanter Wert vorgegeben werden. Hiermit hat das Mesh, welches anhand der Vertexe erzeugt wird, die theoretische Möglichkeit, jegliche Art von dreidimensionaler Form und Färbung anzunehmen. Die einzelnen Dimensionen/Farbkanäle können unabhängig voneinander skaliert und das komplette Mesh im dreidimensionalen Raum um jede Achse rotiert und verschoben werden. Diese Skalierung, Rotation und Verschiebung kann auch über Kontrollsignale oder Steuersignale zeitlich verändert werden.
  • Bevorzugtes Ziel ist, die Veränderung der abgegriffenen und/oder projizierten Werteströme über die Zeit, unabhängig von deren Grundfrequenzen, zu visualisieren, damit mit einer ganzen Periode in einem Schritt gearbeitet werden kann und somit eine Ermittlung unabhängig von der Frequenz möglich ist. Hierzu wird bevorzugt die Information der Frequenz des Signals in den Komponenten zur Verfügung gestellt. Alternativ, insbesondere für den Fall, dass die Frequenzinformation nicht explizit vorliegt, kann sie auch analytisch ermittelt werden.
  • Um des Weiteren zum momentan Zustand auch die Möglichkeit zu bieten, vergangene und/oder zukünftige Werteströme gleichzeitig zu visualisieren, wird vorteilhafterweise für jede Dimension und für jeden Farbkanal ein zweidimensionaler Puffer benutzt - eine Dimension für die Periode des Wertestroms und die zweite Dimension für die Zeit.
  • Das Mapping des abgegriffenen Signals auf einen Dimensionen/Farbkanal-Puffern kann dabei auf folgende Arten erfolgen:
    1. 1. Waterfall running
      Hierbei wird das abgegriffene Signal in die erste Reihe des Puffers geschrieben. Alle anderen Reihen werden nach hinten verschoben und die letze Reihe entfällt. Das kann effizient in Form eines zirkulären Puffers realisiert werden.
    2. 2. Waterfall stationary
      Hierbei wird das abgegriffene Signal in die n-te Reihe des Puffers geschrieben, wobei n jedes Mal hochgezählt wird. Falls n die Anzahl der Reihen überschreitet, wird es wieder auf null gesetzt.
    3. 3. 2D Interpolation
      Hierbei wird für jede Dimension des Puffers ein eigenes Signal abgegriffen und die Werte werden durch bilineare Interpolation erzeugt.
  • Um das Mapping von abgegriffenen Signalen auf die einzelnen Dimensionen/Farbkanäle zu realisieren, werden bevorzugt Vertex- und Fragment-Shader genutzt, welche von dem OpenGL-Standard zur Verfügung gestellt werden. Vertex und Fragment Shader können auf zweidimensionale Datenquellen (Texturen) zugreifen. Diese Möglichkeit wird genutzt, um die Geometrie zu erstellen. Für jede Dimension und für jeden Farbkanal wird eine dedizierte Textur erstellt. Jede Textur hat die gleiche Größe (#x-Werte * #y-Werte) und diese bestimmt auch die Anzahl der verfügbaren Vertexe. Die Texturen werden so über die Vertexe gemappt, dass jedes Texel (ein Punkt in der Textur) ein Vertex identifiziert. Der Vertex-Shader kann jetzt für jedes Vertex eine Position anhand des entsprechenden Texels aus der Textur der jeweiligen Dimension auslesen. Gleiches gilt für den Fragment-Shader, wobei dieser die Flächen zwischen den Vertexen mit Farbwerten ausfüllt, welche mittels Interpolation der Farbwerte der Texel aus den umgebenden Vertexen hergeleitet werden.
  • Somit ist die Möglichkeit gegeben, anhand zweidimensionaler Texturen, jede erdenkliche dreidimensionale Form und Färbung zu generieren.
  • Generell kann folgendes über die Dimensionen gesagt werden:
    • Wenn alle Dimensionen konstant sind, resultiert ein Punkt.
    • Wenn zwei Dimensionen konstant sind kann eine Linie resultieren.
    • Wenn eine Dimension konstant und eine linear ist, können x-y Graphen generiert werden.
    • Wenn eine Dimension konstant ist, können beliebige Linien/Kurven/Kreise gezeichnet werden.
    • Wenn zwei Dimensionen linear sind, können Höhenfelder/Topographien generiert werden.
    • Wenn eine Dimension linear ist, können z.B. schlauchartige Gebilde generiert werden.
    • Wenn keine Dimension konstant oder linear ist, können z.B. gekrümmte schlauchartige Gebilde (Donuts) generiert werden.
  • Gleiches gilt grundsätzlich auch für die Farbkanäle.
  • Durch die genannte Visualisierung auf Basis der komponentenbasierten konstruktiven Synthese ist es somit möglich, gewisse Merkmale des gehörten Tons zeitlich exakt synchronisiert und visuell hervorgehoben darzustellen. Da visuelle Reize auf bestimmte Details in einen Ton aufmerksam machen können, erlaubt diese Visualisierung ein intensiveres und genaueres Zuhören. Außerdem sind die Ausdrucksmöglichkeiten unbegrenzt, da jede erdenkliche Geometrie erzeugt werden kann. Dieses ist sowohl für den Produzenten als auch den Zuhörer ein attraktiver Nutzen, den nachträgliche und nicht in den Signal-Fluss integrierte Verfahren nicht bieten können. Natürlich kann die so erzeugte Geometrie in einem weiteren Post-Processing Schritt durch beispielsweise konvolution- bzw. feedbackbasierte Bildberarbeitungsalgorithmen weitergehend modifiziert werden.
  • Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass durch die konstruktive Synthese durch den Rückgriff auf die segmentweise Zerlegung der Wellenform in eine Linearkombination aus Basisfunktion besondere Transparenz und auch Handhabbarkeit bezüglich der Beschaffenheit der Wellenform schafft. Dadurch werden unter anderem Veränderungen und Beeinflussungen der Wellenform, auch unter Berücksichtigung von deren zukünftigem Verlauf oder Verhalten, geschaffen, die mit bisherigen Methoden nicht möglich sind. Gegenüber den bisher bekannten, als "Blackbox"-Verfahren anzusehenden Konzepten kann die nun vorgesehen konstruktive Synthese als "Whitebox"-Verfahren aufgefasst werden, bei welchem der Nutzer volle Transparenz bezüglich der entstehenden Wellenform hat und deren Formgebung und zeitliche Veränderung explizit spezifiziert. In der bevorzugten apparativen Umsetzung fungiert der Nutzer darüber hinaus als "Greybox"-Ersteller, indem er Parameter innerhalb der Whitebox definiert, welche ausserhalb der Whitebox zur Verfügung stehen. Somit kann das vom Nutzer definierte Verhalten der Whitebox, wie bei herkömmlichen SyntheseVerfahren, über Parameter gesteuert werden. Allerdings hat der Nutzer dabei die Möglichkeit der Einsicht in die Whitebox und kann die inneren Vorgänge im Entstehungsprozess des Tons und dessen Parameter nachvollziehen und verändern.
  • Der Vorteil dieser Vorgehensweise ist grenzenlose gestalterische Freiheit hinsichtlich der Definition der Wellenform deren zeitlicher Veränderung. Es können Ergebnisse erstellt werden, welche mit den Parametern der Blackbox-Verfahren nicht vorgesehen oder überhaupt möglich sind.
  • Ein Ausführungsbeispiel der Erfindung wird anhand einer Zeichnung näher erläutert. Darin zeigen:
    • FIG. 1
    einen Synthesizer zur synthetischen Erzeugung eines digitalen Audiosignals, und
    FIG. 2 - 9
    jeweils eine Sequenz einer auf einer Anzeigeeinheit des Synthesizers nach FIG. 1 dargestellten und dort editierten Wellenform.
  • Gleiche Teile sind in allen Figuren mit denselben Bezugszeichen versehen.
  • Der Synthesizer 1 gemäß FIG. 1 umfasst eine Zentraleinheit 2, insbesondere einen Rechner, in dem die Bearbeitung eines sogenannten Oszillators oder einer Wellenform erfolgen kann, der je nach der gewünschten Anpassung hinsichtlich Tonhöhe, Klangfarbe oder sonstigen musikalischen Effekten bedarfsweise modifiziert werden kann. Der Oszillator oder die Wellenform wird aus der Konstruktion von stückweisen Basisfunktionen und Kontrollpunkten im Kontext des Systems (Komponenten, zeitliche Veränderungen etc), welches als Datensatz in dem Speicher 4 hinterlegt ist, generiert. Da sich die Kontrollpunkte kontinuierlich evaluieren lassen, ist das resultierende Konstrukt auch kontinuierlich evaluierbar. Daher ist eine Abtastung des grundliegenden Konstrukts in beliebiger Frequenz möglich und somit können beliebige Tonhöhen erzeugt werden. Das Abtasten findet mit einer konstanten Sample-Rate statt, und die abgetasteten Werte werden, ggf. nach spektraler Bandlimitierung und Weiterbearbeitung, mit einer konstanten Bit-Tiefe in einem Speicher 4 hinterlegt und/oder als digitales Audiosignal direkt ausgegeben, das in einem nachgeschalteten Digital-Analog-Wandler 10 in ein analoges Audiosignal umgewandelt wird. Das analoge Audiosignal wird dann zur Ansteuerung einer nachgeschalteten Lautsprechereinheit 12 genutzt und dieser zugeführt.
  • Der Synthesizer 1 ist gezielt dafür ausgelegt, dem Nutzer einen besonders einfach gehaltenen und intuitiven Zugang zur Veränderung und kreativen Umgestaltung der der Abtastung zugrunde gelegten Wellenform zu ermöglichen. Dazu ist der Zentraleinheit 2 eine Bearbeitungseinheit 20, also insbesondere ein Editor, zugeordnet, über die eine Modifikation oder Bearbeitung des in die Zentraleinheit eingelesenen Oszillators oder der in der Zentraleinheit 2 vorliegenden Wellenform möglich ist. An die Zentraleinheit 2 ist zudem eine Anzeigeeinheit 22, also insbesondere ein Bildschirm oder ein Display, angeschlossen, über die die Bearbeitung der vorliegenden Wellenform direkt angezeigt und für den Benutzer nachvollziehbar gemacht wird. Im Ausführungsbeispiel ist die Bearbeitungseinheit 20 als von der Anzeigeeinheit getrennte, separate Einheit ausgeführt. Alternativ kann sie aber auch in besonders bevorzugter Ausgestaltung in die Anzeigeeinheit 22 integriert sein, insbesondere durch Ausgestaltung als Touch screen.
  • Um die Bearbeitung der Wellenform besonders zu vereinfachen und auch neuartige Effekte beispielsweise durch Extrapolation von Werten oder dergleichen zu ermöglichen, wird die Wellenform für die Bearbeitung in der Zentraleinheit 2 in einer besonders verarbeitungsfreundlichen Weise bereitgestellt. Dazu wird die Wellenform in eine Anzahl von zeitlich aufeinanderfolgenden Wellensegmenten aufgeteilt, so dass die Wellenform insgesamt durch Zusammensetzung der zeitlich (oder bei Bearbeitung in der Frequenzdomäne in der Frequenz) aufeinanderfolgenden Wellensegmente erhältlich ist. Jedes Wellensegment wird dabei in der Art einer mathematischen Zerlegung durch eine segmentspezifische Linearkombination aus einer Anzahl von Basisfunktionen und Kontrollpunkten nachgebildet, wobei im Ausführungsbeispiel als Basisfunktionen die besonders bevorzugten kubischen Polynome, oder mit anderen Worten Polynomialfunktionen dritter Ordnung, verwendet werden. Die Linearkoeffizienten für jedes Wellensegment werden im Interpolations-basierten Ausführungsbeispiel derart gewählt, dass das jeweilige Wellensegment an seinen Segmenträndern jeweils vorgebbare, veränderbare Amplitudenrandwerte und Steigungen aufweist.
  • Damit ist eine benutzergeführte Veränderung oder Bearbeitung der Wellenform durch entsprechende Modifikation der jeweiligen Linearkoeffizienten möglich, so dass mit einer vergleichsweise begrenzten Anzahl von Parametern auch Veränderungen hoher Komplexität vorgenommen werden können.
  • Die Anzahl der Segmente bei dieser Zerlegung der Wellenform kann vom Benutzer vorgegeben und auch modifiziert werden. Dabei kann insbesondere berücksichtigt werden, ob und inwieweit innerhalb der Wellenform Abschnitte vorliegen oder vorliegen sollen, die durch eine bestimmte Charakteristik oder ein bestimmtes Verhalten gekennzeichnet sein sollen; es kann für den Benutzer zweckmäßig sein, derartigen individualisierten Abschnitten innerhalb der Wellenform jeweils ein eigenes Wellensegment zuzuordnen, so dass eine gezielte und selektive Modifikation des jeweiligen Abschnitts ermöglicht ist.
  • Beispiele für derartig modifizierbare Wellenformen sind in Form von Sequenzen von Screenshots oder Momentaufnahmen der Anzeigeeinheit 22 in den FIG 2 bis 9 gezeigt. Die dort jeweils als Amplitudenlinie 30 dargestellte Wellenform umfasst die Wellensegmente 32, die an ihren Segmenträndern 34 an so genannten Anfasspunkten 36 in das jeweils benachbarte Wellensegment 32 übergehen. Die Linearkoeffizienten für jedes Wellensegment 32 werden im besonders bevorzugten Ausführungsbeispiel derart gewählt, dass das jeweilige Wellensegment 32 an seinen Segmenträndern 34 jeweils eine vorgebbare, veränderbare Randsteigung aufweist. Die Amplitudenrandwerte und die Randsteigungen sind dabei über die Bearbeitungseinheit 20, also insbesondere über den Touch screen, direkt veränderbar, indem die Anfasspunkte 36 ausgewählt und über ein kontextbezogenes Menü oder einen kontextbezogenen Editor die entsprechenden Werte eingegeben werden.
  • Die Amplitudenrandwerte und die Randsteigungen können zusätzlich zur unmittelbaren Veränderung durch den Benutzer auch entsprechend einer im Speicher 4 hinterlegten Modulationsfunktion zeitlich verändert werden. Dabei könnten beispielsweise eine periodische Veränderung der jeweiligen Parameter in der Art einer Oszillation oder auch eine lineare Veränderung im Sinne einer kontinuierlichen Vergrößerung des jeweiligen Parameters oder beliebige weitere Veränderungen vorgesehen sein.
  • Im Ausführungsbeispiel ist dabei in ganz besonders bevorzugter Ausgestaltung vorgesehen, dass die jeweilige Modulationsfunktion ihrerseits aus einer Anzahl von zeitlich aufeinanderfolgenden, jeweils durch eine segmentspezifische Linearkombination aus einer Anzahl von Basisfunktionen und Kontrollpunkten definierten Wellensegmenten zusammengesetzt wird, wobei im Ausführungsbeispiel die Linearkoeffizienten für jedes Wellensegment derart gewählt werden, dass das jeweilige Wellensegment an seinen Segmenträndern jeweils vorgebbare, veränderbare Amplitudenrandwerte und/oder Randsteigungen aufweist. Nach einer Veränderung eines Amplitudenrandwerts und/oder einer Randsteigung die Linearkoeffizienten für das von diesem begrenzte Wellensegment neu berechnet werden.
  • Anhand der in den FIG. 2 bis 9 dargestellten Sequenzen werden einige mögliche Modifikationen beispielhaft dargestellt. Diese können einzeln oder in beliebiger Kombination miteinander zur wunschgemäßen und kreativen Modifikation der Wellenform angewendet werden.
  • In der Sequenz gemäß FIG. 2 ist dabei das Beispiel der Veränderung der Wellenform durch horizontale Verschiebung eines Kontroll- oder Anfasspunkts 36 dargestellt. Im Anfangszustand gem. FIG. 2a ist die in Form der Amplitudenlinie 30 vorliegende Wellenform dabei hinsichtlich der x- oder Periodenphasenachse in der Art einer symmetrischen Ausgestaltung ausgeführt und umfasst zwei Wellensegmente 32, die an ihrem gemeinsamen Segmentrand 34 über den Kontroll- oder Anfasspunkt 36 verbunden sind und ineinander übergehen. In der Zentraleinheit 2 wird in jedem der zeitlich aufeinanderfolgenden Wellensegmente 32, aus denen die Wellenform zusammengesetzt wird, anhand eines segmentspezifischen kubischen Polynoms, also einer segmentspezifischen Linearkombination aus einer Anzahl von als Basisfunktionen verwendeten Polynomen, die Amplitudenlinie 30 im jeweiligen Wellensegment 32 berechnet und auf der Anzeigeeinheit dargestellt. Damit ist in jedem Wellensegment 32 der diesem entsprechende Anteil der Wellenform mathematisch definiert und anhand einer vergleichsweise geringen Anzahl von vier Koeffizienten (d. h. die Linearkoeffizienten für die Polynome bis zur dritten Ordnung) charakterisiert. Mit diesen kann das jeweilige Wellensegment 32 für den aktuellen Zustand beschrieben, bei Bedarf aber auch in die Zukunft extrapoliert werden. Somit wird innerhalb jedes Wellensegments 32 die entsprechende "Teilwellenform" konstruktiv oder additiv durch lineare Überlagerung einer Anzahl von als Basis-Wellenfunktionen vorgesehener Polynome erzeugt.
  • Die Linearkoeffizienten für jedes Wellensegment 32 werden dabei derart gewählt, dass die Amplitudenlinie 30 im jeweiligen Wellensegment 32 an seinen Segmenträndern 34 jeweils vorgebbare, veränderbare Amplitudenrandwerte aufweist. Am durch den in FIG. 2c dargestellten Kontroll- oder Anfasspunkt 36 definierten Übergangspunkt zwischen den benachbarten Wellensegmenten 32 werden diese im dargestellten Beispiel für einen stetigen Übergang zwischen den benachbarten Wellensegmenten 32 geeignet gewählt.
  • Zur Modifizierung der Wellenform, beispielsweise zur Umsetzung künstlerischer oder kreativer Effekte, kann mit Hilfe der Bearbeitungseinheit 20 der Kontroll- oder Anfasspunkt 36 verschoben werden oder mittels Kontextmenu eine automatische Verschiebung anhand von Kontrollsignalen spezifiziert werden. Entsprechend werden die Linearkoeffizienten der kubischen Polynome in den Wellensegmenten 32 neu berechnet und ermittelt, um die modifizierte Gestaltung korrekt wiederzugeben. Die so modifizierte Wellenform wird anschließend anhand ihrer mathematischen Definition über die konstruktive Synthese für die zur Tonerzeugung vorgesehene Abtastung bereitgestellt.
  • In der Sequenz gem. FIG. 2 ist eine Modifikation der Wellenfunktion durch Verschiebung des Kontroll- oder Anfasspunkts 36 in x-Richtung, entsprechend der Zeitachse der Wellenfunktion, dargestellt. Im Vergleich zu FIG. 2a stellt dabei FIG. 2b die Wellenfunktion nach der Verschiebung des Kontroll- oder Anfasspunkts 36 nach links, FIG. 2c hingegen nach rechts dar. Eine derartige Verschiebung in x-Richtung bedeutet im übrigen auch, dass sich die Grenze zwischen den Wellensegmenten 32 entsprechend verschiebt, d. h. dass in zeitlicher Hinsicht jeweils eines der Wellensegmente 32 nach der Verschiebung einen entsprechend größeren Anteil am zeitlichen Intervall der Wellenfunktion insgesamt einnimmt. Entsprechend ist in der Sequenz gem. FIG. 3 eine Modifikation der Wellenfunktion durch Verschiebung des Kontroll- oder Anfasspunkts 36 in y-Richtung, entsprechend der Amplitude der Wellenfunktion, dargestellt. Im Vergleich zu FIG. 3a stellt dabei FIG. 3b die Wellenfunktion nach der Verschiebung des Kontroll- oder Anfasspunkts 36 nach oben, FIG. 3c hingegen nach unten dar. Eine derartige Verschiebung in y-Richtung bedeutet im Wesentlichen eine entsprechende Veränderung der Amplitude der Wellenfunktion insgesamt.
  • Die Linearkoeffizienten der kubischen Polynome in den Wellensegmenten 32 sind zum Einen derart gewählt, dass das jeweilige Wellensegment 32 an seinen Segmenträndern 34 die jeweils vorgebbaren, ggf. über die Kontroll- oder Anfasspunkte 36 veränderbare Amplitudenrandwerte aufweist. Darüber hinaus sind die Linearkoeffizienten der kubischen Polynome für jedes Wellensegment 32 aber auch derart gewählt, dass das jeweilige Wellensegment 32 an seinen Segmenträndern 34 jeweils eine vorgebbare Randsteigung aufweist. Diese ist vom Benutzer individuell veränderbar, was im Ausführungsbeispiel durch geeignete Konfigurierung des Editors anhand einer Rotation des jeweiligen Kontroll- oder Anfasspunkts 36, in seiner Gesamtheit oder auch für jeden Segmentrand 34 unabhängig, ermöglicht ist. Ein Beispiel für eine derartige Rotation des Kontroll- oder Anfasspunkts 36, bei dem am Segmentrand 34 zwischen den Wellensegmenten 32 beidseitig die Randsteigungen einander entsprechend verändert werden, ist in der Sequenz gemäß FIG. 4 gezeigt. Demgegenüber zeigt die Sequenz gem. FIG. 5 ein Beispiel dafür, dass die Randsteigungen beidseitig des Segmentrands 34 zwischen den Wellensegmenten 32 getrennt voneinander verändert werden. Eine derartige getrennte Änderung der Randsteigungen resultiert in einer Veränderung der Winklung im Kontroll- oder Anfasspunkt 36.
  • Die Anzahl der Kontroll- oder Anfasspunkte 36 und damit die Anzahl der Wellensegmente 32, aus denen die Wellenfunktion zusammengesetzt wird, ist ebenfalls vom Benutzer veränderbar. Ein Beispiel für das Hinzufügen oder Entfernen von Kontroll- oder Anfasspunkten 36 und damit einhergehend die Modifikation der Anzahl der Wellensegmente 32 ist in der Sequenz gem. FIG. 6 dargestellt.
  • Durch geeignete Superposition können auf analoge Weise auch Modulationen einer Wellenfunktion als solche editiert und verändert werden. Beispiele hierfür sind in den Sequenzen gem. FIG. 7 (Amplitudenmodulation einer konstruktiven Wellenform durch Verschiebung eines Kontroll- oder Anfasspunkts 36 einer anderen konstruktiven Wellenform) und FIG. 8 (Frequenzmodulation einer konstruktiven Wellenform durch Rotation eines Kontroll- oder Anfasspunkts 36 einer anderen konstruktiven Wellenform) dargestellt.
    • Bezugszeichenliste
    • 1
    Synthesizer
    2
    Zentraleinheit
    4
    Speicher
    10
    Digital-Analog-Wandler
    12
    Lautsprechereinheit
    20
    Bearbeitungseinheit
    22
    Anzeigeeinheit
    30
    Amplitudenlinie
    32
    Wellensegment
    34
    Segmentrand
    36
    Anfasspunkt

Claims (13)

  1. Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals durch Nutzung von wiederkehrend errechneten Amplitudenwerten einer Wellenform, die durch einen periodenphasen- oder frequenzabhängigen, durch Approximation oder Interpolation zwischen einer Anzahl von durch Amplituden-Periodenphase-, Magnituden-Frequenz- bzw. Phasen-Frequenz- Wertepaaren gebildeten Kontrollpunkten gebildeten Verlauf bestimmt ist, wobei die Kontrollpunkte in ihren Parameterwerten und/oder sonstigen Attributen durch jeweils zugeordnete Kontrollsignale veränderbar sind, und wobei für die Errechnung der Amplitudenwerte die Approximation oder Interpolation der durch die aktuell vorliegenden Kontrollsignale bestimmten Kontrollpunkte zugrundegelegt wird.
  2. Verfahren nach Anspruch 1, bei dem die Amplituden- , Magnituden- bzw. Phasenwerte der Kontrollpunkte einerseits und die Periodenphase- bzw. Frequenzwerte der Kontrollpunkte andererseits jeweils von individuell zugeordneten Kontrollsignalen unabhängig voneinander veränderbar sind.
  3. Verfahren nach Anspruch 1 oder 2, beim dem sonstige Attribute der Kontrollpunkte jeweils von individuell zugeordneten Kontrollsignalen unabhängig von den Amplituden- bzw. Magnituden- bzw. Phasenwerten und/oder den Periodenphasen- bzw. Frequenzwerten der Kontrollpunkte veränderbar sind.
  4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem zur Approximation bzw. Interpolation des Verlaufs zwischen Kontrollpunkten Polynom basierte Interpolation, Bézier-Kurven, b-splines oder NURBS verwendet werden, wobei die Rahmenbedingungen des Interpolationsverfahrens bei einer Veränderung der Kontrollpunkte und/oder ihrer Attribute angepasst werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Wellenform aus einer Anzahl von innerhalb einer Periodenphase oder eines Frequenzbandes aufeinanderfolgenden, jeweils durch eine segmentspezifische Linearkombination aus einer Anzahl von Basisfunktionen definierten Wellensegmenten (32) zusammengesetzt wird, wobei die Wellensegmente (32) an ihren Segmenträndern (34) über jeweils einen der Kontrollpunkte mit dem jeweils benachbarten Wellensegment (32) verbunden sind, und wobei für jedes Wellensegment (32) diejenigen Linearkoeffizienten ermittelt werden, mit denen das jeweilige Wellensegment (32) an seinen Segmenträndern (34) im Rahmen des dortigen Kontrollpunkts jeweils vorgebbare, veränderbare Amplituden- bzw. Magnituden- bzw. Phasenrandwerte aufweist, und wobei während der wiederkehrenden Berechnung der Werte jeweils aktualisierte Linearkoeffizienten für das jeweilige Wellensegment (32) ermittelt und für die Berechnung der Werte zugrundegelegt werden.
  6. Verfahren nach Anspruch 5, bei dem für jedes Wellensegment (32) diejenigen Linearkoeffizienten ermittelt und für die Errechnung der Werte in der nachfolgenden Berechnungsperiode zugrundegelegt werden, mit denen das jeweilige Wellensegment (32) an seinen Segmenträndern (34) jeweils eine vorgebbare, veränderbare Randsteigung aufweist.
  7. Verfahren nach Anspruch 5 oder 6, bei dem als Basisfunktionen Polynomialfunktionen, vorzugsweise dritten Grades, verwendet werden.
  8. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Wellenform aus einer Anzahl von innerhalb einer Periodenphase oder eines Frequenzbandes aufeinanderfolgenden, jeweils durch eine segmentspezifische Linearkombination aus einer Anzahl von Basisfunktionen und Kontrollpunkten definierten Wellensegmenten (32) zusammengesetzt wird, wobei die Wellensegmente (32) an ihren Segmenträndern (34) in der Nähe von jeweils einem der Kontrollpunkte mit dem jeweils benachbarten Wellensegment verbunden sind, und wobei während der wiederkehrenden Berechnung der Werte jeweils die Linearkombination der aktuellen Kontrollpunkte mit den zugewiesenen Basisfunktionen zugrundegelegt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, bei dem die Wellenform zu Bearbeitungszwecken auf einer Anzeigeeinheit (22) dargestellt wird.
  10. Verfahren nach einem der Ansprüche 1 bis 9, bei dem die Kontrollpunkte über ein Eingabegerät (20) veränderbar sind.
  11. Verfahren nach einem der Ansprüche 1 bis 10, bei dem die Kontrollpunkte entsprechend einer in einer Speichereinheit (4) hinterlegten Modulationsfunktion zeitlich verändert werden.
  12. Verfahren nach Anspruch 11, bei dem die Modulationsfunktion ihrerseits durch Nutzung von wiederkehrend errechneten Amplitudenwerten einer Wellenform erzeugt wird, die durch einen periodenphasen- oder frequenzabhängigen, durch Approximation oder Interpolation zwischen einer Anzahl von durch Amplituden-Periodenphasen- bzw. Amplituden-Frequenz-Wertepaaren gebildeten Kontrollpunkten gebildeten Amplitudenverlauf über ein vorgegebenes Intervall bestimmt ist, wobei die Kontrollpunkte in ihren Parameterwerten und/oder sonstigen Attributen durch jeweils zugeordnete Kontrollsignale veränderbar sind, und wobei für die Errechnung der Amplitudenwerte die Interpolation der durch die aktuell vorliegenden Kontrollsignale bestimmten Kontrollpunkte zugrundegelegt wird.
  13. Verfahren nach einem der Ansprüche 1 bis 12, bei dem mindestens zwei voneinander unabhängige Kontrollsignale vorgesehen sind.
EP15707298.4A 2014-02-11 2015-02-09 Verfahren zur synthetischen erzeugung eines digitalen audiosignals Active EP3105753B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14154741.4A EP2905774A1 (de) 2014-02-11 2014-02-11 Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals
PCT/EP2015/052630 WO2015121194A1 (de) 2014-02-11 2015-02-09 Verfahren zur synthetischen erzeugung eines digitalen audiosignals

Publications (2)

Publication Number Publication Date
EP3105753A1 EP3105753A1 (de) 2016-12-21
EP3105753B1 true EP3105753B1 (de) 2018-01-31

Family

ID=50072983

Family Applications (2)

Application Number Title Priority Date Filing Date
EP14154741.4A Withdrawn EP2905774A1 (de) 2014-02-11 2014-02-11 Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals
EP15707298.4A Active EP3105753B1 (de) 2014-02-11 2015-02-09 Verfahren zur synthetischen erzeugung eines digitalen audiosignals

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP14154741.4A Withdrawn EP2905774A1 (de) 2014-02-11 2014-02-11 Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals

Country Status (6)

Country Link
US (1) US9741329B2 (de)
EP (2) EP2905774A1 (de)
DK (1) DK3105753T3 (de)
ES (1) ES2667492T3 (de)
NO (1) NO3105753T3 (de)
WO (1) WO2015121194A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2905774A1 (de) * 2014-02-11 2015-08-12 JoboMusic GmbH Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals
US10565973B2 (en) * 2018-06-06 2020-02-18 Home Box Office, Inc. Audio waveform display using mapping function

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0053892B1 (de) * 1980-11-28 1985-08-28 Casio Computer Company Limited Steuerungsvorrichtung für die Hüllkurve in einem elektronischen Musikinstrument
US5340938A (en) * 1990-04-23 1994-08-23 Casio Computer Co., Ltd. Tone generation apparatus with selective assignment of one of tone generation processing modes to tone generation channels
GB9318524D0 (en) * 1993-09-07 1993-10-20 Ethymonics Ltd Tone generator
US6124542A (en) * 1999-07-08 2000-09-26 Ati International Srl Wavefunction sound sampling synthesis
US8247677B2 (en) * 2010-06-17 2012-08-21 Ludwig Lester F Multi-channel data sonification system with partitioned timbre spaces and modulation techniques
EP2905774A1 (de) * 2014-02-11 2015-08-12 JoboMusic GmbH Verfahren zur synthetischen Erzeugung eines digitalen Audiosignals

Also Published As

Publication number Publication date
US20170011727A1 (en) 2017-01-12
WO2015121194A1 (de) 2015-08-20
EP3105753A1 (de) 2016-12-21
NO3105753T3 (de) 2018-06-30
DK3105753T3 (da) 2018-05-07
EP2905774A1 (de) 2015-08-12
US9741329B2 (en) 2017-08-22
ES2667492T3 (es) 2018-05-11

Similar Documents

Publication Publication Date Title
US10365890B2 (en) Multi-channel data sonification system with partitioned timbre spaces including periodic modulation techniques
EP1878308B1 (de) Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle
EP2189010B1 (de) Eine vorrichtung und ein verfahren zur ermittlung eines komponentensignals in hoher genauigkeit
DE3936693C2 (de) Vorrichtung zum Erzeugen digitaler Audiosignale
DE2945413C1 (de) Verfahren und Vorrichtung zur Synthetisierung von Sprache
DE2926090A1 (de) Tonerzeugungsverfahren
DE19726271C2 (de) Verfahren und Vorrichtung zur Nachbildung von Maschinengeräuschen
WO2006089683A1 (de) Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systems
DE60024157T2 (de) Vorrichtung und Verfahren zur Eingabe eines Vortragstils
US8037413B2 (en) Brush tool for audio editing
EP3105753B1 (de) Verfahren zur synthetischen erzeugung eines digitalen audiosignals
DE2513127C2 (de) Verfahren zum künstlichen Erzeugen eines musikalischen Klangs
DE3604686C2 (de)
DE60305944T2 (de) Verfahren zur synthese eines stationären klangsignals
EP1239453B1 (de) Verfahren und Vorrichtung zur Klangsignalerzeugung
DE60130654T2 (de) Verfahren zur verarbeitung eines signals
EP2228798B1 (de) Verfahren und Vorrichtung zum Editieren eines Audiosignals
EP1033035B1 (de) Einheit und verfahren zum transformieren und sichtbarmachen von akustischen signalen
DE10210978C1 (de) Verfahren und eine Vorrichtung zur Veränderung der zeitlichen Dauer und/oder der Tonhöhe eines diskreten Audiosignals, Computerprogramm und Datenträger
DE112020007385T5 (de) Ein Arbitrary-Waveform-Generator mit erweiterter Befehlssteuerung
DE10302448B4 (de) Verfahren zur synchronisierten Veränderung der Tonhöhe und -länge eines Audiosignals
DE10145360A1 (de) Verfahren zur Umsetzung bzw. Aufzeichnung von Musik in 3-dimensional-räumliche Gebilde bzw. deren Bewegungen im Raum

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20160908

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G10H 7/08 20060101AFI20170920BHEP

Ipc: G10H 7/02 20060101ALI20170920BHEP

Ipc: G10H 1/04 20060101ALI20170920BHEP

Ipc: G10H 7/10 20060101ALI20170920BHEP

INTG Intention to grant announced

Effective date: 20171017

RIN1 Information on inventor provided before grant (corrected)

Inventor name: BOCHMANN, JOHANNES

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 968020

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015002983

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20180504

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2667492

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20180511

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: LU

Payment date: 20180423

Year of fee payment: 4

REG Reference to a national code

Ref country code: NO

Ref legal event code: T2

Effective date: 20180131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: MC

Payment date: 20180419

Year of fee payment: 4

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180430

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180501

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015002983

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20181102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190228

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IE

Payment date: 20200219

Year of fee payment: 6

Ref country code: DK

Payment date: 20200220

Year of fee payment: 6

Ref country code: NL

Payment date: 20200220

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180131

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180131

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150209

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NO

Payment date: 20210218

Year of fee payment: 7

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20210228

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20210301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210228

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210209

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FI

Payment date: 20220215

Year of fee payment: 8

Ref country code: AT

Payment date: 20220215

Year of fee payment: 8

REG Reference to a national code

Ref country code: NO

Ref legal event code: MMEP

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220228

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230217

Year of fee payment: 9

Ref country code: ES

Payment date: 20230317

Year of fee payment: 9

Ref country code: CH

Payment date: 20230307

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20230220

Year of fee payment: 9

Ref country code: IT

Payment date: 20230228

Year of fee payment: 9

Ref country code: GB

Payment date: 20230221

Year of fee payment: 9

Ref country code: DE

Payment date: 20230227

Year of fee payment: 9

Ref country code: BE

Payment date: 20230220

Year of fee payment: 9

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230527

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 968020

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230209

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230209

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20240319

Year of fee payment: 10