EP1979901A1 - Method and arrangements for audio signal encoding - Google Patents

Method and arrangements for audio signal encoding

Info

Publication number
EP1979901A1
EP1979901A1 EP06706508A EP06706508A EP1979901A1 EP 1979901 A1 EP1979901 A1 EP 1979901A1 EP 06706508 A EP06706508 A EP 06706508A EP 06706508 A EP06706508 A EP 06706508A EP 1979901 A1 EP1979901 A1 EP 1979901A1
Authority
EP
European Patent Office
Prior art keywords
audio signal
audio
basic period
subband
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP06706508A
Other languages
German (de)
French (fr)
Other versions
EP1979901B1 (en
Inventor
Martin Gartner
Bernd Geiser
Peter Jax
Stefan Schandl
Herve Taddei
Peter Vary
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify GmbH and Co KG
Original Assignee
Siemens Enterprise Communications GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Enterprise Communications GmbH and Co KG filed Critical Siemens Enterprise Communications GmbH and Co KG
Publication of EP1979901A1 publication Critical patent/EP1979901A1/en
Application granted granted Critical
Publication of EP1979901B1 publication Critical patent/EP1979901B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Definitions

  • the invention relates to a method and arrangements for audio signal coding.
  • the invention relates to a method and an audio signal decoder for forming an audio signal and an audio signal encoder.
  • the aim is usually to reduce the amount of data to be transmitted and thus the transmission rate as much as possible without impairing the subjective hearing impression or, in the case of voice transmissions, the ability to understand too much.
  • An efficient compression of audio signals is also an essential aspect in connection with the storage or archiving of audio signals.
  • Coding methods in which an audio signal synthesized by an audio synthesis filter prove to be particularly efficient on a timely basis to an audio signal to be transmitted is adjusted by optimizing filter parameters. Such a procedure is often referred to as analysis-by-synthesis.
  • the audio synthesis filter is thereby excited by an excitation signal which is preferably also to be optimized.
  • Filtering is often referred to as formant synthesis.
  • LPC coefficients LPC: Linear Predictive Coding
  • parameters specifying a spectral and / or temporal envelope of the audio signal can be used as filter parameters.
  • the optimized filter parameters and the parameters specifying the excitation signal are then transferred to the receiver on a timely basis in order to form a synthetic audio signal there by means of an audio signal decoder provided on the receiver side, which is as similar as possible to the original audio signal with regard to the subjective auditory impression.
  • Such an audio coding method is known from ITU-T Recommendation G.729.
  • a real-time audio signal with a bandwidth of 4 kHz can be reduced to a transmission rate of 8 kbit / s.
  • the achievable transmission bandwidth and audio synthesis quality depend essentially on the generation of a suitable excitation signal.
  • a bandwidth-expanding excitation signal u hb (k) in a high subband eg in the frequency range of 3.4-7 kHz
  • the copy can hereby be formed by spectral translation or by spectral reflection of the narrow-band excitation signal u nb (k).
  • Such spectral translation or reflection anharmonically distorts the spectrum of the excitation signal and / or causes a significant, audible phase error in the spectrum. However, this leads to an audible quality loss of the audio signal.
  • frequency components of the audio signal attributable to a first subband are formed by means of a subband decoder on the basis of supplied basic period values each indicating a fundamental period of the audio signal.
  • a second sub Band attributable frequency components of the audio signal are formed by exciting an audio synthesis filter by means of an excitation signal specific for the second subband.
  • a basic period parameter is derived from the basic period values by an excitation signal generator. Based on the basic period parameter, the excitation signal generator forms pulses having a pulse shape dependent on the basic period parameter in a time interval determined by the basic period parameter and mixed with a noise signal.
  • frequency components of the audio signal attributable to a further second subband can be synthesized on the basis of basic period values which have already been made available for a subband decoder specific to the first subband. Since no additional audio parameters are generally required for the generation of the noise signal, the generation of the excitation signal generally requires no additional transmission bandwidth.
  • the audio quality of the audio signal can be considerably improved, in particular since a harmonic harmonic content determined by the basic period values can be reproduced in the second subband.
  • the basic period parameter may specify the fundamental period of the audio signal except for a fraction of a first sampling interval associated with the subband decoder.
  • the pulses can be spaced with a relation to the subband decoder higher accuracy, whereby a harmonic spectrum of the audio signal in the second sub-band can be modeled finer.
  • the pulse shape of a respective pulse can be selected from different pulse forms stored in a look-up table depending on a proportion of the basic period parameter which is not integral in units of the first sampling interval. From the look-up table, very different pulse shapes can be retrieved in real-time by simple retrieval with low switching, processing or computational effort.
  • the pulse shapes to be stored can be optimized in advance in terms of a lifelike audio playback. In fact, the cumulative effects or the cumulative impulse response of several filters, decimators and / or modulators can be calculated in advance and each stored as a correspondingly shaped pulse in the look-up table.
  • a decimator in this context is a converter which multiplies a sampling interval of a signal by a decimation factor m by rejecting all samples except for every m-th sample.
  • a modulator is a filter that multiplies individual samples of a signal by predetermined individual factors and outputs the respective product.
  • the time interval of the pulses can be determined by an integral part of the basic period parameter in units of the first sampling interval.
  • the pulses from a predetermined pulse shape can be formed by samples having a second sampling distance which is smaller by a bandwidth expansion factor than the first sampling distance.
  • the time interval of the pulses can then be in units of the second sample pitch are determined by the basic period parameter multiplied by the bandwidth expansion factor.
  • the bandwidth expansion factor it is preferable to select the inverse N of the fraction l / N corresponding to the accuracy of the basic period parameter in units of the first sampling pitch.
  • the pulses can be formed by a pulse shaping filter with filter coefficients predetermined at the second sampling interval.
  • the pulses can be filtered before or after admixing of the noise signal by at least one high, low and / or bandpass and / or decimated by at least one decimator.
  • the basic period parameter can be derived from one or more basic period values on a timely basis.
  • the basic period parameter can be derived from fluctuation-compensating, preferably non-linear, associated basic period values of several time frames. In this way it can be avoided that fluctuations or jumps in the fundamental period values, e.g. may result from spurious noise measurements of an audio background frequency, adversely affect the basic period parameters.
  • a relative deviation of a current base period value from a previous base period value or from a quantity derived therefrom can be determined and attenuated as part of the derivation of the basic period parameter.
  • a mixing ratio between the pulses and the noise signal by at least one mixing parameter certainly.
  • This can be time-frame basis of the first sub-band istlei ⁇ be tet from an existing in the subband decoder level ratio between a tonal and atonal audio signal component.
  • a level parameter relating to an overtone-to-noise ratio in the first subband can be used to form the audio signal components in the second subband.
  • the level ratio can be implemented such that at
  • Atonal audio signal portion of the tonal audio signal component is further lowered. Since, in the case of natural audio sources, an atonal audio signal component in higher frequency bands, in particular from 6 kHz, increasingly prevails, the quality of reproduction can generally be improved by such a reduction.
  • FIG. 1 shows an audio signal decoder
  • FIG. 2 shows a first embodiment of an excitation signal generator
  • FIG. 3a filter coefficients of a pulse shaping filter
  • FIG. 3b shows an energy spectrum of the filter coefficients
  • Figure 4 shows a second embodiment of an excitation signal generator
  • FIG. 5 shows previously calculated pulse shapes.
  • FIG. 1 shows a schematic illustration of an audio signal decoder which generates a synthetic audio signal SAS from a supplied data stream of coded audio data AD.
  • the generation of the synthetic audio signal SAS is subdivided into different subbands.
  • frequency components of the synthetic audio signal SAS attributable to a first, low subband are generated separately from frequency components of the synthetic audio signal SAS attributable to a second, high subband.
  • the deep subband is also referred to below as narrowband.
  • the supplied audio data AD is decoded by a deep subband-specific low-band decoder LBD, ie a decoder having a bandwidth substantially only the low subband.
  • LBD deep subband-specific low-band decoder
  • the deep subband specific side information namely atonal mixing parameters g FIX , tonal mixing parameters g LTp and
  • a synthetic excitation signal u (k) is formed by a high band excitation signal generator HBG on the basis of the side information g FIX , g LTP and ⁇ LTP extracted by the low band decoder LBD.
  • the variable k here and in the following denotes an index by which digital samples of the excitation signal or other signals are indexed.
  • an audio signal encoder can also be realized in a simple manner.
  • the synthesized audio signal SAS is to be forwarded to a comparison device (not shown), which compares the synthesized audio signal SAS with an audio signal to be encoded.
  • the invention can advantageously be used for general audio coding, for subband audio synthesis as well as for artificial bandwidth expansion of audio signals.
  • the latter can be interpreted as a special case of a subband audio synthesis in which information about a particular subband is used to reconstruct or estimate missing frequency components of another subband.
  • the aforementioned applications are based on a suitably formed excitation signal u (k).
  • the excitation signal u (k) which represents a spectral fine structure of an audio signal, can be converted by the audio synthesis filter ASYN in different ways, eg by shaping its time and / or frequency response. So that a synthetically formed excitation signal u (k) coincides as exactly as possible with an original excitation signal (not shown) used by a (subband) audio signal encoder, the synthetic excitation signal u (k) should preferably have the following properties:
  • the synthetic excitation signal u (k) should generally have a flat spectrum. At atonal, i. unvoiced sounds, the synthetic excitation signal u (k) can be formed from white noise.
  • the synthetic excitation signal u (k) should be harmonic signal components, i. spectral peaks in integer multiples of an audio base frequency Fg have.
  • the synthetic excitation signal u (k) is preferably to be generated so that an overtone-to-noise ratio, i. an energy or intensity ratio of the tonal and atonal components of the original audio signal may be exactly reproduced.
  • a broadband noise component generally adds to the harmonics of the audio fundamental frequency F Q. This noise component often becomes dominant at higher frequencies, in particular from 6 kHz.
  • the excitation signal u (k) is considered to be on at a predetermined sampling rate of e.g. 16 kHz or 8 kHz sampled subband signal generated.
  • This subband signal u (k) represents the frequency components of the high subband of 4-8 kHz, by which the bandwidth of the narrowband audio signal NAS is to be extended.
  • the narrowband audio signal NAS extends over a frequency range of 0-4 kHz and is sampled at a sampling rate of 8 kHz.
  • the formed excitation signal u (k) excites the audio synthesis filter ASYN and is thereby formed into the high-band audio signal HAS.
  • the synthetic broadband audio signal SAS is finally synthesized by combining the shaped high-band audio signal HAS and the narrow-band audio signal NAS with a higher sampling rate of e.g. 16 kHz generated.
  • excitation signal u (k) is based on an audio generation model in which tonal, i. voiced sounds through a sequence of pulses and atonal, i. unvoiced sounds are excited by preferably white noise.
  • tonal i. voiced sounds through a sequence of pulses
  • atonal i. unvoiced sounds are excited by preferably white noise.
  • Various modifications are contemplated to allow for mixed stimuli that may result in improved hearing.
  • the generation of the tonal components of the excitation signal u (k) is based on two audio parameters of the audio generation model, namely the audio basic frequency FQ and the energy balance.
  • the latter is often referred to as the overtone-to-noise ratio or "harmonics to Noise Ratio ", HNR for short
  • the audio basic frequency Fg is also called” fundamental speech frequency ".
  • Both audio parameters Fg and ⁇ can be extracted at the receiver of a transmitted audio signal; preferably (e.g., in the case of bandwidth extension) directly from the low frequency band of the audio signal or (e.g., in the case of subband audio synthesis) from the low band decoder of an underlying lowband audio codec, where such audio parameters are typically available.
  • the audio basic frequency Fg is often represented by a basic period value given by the sampling rate divided by the audio basic frequency Fg.
  • the base period value is often referred to as "pitch lag X ⁇ .
  • the basic period value is an audio parameter that is generally communicated to standard audio codecs, such as the G.729 recommendation, for purposes of so-called “long term prediction", LTP for short If the low subband is used, the audio base frequency Fg can be determined or estimated from the LPT audio parameters provided by this audio codec.
  • an LTP fundamental period value is transmitted with a temporal resolution, ie accuracy, which is a fractional l / N of the sampling interval used by this audio codec.
  • the basic LTP period value is provided with an accuracy of 1/3 of the sampling distance. In units of this sampling distance, the basic period value can also be accept non-integer values.
  • accuracy can be achieved by the relevant audio encoder, for example, by a sequence of so-called "open-loop" and "closed-loop” searches. The audio encoder attempts to find that basic period value at which the intensity or energy of an LTP residual signal is minimized.
  • an LTP basic period value determined in this way may deviate from the basic period value corresponding to the actual audio basic frequency FQ of the tonal audio components, in particular in the case of strong background noises, and thus impair accurate reproduction of these tonal audio components.
  • Typical deviations include period-doubling errors and period bisecting errors. That is, the frequency corresponding to the departing LPT basic period value is one half or twice the actual audio basic frequency FQ of the audio tonal components, respectively.
  • ⁇ LTp ( ⁇ ) denote an LTP basic period value currently extracted from the low-band decoder LBD, where ⁇ represents an index of a respective processed time frame or subframe.
  • the fundamental period value ⁇ LTP ( ⁇ ) is given in units of the sampling interval of the low-band decoder LBD and can also assume non-integer values. From the relationship between the current basic period value ⁇ L ⁇ p ( ⁇ ) and a filtered basic period value ⁇ post ( ⁇ -l) of the previous frame, an integer factor f is first calculated as
  • the function round maps its argument to the nearest integer.
  • the current basic period value ⁇ LTP ( ⁇ ) is the result of an incipient phase with period doubling or error error.
  • the current fundamental period value ⁇ LTp ( ⁇ ) is corrected or filtered by dividing by the factor f such that the filtered fundamental period values ⁇ post ( ⁇ ) behave substantially steadily over a plurality of time frames ⁇ . It proves to be advantageous the filtered basic period value ⁇ post ( ⁇ ) according to
  • a moving average is formed over the fundamental period values ⁇ post ( ⁇ ) for further smoothing.
  • the moving average corresponds to a kind of low-pass filtering.
  • ⁇ p ⁇ L ⁇ ⁇ po ⁇ - 1) + ⁇ post ( ⁇ )) r
  • the basic period parameter ⁇ p ( ⁇ ) has a higher resolution by a factor of two, which corresponds to a fraction 1 / (2N) of the sampling interval of the low-band decoder LBD.
  • tonal mixing parameters g v ( ⁇ ) and atonal mixing parameters g uv ( ⁇ ) for mixing corresponding tonal and atonal components of the excitation signal u (k) in the high subband time-frame from the subband specific mixing parameters g L ⁇ p ( ⁇ ) and g FI ⁇ ( ⁇ ) of the low-band decoder LBD are derived.
  • the low-band decoder LBD is a so-called CELP decoder (CELP: Codebook Excited Linear Prediction), which has a so-called adaptive or LTP codebook and a so-called fixed codebook.
  • the intensity ratio between tonal and atonal signal components can be reconstructed from the mixing parameters g LTP and g FIX of the low-band decoder LBD.
  • Both mixing parameters g LTp , g pi x can be extracted from the low-band decoder LBD on a timely-frame basis.
  • an instantaneous intensity ratio between the contributions of the adaptive and fixed codebooks ie the overtone-to-noise ratio ⁇ , can be determined by dividing the energy contributions of the adaptive and fixed codebooks.
  • the mixing parameter g LTp ( ⁇ ) indicates a gain for the adaptive codebook signals
  • the mixing parameter g pi ⁇ ( ⁇ ) indicates a gain for the fixed codebook signals.
  • the overtone-to-noise ratio ⁇ derived from the deep subband is converted by a kind of Wiener filter according to
  • This "Wiener” filtering further lowers a small ⁇ (atonal audio segment) while barely changing large values of ⁇ (tonally dominated audio segment). Such a reduction better approximates natural audio signals.
  • both mixing parameters g v ( ⁇ ) and g uv ( ⁇ ) usually have (at the same time) a non-disappearance the value.
  • the above calculation rule ensures that the sum of the squares of the mixing parameters g v and g uv , ie a total energy of the mixed
  • Excitation signal u (k) is substantially constant.
  • a first embodiment of the excitation signal generator HBG is shown schematically in FIG.
  • the noise generator NOISE preferably generates white noise.
  • the pulse generator PG1 in turn comprises a rectangular pulse generator SPG and a pulse shaping filter SF with a predetermined filter coefficient set p (k) of finite length. While the noise generator NOISE serves to generate the atonal components of the excitation signal u (k), the pulse generator PG1 contributes to the generation of the tonal components of the excitation signal u (k).
  • the audio parameters g v , g uv and ⁇ p are used in a continuous sequence from audio parameters of the low-band Decoder LBD or derived and adapted by means of a suitable audio parameter extraction block.
  • the filter operations are for a fractional basic period parameter ⁇ p with an accuracy of 1 / (2N), here equal to 1/6, in units of the sampling rate of the low-band decoder LBD and for one
  • Target bandwidth corresponding to the bandwidth of the low-band decoder LBD designed.
  • the low-band decoder LBD uses a sampling rate of 8 kHz in accordance with its bandwidth of 0-4 kHz, and audio components of 4-8 kHz by means of the excitation signal u (k). are to be generated with a bandwidth of 4 kHz, is provided for the pulse generator PGl a sampling rate of at least 8 kHz. In accordance with the time resolution of .alpha
  • the rectangular pulse generator SPG generates individual rectangular pulses in a time interval given by 6 * ⁇ p in units of the sampling interval 1/48000 s of the rectangular pulse generator SPG.
  • the individual recheck impulses have one
  • Amplitude of J6 * ⁇ p such that the average energy of a long pulse sequence is substantially constant equal to 1.
  • the rectangular pulses generated by the rectangular pulse generator SPG are multiplied by the "tonal" mixing parameter g v and fed to the pulse shaping filter SF.
  • tion filter SF the rectangular pulses by a convolution or correlation with the filter coefficients p (k) in a sense temporally "smeared ⁇ .
  • the so-called crest factor ie a ratio of peak to average samples, can be considerably reduced and the audio quality of the synthesized audio signal SAS can be considerably improved.
  • the rectangular pulses can be spectrally shaped by the pulse shaping filter SF in an advantageous manner.
  • the pulse shaping filter SF may have a band-pass characteristic with a transition region around 4 kHz and a substantially uniform increase in attenuation in the direction of higher and lower frequencies. In this way it can be achieved that higher frequencies of the excitation signal u (k) have fewer harmonic components and thus the noise component increases with increasing frequency.
  • FIGS. 3a and 3b An exemplary selection of the filter coefficients p (k) is shown schematically in FIGS. 3a and 3b. While FIG. 3a shows the filter coefficients p (k) plotted against its sample index k, in FIG. 3b the energy spectrum of the filter coefficients p (k) is plotted against the frequency. For the target frequency range relevant in the present exemplary embodiment, essentially only the spectral range of 4-8 kHz is relevant for the filter coefficients p (k). This frequency range is indicated in Figure 3b by a widened line.
  • the rectangular pulses "blurred" by the pulse shaping filter SF are added to a noise signal generated by the noise generator NOISE and multiplied by the "atonal" mixture parameter g uv , and the resultant sum signal is fed to the low-pass filter LP.
  • the generated excitation signal u (k) contains the frequency components required for bandwidth expansion. However, these are present as spectrum mirrored around the frequency 4 kHz. In order to invert the spectrum, the excitation signal u (k) can be modulated with modulation factors (-l) k .
  • the tonal and atonal components of the excitation signal u (k) can be treated independently of each other.
  • the filtering and decimation operations for the tonal audio components provided in the embodiment variant according to FIG. 2 can also be combined in a single processing block.
  • the impulse response of all the filtering, decimation and modulation operations provided for in FIG the tonal audio components are calculated in advance and stored in a look-up table in a suitable form.
  • the embodiment shown in Figure 4 has a pulse generator PG2 and a preferably white noise generating noise generator NOISE.
  • the pulse generator PG2 in turn comprises a pulse positioner PP and a look-up table LOOKUP in which predetermined pulse forms V j (k) are stored. While the noise generator NOISE serves to generate the atonal components of the excitation signal u (k), the pulse generator PG2 contributes to the generation of the tonal components of the excitation signal u (k).
  • the derivation of the audio parameters g v , g uv and ⁇ p has already been explained above.
  • the fractional basic period parameter ⁇ is as above with an accuracy of 1 / (2N), here equal
  • the impulse response of all filter, decimation and modulation operations illustrated by FIG. 2 can be calculated in advance and in the form of specific pulse forms V j (k) in the
  • Lookup table LOOKUP be saved. Unless - as in the present embodiment - even non-integer Basic period parameter ⁇ p are to be considered, several pulse shapes V j (k) in the look-up table LOOKÜP are kept.
  • the number of pulse shapes V j (k) to be provided is preferably given by the inverse of the accuracy of the fundamental period parameter ⁇ p , ie here by 2N.
  • index j runs from 0 to 2N-1.
  • the look-up table LOOKUP is supplied with the fractional component ⁇ p -
  • the bracket LJ denotes an integer part of a rational or real number.
  • a pulse shape is selected from the stored pulse shapes V j (k) and a correspondingly shaped pulse is output from the look-up table LOOKUP.
  • _ ⁇ p j can be the values 0, 1/6
  • pulse shape V j (k) is selected whose index j is the respective one
  • Each of the stored pulse forms V j (k) corresponds to an impulse response of the chain shown in Figure 2 from the filters SF, LP, D3, HP and D2 (and optionally a modulator) for a particular fractional fraction ⁇ p -
  • the illustrated pulse shapes V j (k) are for a fractional resolution of ⁇ p of 1/6 (at a sampling rate of 8 kHz) and plotted against its scan index k.
  • _ ⁇ p j can be taken from the legend of FIG.
  • the pulse output from the LOOKUP look-up table having a pulse shape selected from the fractional fraction ⁇ p -L ⁇ p J, is multiplied by the "tonal" mixing parameter g v and supplied to the pulse positioner PP pulses, depending on the integer part L ⁇ p J of the pitch period parameter ⁇ positioned p in time.
  • the pulses are hereby outputted by the pulse positioning device PP in a time interval corresponding to the integer part l_ ⁇ p j of the base period parameter ⁇ p.
  • the pulses may be modulated by a respective sign the pulse forms V j (k) and the respective
  • the noise signal of the noise generator NOISE multiplied by the "atonal" mixture parameter g uv is finally added to obtain the excitation signal u (k).
  • the embodiment variant shown in FIG. 4 can generally be implemented with less effort than the embodiment variant shown in FIG.
  • an excitation signal generator according to FIG. 4 by specifying suitable pulse shapes V j (k), it is possible to effectively use the same excitation signals u (k) as with an excitation signal generator generate according to FIG. Since the output pulses have a relatively large distance (typically 20-134 scanning distances), the computational effort for an inventive excitation signal generator according to Figure 4 is relatively low.
  • the invention can be implemented by means of a low-cost digital signal processor with relatively low memory and computing power requirements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

To form an audio signal (SAS), frequency components (NAS) of the audio signal which are allotted to a first subband are formed by means of a subband decoder (LBD) using supplied fundamental period values (λLTP) which respectively indicate a fundamental period for the audio signal. Frequency components (HAS) of the audio signal which are allotted to a second subband are formed by exciting an audio synthesis filter (ASYN) using an excitation signal (u(k)) which is specific to the second subband. To produce this excitation signal (u(k)), an excitation signal generator (HBG) derives a fundamental period parameter (λp) from the fundamental period values (λLTP). The fundamental period parameter (λp) is used by the excitation signal generator (HBG) to form pulses with a pulse shape which is dependent on the fundamental period parameter (λp) at an interval of time which is determined by the fundamental period parameter (λp) and to mix them with a noise signal.

Description

Beschreibungdescription
Verfahren und Anordnungen zur AudiosignalkodierungMethods and arrangements for audio signal coding
Die Erfindung betrifft ein Verfahren und Anordnungen zur Audiosignalkodierung. Insbesondere betrifft die Erfindung ein Verfahren und einen Audiosignaldekoder zum Bilden eines Audiosignals sowie einen Audiosignalenkoder .The invention relates to a method and arrangements for audio signal coding. In particular, the invention relates to a method and an audio signal decoder for forming an audio signal and an audio signal encoder.
In vielen zeitgemäßen Kommunikationssystemen und insbesondere in mobilen Kommunikationssystemen stehen für Echtzeit-Audioübertragungen, wie z.B. Sprach- oder Musikübertragungen, nur begrenzte Übertragungsbandbreiten zur Verfügung. Um über eine Übertragungsstrecke mit begrenzter Bandbreite, wie z.B. über ein Funknetz, möglichst viele Audiokanäle in Echtzeit zu ü- bertragen, ist deshalb häufig vorgesehen, die zu übertragenden Audiosignale durch echtzeit- oder quasiechtzeitfähige Audio-Kodierungsverfahren zu komprimieren und nach der Übertragung zu dekomprimieren. Im Folgenden sei unter dem Begriff Audio insbesondere auch Sprache verstanden.In many contemporary communication systems, and in particular in mobile communication systems, real-time audio transmissions such Voice or music broadcasts, limited transmission bandwidths available. To transmit over a limited bandwidth transmission link, such as e.g. It is therefore frequently provided via a radio network to transmit as many audio channels as possible in real time, to compress the audio signals to be transmitted by real-time or quasi-real-time capable audio coding methods and to decompress them after the transmission. In the following, the term audio is understood in particular also language.
Bei derartigen Audio-Kodierungsverfahren wird in der Regel angestrebt, die zu übertragende Datenmenge und damit die Ü- bertragungsrate möglichst zu reduzieren ohne den subjektiven Höreindruck bzw. bei Sprachübertragungen die Verständlichkeit, zu sehr zu beinträchtigen.In the case of such audio coding methods, the aim is usually to reduce the amount of data to be transmitted and thus the transmission rate as much as possible without impairing the subjective hearing impression or, in the case of voice transmissions, the ability to understand too much.
Eine effiziente Komprimierung von Audiosignalen ist auch im Zusammenhang mit einer Speicherung oder Archivierung von Au- diosignalen ein wesentlicher Gesichtspunkt.An efficient compression of audio signals is also an essential aspect in connection with the storage or archiving of audio signals.
Als besonders effizient erweisen sich Kodierungsverfahren, bei denen ein durch ein Audiosynthesefilter synthetisiertes Audiosignal zeitrahmenweise an ein zu übertragendes Audiosig- nal durch Optimierung von Filterparametern angeglichen wird. Eine derartige Verfahrensweise wird häufig auch als Analysis- by-Synthesis bezeichnet. Das Audiosynthesefilter wird dabei durch ein vorzugsweise ebenfalls zu optimierendes Anregungs- signal angeregt. Die Filterung wird häufig auch als Formant- Synthese bezeichnet. Als Filterparameter können z.B. sog. LPC-Koeffizienten (LPC: Linear Predictive Coding) und/oder Parameter, die eine spektrale und/oder zeitliche Einhüllende des Audiosignals spezifizieren, verwendet werden. Die opti- mierten Filterparameter sowie das Anregungssignal spezifizierende Parameter werden dann zeitrahmenweise zum Empfänger ü- bertragen, um dort mittels eines empfängerseitig vorgesehenen Audiosignaldekoders ein synthetisches Audiosignal zu formen, das dem ursprünglichen Audiosignal hinsichtlich des subjekti- ven Höreindrucks möglichst ähnlich ist.Coding methods in which an audio signal synthesized by an audio synthesis filter prove to be particularly efficient on a timely basis to an audio signal to be transmitted is adjusted by optimizing filter parameters. Such a procedure is often referred to as analysis-by-synthesis. The audio synthesis filter is thereby excited by an excitation signal which is preferably also to be optimized. Filtering is often referred to as formant synthesis. For example, so-called LPC coefficients (LPC: Linear Predictive Coding) and / or parameters specifying a spectral and / or temporal envelope of the audio signal can be used as filter parameters. The optimized filter parameters and the parameters specifying the excitation signal are then transferred to the receiver on a timely basis in order to form a synthetic audio signal there by means of an audio signal decoder provided on the receiver side, which is as similar as possible to the original audio signal with regard to the subjective auditory impression.
Ein derartiges Audio-Kodierungsverfahren ist aus der ITU-T- Empfehlung G.729 bekannt. Mittels des dort beschriebenen Audio-Kodierungsverfahrens kann ein Echtzeit-Audiosignal mit einer Bandbreite von 4 kHz auf eine Übertragungsrate von 8 kbit/s reduziert werden.Such an audio coding method is known from ITU-T Recommendation G.729. By means of the audio coding method described there, a real-time audio signal with a bandwidth of 4 kHz can be reduced to a transmission rate of 8 kbit / s.
Darüber hinaus wird derzeit angestrebt, ein zu übertragendes Audiosignal zur Verbesserung des Höreindrucks mit höherer Bandbreite zu synthetisieren. Bei der gegenwärtig diskutierten Erweiterung G.729EV der G.792-Empfehlung wird versucht, die Audio-Bandbreite von 4 kHz auf 8 kHz zu erweitern.In addition, it is currently desired to synthesize an audio signal to be transmitted to improve the audio experience with higher bandwidth. In the currently discussed G.729EV extension of the G.792 Recommendation, an attempt is made to extend the audio bandwidth from 4 kHz to 8 kHz.
Die erzielbare Übertragungsbandbreite und Audiosynthesequali- tat hängen wesentlich von der Erzeugung eines geeigneten Anregungssignals ab.The achievable transmission bandwidth and audio synthesis quality depend essentially on the generation of a suitable excitation signal.
Im Falle einer Bandbreitenerweiterung, bei der ein Anregungssignal unb(k) in einem tiefen Subband, z.B. im Frequenzbe- reich von 50 Hz bis 3,4 kHz, bereits vorliegt, kann ein bandbreitenerweiterndes Anregungssignal uhb(k) in einem hohen Subband, z.B. im Frequenzbereich von 3,4 - 7 kHz, als spektrale Kopie des schmalbandigen Anregungssignals unb(k) gebil- det werden. (Durch den Index k seien hier und im Folgenden Abtastwerte des Anregungssignals oder anderer Signale indiziert.) Die Kopie kann hierbei durch spektrale Translation oder durch spektrale Spiegelung des schmalbandigen Anregungssignals unb(k) gebildet werden. Durch eine solche spektrale Translation oder Spiegelung wird jedoch das Spektrum des Anregungssignals anharmonisch verzerrt und/oder es wird ein erheblicher, hörbarer Phasenfehler im Spektrum verursacht. Dies führt jedoch zu einem hörbaren Qualitätsverlust des Audiosignals.In the case of a bandwidth expansion, in which an excitation signal u nb (k) in a deep subband, for example in the Frequenzbe- rich from 50 Hz to 3.4 kHz, already present, a bandwidth-expanding excitation signal u hb (k) in a high subband, eg in the frequency range of 3.4-7 kHz, as a spectral copy of the narrow-band excitation signal u nb (k) gebil - be det. (Through the index k, samples of the excitation signal or of other signals are indicated here and below.) The copy can hereby be formed by spectral translation or by spectral reflection of the narrow-band excitation signal u nb (k). Such spectral translation or reflection, however, anharmonically distorts the spectrum of the excitation signal and / or causes a significant, audible phase error in the spectrum. However, this leads to an audible quality loss of the audio signal.
Es ist Aufgabe der vorliegenden Erfindung ein Verfahren zum Bilden eines Audiosignals anzugeben, das eine Verbesserung der Hörqualität erlaubt, wobei die Übertragungsbandbreite nicht oder nur verhältnismäßig wenig erhöht wird. Es ist wei- terhin Aufgabe der Erfindung einen Audiosignaldekoder zur Durchführung des Verfahrens sowie einen Audiosignalenkoder anzugeben.It is an object of the present invention to provide a method for forming an audio signal, which allows an improvement of the audio quality, wherein the transmission bandwidth is not increased or only relatively little. It is a further object of the invention to specify an audio signal decoder for carrying out the method as well as an audio signal encoder.
Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkma- len des Anspruchs 1, durch einen Audiosignaldekoder mit denThis object is achieved by a method with the features of claim 1, by an audio signal decoder with the
Merkmalen des Anspruchs 14 sowie durch einen Audiosignalenkoder mit den Merkmalen des Anspruchs 15.Features of claim 14 and by an audio signal encoder with the features of claim 15.
Beim erfindungsgemäßen Verfahren zum Bilden eines Audiosig- nals werden auf ein erstes Subband entfallende Frequenzkompo- nenten des Audiosignals mittels eines Subband-Dekoders anhand von zugeführten, jeweils eine Grundperiode des Audiosignals angebenden Grundperiodenwerten gebildet. Auf ein zweites Sub- band entfallende Frequenzkomponenten des Audiosignals werden durch Anregen eines Audiosynthesefilters mittels eines für das zweite Subband spezifischen AnregungsSignals gebildet. Zur Erzeugung des für das zweite Subband spezifischen Anre- gungssignals wird durch einen Anregungssignalgenerator ein Grundperiodenparameter aus den Grundperiodenwerten abgeleitet. Anhand des Grundperiodenparameters werden durch den Anregungssignalgenerator Impulse mit einer vom Grundperiodenparameter abhängigen Impulsform in einem durch den Grundperio- denparameter bestimmten Zeitabstand gebildet und mit einem Rauschsignal gemischt.In the method according to the invention for forming an audio signal, frequency components of the audio signal attributable to a first subband are formed by means of a subband decoder on the basis of supplied basic period values each indicating a fundamental period of the audio signal. On a second sub Band attributable frequency components of the audio signal are formed by exciting an audio synthesis filter by means of an excitation signal specific for the second subband. To generate the excitation signal specific for the second subband, a basic period parameter is derived from the basic period values by an excitation signal generator. Based on the basic period parameter, the excitation signal generator forms pulses having a pulse shape dependent on the basic period parameter in a time interval determined by the basic period parameter and mixed with a noise signal.
Mittels der Erfindung können auf ein weiteres, zweites Subband entfallende Frequenzkomponenten des Audiosignals anhand von Grundperiodenwerten synthetisiert werden, die bereits für einen für das erste Subband spezifischen Subband-Dekoder zur Verfügung gestellt werden. Da auch für die Erzeugung des Rauschsignals im Allgemeinen keine zusätzlichen Audioparameter benötigt werden, erfordert die Erzeugung des Anregungs- signals im Allgemeinen keine zusätzliche Übertragungsbandbreite. Durch die Hinzufügung der Frequenzkomponenten des weiteren, zweiten Subbands kann die Hörqualität des Audiosignals indes erheblich verbessert werden, insbesondere da ein durch die Grundperiodewerte bestimmter, harmonischer Oberwel- lengehalt im zweiten Subband reproduziert werden kann.By means of the invention, frequency components of the audio signal attributable to a further second subband can be synthesized on the basis of basic period values which have already been made available for a subband decoder specific to the first subband. Since no additional audio parameters are generally required for the generation of the noise signal, the generation of the excitation signal generally requires no additional transmission bandwidth. By adding the frequency components of the further, second subband, however, the audio quality of the audio signal can be considerably improved, in particular since a harmonic harmonic content determined by the basic period values can be reproduced in the second subband.
Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.Advantageous embodiments and further developments of the invention are specified in the dependent claims.
Nach einer vorteilhaften Ausführungsform der Erfindung kann der Grundperiodenparameter die Grundperiode des Audiosignals bis auf einen Bruchteil eines ersten, dem Subband-Decoder zugeordneten Abtastabstandes angeben. Durch einen bis auf einen Bruchteil - vorzugsweise l/N mit ganzzahligem N - des ersten Abtastabstandes genau angegebenen Grundperiodenparameter können die Impulse mit einer gegenüber dem Subband-Decoder höheren Genauigkeit beabstandet werden, wodurch sich ein Oberwellenspektrum des Audiosignals im zweiten Subband feiner model- lieren lässt.According to an advantageous embodiment of the invention, the basic period parameter may specify the fundamental period of the audio signal except for a fraction of a first sampling interval associated with the subband decoder. By one to a fraction - preferably l / N with integer N - of the first Sampling distance specified basic period parameters, the pulses can be spaced with a relation to the subband decoder higher accuracy, whereby a harmonic spectrum of the audio signal in the second sub-band can be modeled finer.
Weiterhin kann die Impulsform eines jeweiligen Impulses abhängig von einem in Einheiten des ersten Abtastabstandes nicht-ganzzahligen Anteil des Grundperiodenparameters aus un- terschiedlichen, in einer Nachschlagetabelle gespeicherten Impulsformen ausgewählt werden. Aus der Nachschlagetabelle lassen sich ganz unterschiedliche Impulsformen durch einfachen Abruf mit geringem Schaltungs-, Verarbeitungs- oder Rechenaufwand in Echtzeit abrufen. Die abzuspeichernden Impuls- formen können vorab hinsichtlich einer möglichst naturgetreuen Audiowiedergabe optimiert werden. Tatsächlich lassen sich die kumulierten Effekte oder die kumulierte Impulsantwort mehrerer Filter, Dezimatoren und/oder Modulatoren vorab berechnen und jeweils als entsprechend geformter Impuls in der Nachschlagetabelle abspeichern. Als Dezimator wird in diesem Zusammenhang ein Umsetzer bezeichnet, der einen Abtastabstand eines Signals um einen Dezimierungsfaktor m vervielfacht, indem alle Abtastwerte bis auf jeden m-ten Abtastwert verworfen werden. Unter einem Modulator wird ein Filter verstanden, das einzelne Abtastwerte eines Signals mit vorgegebenen Einzelfaktoren multipliziert und das jeweilige Produkt ausgibt.Furthermore, the pulse shape of a respective pulse can be selected from different pulse forms stored in a look-up table depending on a proportion of the basic period parameter which is not integral in units of the first sampling interval. From the look-up table, very different pulse shapes can be retrieved in real-time by simple retrieval with low switching, processing or computational effort. The pulse shapes to be stored can be optimized in advance in terms of a lifelike audio playback. In fact, the cumulative effects or the cumulative impulse response of several filters, decimators and / or modulators can be calculated in advance and each stored as a correspondingly shaped pulse in the look-up table. A decimator in this context is a converter which multiplies a sampling interval of a signal by a decimation factor m by rejecting all samples except for every m-th sample. A modulator is a filter that multiplies individual samples of a signal by predetermined individual factors and outputs the respective product.
Ferner kann der Zeitabstand der Impulse durch einen in Einheiten des ersten Abtastabstandes ganzzahligen Anteil des Grundperiodenparameters bestimmt werden.Furthermore, the time interval of the pulses can be determined by an integral part of the basic period parameter in units of the first sampling interval.
Nach einer weiteren vorteilhaften Ausführungsform der Erfindung können die Impulse aus einer vorgegebenen Impulsform, z.B. einem Rechteckimpuls, durch Abtastwerte gebildet werden, die einen zweiten Abtastabstand aufweisen, der um einen Bandbreitenerweiterungsfaktor geringer ist als der erste Abtastabstand. Der Zeitabstand der Impulse kann dann in Einheiten des zweiten Abtastabstandes durch den mit dem Bandbreitenerweiterungsfaktor multiplizierten Grundperiodenparameter bestimmt werden. Als Bandbreitenerweiterungsfaktor kann vorzugsweise das Inverse N desjenigen Bruchteils l/N gewählt werden, der der Genauigkeit des Grundperiodenparameters in Einheiten des ersten Abtastabstandes entspricht.According to a further advantageous embodiment of the invention, the pulses from a predetermined pulse shape, for example a rectangular pulse, can be formed by samples having a second sampling distance which is smaller by a bandwidth expansion factor than the first sampling distance. The time interval of the pulses can then be in units of the second sample pitch are determined by the basic period parameter multiplied by the bandwidth expansion factor. As the bandwidth expansion factor, it is preferable to select the inverse N of the fraction l / N corresponding to the accuracy of the basic period parameter in units of the first sampling pitch.
Vorzugsweise können die Impulse durch ein Impulsformungsfilter mit im zweiten Abtastabstand vorgegebenen Filterkoeffi- zienten geformt werden.Preferably, the pulses can be formed by a pulse shaping filter with filter coefficients predetermined at the second sampling interval.
Weiterhin können die Impulse vor oder nach Beimischung des Rauschsignals durch mindestens einen Hoch-, Tief- und/oder Bandpass gefiltert und/oder durch mindestens einen Dezimator dezimiert werden.Furthermore, the pulses can be filtered before or after admixing of the noise signal by at least one high, low and / or bandpass and / or decimated by at least one decimator.
Nach einer weiteren vorteilhaften Ausführungsform der Erfindung kann der Grundperiodenparameter zeitrahmenweise aus einem oder mehreren Grundperiodenwerten abgeleitet werden.According to a further advantageous embodiment of the invention, the basic period parameter can be derived from one or more basic period values on a timely basis.
Insbesondere kann der Grundperiodenparameter dabei aus schwankungsausgleichend, vorzugsweise nicht linear verknüpften Grundperiodenwerten mehrerer Zeitrahmen abgeleitet werden. Auf diese Weise kann vermieden werden, dass Schwankungen oder Sprünge der Grundperiodenwerte, die z.B. aus durch Störgeräusche verursachten Fehlmessungen einer Audiogrundfrequenz resultieren können, sich auf den Grundperiodenparameter nachteilig auswirken.In particular, the basic period parameter can be derived from fluctuation-compensating, preferably non-linear, associated basic period values of several time frames. In this way it can be avoided that fluctuations or jumps in the fundamental period values, e.g. may result from spurious noise measurements of an audio background frequency, adversely affect the basic period parameters.
In diesem Zusammenhang kann eine relative Abweichung eines aktuellen Grundperiodenwertes von einem früheren Grundperiodenwert oder von einer daraus abgeleiteten Größe ermittelt werden und im Rahmen der Ableitung des Grundperiodenparameters abgedämpft werden.In this context, a relative deviation of a current base period value from a previous base period value or from a quantity derived therefrom can be determined and attenuated as part of the derivation of the basic period parameter.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird ein Mischungsverhältnis zwischen den Impulsen und dem Rauschsignal durch mindestens einen Mischungsparameter bestimmt. Dieser kann zeitrahmenweise aus einem im Subband- Decoder bestehenden Pegelverhältnis zwischen einem tonalen und atonalen Audiosignalanteil des ersten Subbandes abgelei¬ tet werden. Auf diese Weise können im Subband-Dekoder vorlie- gende, ein Oberton-Rausch-Verhältnis im ersten Subband betreffende Pegelparameter zur Bildung der Audiosignalkomponenten im zweiten Subband genutzt werden.According to a further advantageous embodiment of the invention, a mixing ratio between the pulses and the noise signal by at least one mixing parameter certainly. This can be time-frame basis of the first sub-band abgelei ¬ be tet from an existing in the subband decoder level ratio between a tonal and atonal audio signal component. In this way, in the subband decoder, a level parameter relating to an overtone-to-noise ratio in the first subband can be used to form the audio signal components in the second subband.
Weiterhin kann im Rahmen der Ableitung des Mischungsparame- ters das Pegelverhältnis derart umgesetzt werden, dass beiFurthermore, in the context of the derivation of the mixture parameter, the level ratio can be implemented such that at
Überwiegen des atonalen Audiosignalanteils der tonale Audiosignalanteil weiter abgesenkt wird. Da bei natürlichen Audioquellen ein atonaler Audiosignalanteil in höheren Frequenzbändern, insbesondere ab 6 kHz zunehmend überwiegt, kann durch eine solche Absenkung die Wiedergabequalität in der Regel verbessert werden.Weighing the atonal audio signal portion of the tonal audio signal component is further lowered. Since, in the case of natural audio sources, an atonal audio signal component in higher frequency bands, in particular from 6 kHz, increasingly prevails, the quality of reproduction can generally be improved by such a reduction.
Vorteilhafte Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert.Advantageous embodiments of the invention will be explained in more detail with reference to the drawing.
Dabei zeigen jeweils in schematischer Darstellung:In each case show in a schematic representation:
Figur 1 einen Audiosignaldekoder,FIG. 1 shows an audio signal decoder,
Figur 2 eine erste Ausführungsvariante eines Anregungssignalgenerators,FIG. 2 shows a first embodiment of an excitation signal generator,
Figur 3a Filterkoeffizienten eines Impulsformungsfilters,FIG. 3a filter coefficients of a pulse shaping filter,
Figur 3b ein Energiespektrum der Filterkoeffizienten,FIG. 3b shows an energy spectrum of the filter coefficients,
Figur 4 eine zweite Ausführungsvariante eines Anregungssignalgenerators undFigure 4 shows a second embodiment of an excitation signal generator and
Figur 5 vorab berechnete Impulsformen. Figur 1 zeigt in schematischer Darstellung einen Audiosignaldekoder, der aus einem zugeführten Datenstrom kodierter Audiodaten AD ein synthetisches Audiosignal SAS erzeugt. Die Erzeugung des synthetischen Audiosignals SAS ist auf ver- schiedene Subbänder aufgeteilt. So werden auf ein erstes, tiefes Subband entfallende Frequenzkomponenten des synthetischen Audiosignals SAS separat von auf ein zweites, hohes Subband entfallenden Frequenzkomponenten des synthetischen Audiosignals SAS erzeugt. Es sei in den nachfolgenden Ausfüh- rungsbeispielen beispielhaft angenommen, dass das tiefe Subband einen Frequenzbereich f = 0-4 kHz und das hohe Subband einen Frequenzbereich f = 4-8 kHz umfasst. Das tiefe Subband wird im Folgenden auch als schmalbandig bezeichnet.FIG. 5 shows previously calculated pulse shapes. FIG. 1 shows a schematic illustration of an audio signal decoder which generates a synthetic audio signal SAS from a supplied data stream of coded audio data AD. The generation of the synthetic audio signal SAS is subdivided into different subbands. Thus, frequency components of the synthetic audio signal SAS attributable to a first, low subband are generated separately from frequency components of the synthetic audio signal SAS attributable to a second, high subband. In the following exemplary embodiments, it is assumed by way of example that the low subband comprises a frequency range f = 0-4 kHz and the high subband comprises a frequency range f = 4-8 kHz. The deep subband is also referred to below as narrowband.
Im tiefen Subband werden die zugeführten Audiodaten AD von einem für das tiefe Subband spezifischen Tiefband-Decoder LBD, d.h. einem Decoder mit einer im Wesentlichen nur das tiefe Subband umfassenden Bandbreite dekodiert. Hierfür werden insbesondere in den Audiodaten AD enthaltene, für das tiefe Subband spezifische Nebeninformationen, nämlich atonale Mischungsparameter gFIX, tonale Mischungsparameter gLTp sowieIn the deep subband, the supplied audio data AD is decoded by a deep subband-specific low-band decoder LBD, ie a decoder having a bandwidth substantially only the low subband. For this purpose, in particular in the audio data AD contained, for the deep subband specific side information, namely atonal mixing parameters g FIX , tonal mixing parameters g LTp and
Grundperiodenwerte λLTP verwertet. Der Tiefband-Dekoder, z.B. ein Sprachcodec gemäß der ITU-Empfehlung G.729, erzeugt dabei ein schmalbandiges Audiosignal NAS im Frequenzbereich f = 0-4 kHz mit einer Abtastrate fs = 8 kHz.Basic period values λ LTP recovered. The low-band decoder, for example a voice codec according to ITU recommendation G.729, generates a narrow-band audio signal NAS in the frequency range f = 0-4 kHz with a sampling rate f s = 8 kHz.
Im hohen Subband wird durch einen Hochband-Anregungssignal- generator HBG anhand von den vom Tiefband-Dekoder LBD zeit- rahmenweise extrahierten Nebeninformationen gFIX, gLTP und λLTP ein synthetisches Anregungssignal u(k) gebildet. Die Variable k bezeichnet hier und im Folgenden einen Index, durch den digitale Abtastwerte des Anregungssignals oder anderer Signale indiziert werden. Das Anregungssignal u(k) wird vom Anregungssignalgenerator HBG einem Audiosynthesefilter ASYN zugeführt, das dadurch zur Erzeugung eines synthetischen Hochband-Audiosignals HAS im Frequenzbereich f = 4-8 kHz angeregt wird. Das Hochband-Audiosignal HAS wird mit dem schmalbandigen Audiosignal NAS kombiniert, um schließlich das breitbandige synthetische Audiosignal SAS im Frequenzbereich f = 0-8 kHz zu erzeugen und auszugeben.In the high subband, a synthetic excitation signal u (k) is formed by a high band excitation signal generator HBG on the basis of the side information g FIX , g LTP and λ LTP extracted by the low band decoder LBD. The variable k here and in the following denotes an index by which digital samples of the excitation signal or other signals are indexed. The excitation signal u (k) is from the Excitation signal generator HBG an audio synthesis filter ASYN supplied, which is thereby excited to generate a synthetic high-band audio signal HAS in the frequency range f = 4-8 kHz. The high-band audio signal HAS is combined with the narrow-band audio signal NAS to finally generate and output the broadband synthetic audio signal SAS in the frequency range f = 0-8 kHz.
Mittels des Audiosignaldekoders kann auf einfache Weise auch ein Audiosignalenkoder realisiert werden. Zu diesem Zweck ist das synthetisierte Audiosignal SAS einer Vergleichseinrich- ■ tung (nicht dargestellt) zuzuleiten, die das synthetisierte Audiosignal SAS mit einem zu enkodierenden Audiosignal vergleicht. Durch Variation der Audiodaten AD und insbesondere der Nebeninformationen gFIX, CJLTP unc* ^LTP wi-rd dann das syn¬ thetisierte Audiosignal SAS an das zu enkodierende Audiosignal angeglichen.By means of the audio signal decoder, an audio signal encoder can also be realized in a simple manner. For this purpose, the synthesized audio signal SAS is to be forwarded to a comparison device (not shown), which compares the synthesized audio signal SAS with an audio signal to be encoded. By variation of the audio data AD and in particular the side information g FIX, CJLTP unc * ^ LTP w i r d then the syn ¬ thetisierte audio signal SAS aligned with the to be encoded audio signal.
Die Erfindung kann vorteilhaft zur allgemeinen Audiokodie- rung, zur Subband-Audiosynthese sowie zur künstlichen Bandbreitenerweiterung von Audiosignalen verwendet werden. Letzteres kann hierbei als Spezialfall einer Subband-Audiosynthese interpretiert werden, bei der Information über ein bestimmtes Subband genutzt wird, um fehlende Frequenzkomponen- ten eines anderen Subbandes zu rekonstruieren oder zu schätzen.The invention can advantageously be used for general audio coding, for subband audio synthesis as well as for artificial bandwidth expansion of audio signals. The latter can be interpreted as a special case of a subband audio synthesis in which information about a particular subband is used to reconstruct or estimate missing frequency components of another subband.
Die vorstehend genannten Anwendungsmöglichkeiten basieren auf einem geeignet gebildeten Anregungssignal u(k) . Das Anre- gungssignal u(k), das eine spektrale Feinstruktur eines Audiosignals repräsentiert, kann durch das Audiosynthesefilter ASYN auf unterschiedliche Weise, z.B. durch Formung seines Zeit- und/oder Frequenzverlaufs, umgesetzt werden. Damit ein synthetisch gebildetes Anregungssignal u(k) möglichst genau mit einem ursprünglichen, von einem (Subband-) Audiosignalenkoder verwendeten Anregungssignal (nicht darge- stellt) übereinstimmt, sollte das synthetische Anregungssignal u(k) vorzugsweise folgende Eigenschaften aufweisen:The aforementioned applications are based on a suitably formed excitation signal u (k). The excitation signal u (k), which represents a spectral fine structure of an audio signal, can be converted by the audio synthesis filter ASYN in different ways, eg by shaping its time and / or frequency response. So that a synthetically formed excitation signal u (k) coincides as exactly as possible with an original excitation signal (not shown) used by a (subband) audio signal encoder, the synthetic excitation signal u (k) should preferably have the following properties:
- Das synthetische Anregungssignal u(k) sollte im Allgemeinen ein flaches Spektrum aufweisen. Bei atonalen, d.h. stimmlosen Lauten kann das synthetische Anregungssignal u(k) dazu aus weißem Rauschen gebildet werden.The synthetic excitation signal u (k) should generally have a flat spectrum. At atonal, i. unvoiced sounds, the synthetic excitation signal u (k) can be formed from white noise.
- Für tonale, d.h. stimmhafte Laute sollte das synthetische Anregungssignal u(k) harmonische Signalkomponenten, d.h. spektrale Spitzen in ganzzahligen Vielfachen einer Audiogrundfrequenz Fg aufweisen.- For tonal, i. voiced sounds, the synthetic excitation signal u (k) should be harmonic signal components, i. spectral peaks in integer multiples of an audio base frequency Fg have.
In der Praxis treten indes kaum reine tonale oder reine atonale Audiosignale auf. Stattdessen enthalten reale Audiosig- nale in der Regel eine Mischung aus tonalen und atonalen Komponenten. Das synthetische Anregungssignal u(k) ist vorzugsweise so zu erzeugen, dass ein Oberton-Rausch-Verhältnis, d.h. ein Energie- oder Intensitätsverhältnis der tonalen und atonalen Komponenten des ursprünglichen Audiosignals mög- liehst genau reproduziert wird.In practice, however, hardly any pure tonal or pure atonal audio signals occur. Instead, real audio signals usually contain a mixture of tonal and atonal components. The synthetic excitation signal u (k) is preferably to be generated so that an overtone-to-noise ratio, i. an energy or intensity ratio of the tonal and atonal components of the original audio signal may be exactly reproduced.
Während tonaler Laute addiert sich zu den Harmonischen der Audiogrundfrequenz FQ im Allgemeinen ein breitbandiger Geräuschanteil. Dieser Geräuschanteil wird bei höheren Frequen- zen insbesondere ab 6 kHz häufig dominant.During tonal sounds, a broadband noise component generally adds to the harmonics of the audio fundamental frequency F Q. This noise component often becomes dominant at higher frequencies, in particular from 6 kHz.
Im Folgenden wird die Bildung eines zur Audiokodierung, zur Subband-Audiosynthese sowie zur künstlichen Bandbreitenerwei- terung von Audiosignalen geeigneten Anregungssignals u(k) näher erläutert.In the following, the formation of an audio coding, subband audio synthesis and artificial bandwidth amplification of audio signals suitable excitation signal u (k) explained in more detail.
Das Anregungssignal u(k) wird als ein mit einer vorgegebenen Abtastrate von z.B. 16 kHz oder 8 kHz abgetastetes Subband- Signal erzeugt. Dieses Subband-Signal u(k) repräsentiert die Frequenzkomponenten des hohen Subbandes von 4-8 kHz, durch die die Bandbreite des schmalbandigen Audiosignals NAS zu erweitern ist. Das schmalbandige Audiosignal NAS erstreckt sich über einen Frequenzbereich von 0-4 kHz und wird mit einer Abtastrate von 8 kHz abgetastet.The excitation signal u (k) is considered to be on at a predetermined sampling rate of e.g. 16 kHz or 8 kHz sampled subband signal generated. This subband signal u (k) represents the frequency components of the high subband of 4-8 kHz, by which the bandwidth of the narrowband audio signal NAS is to be extended. The narrowband audio signal NAS extends over a frequency range of 0-4 kHz and is sampled at a sampling rate of 8 kHz.
Das gebildete Anregungssignal u(k) regt das Audiosynthesefilter ASYN an und wird dadurch zum Hochband-Audiosignal HAS ge- formt. Das synthetische, breitbandige Audiosignal SAS wird schließlich durch Kombination des geformten Hochband- Audiosignals HAS und des schmalbandigen Audiosignals NAS mit einer höheren Abtastrate von z.B. 16 kHz erzeugt.The formed excitation signal u (k) excites the audio synthesis filter ASYN and is thereby formed into the high-band audio signal HAS. The synthetic broadband audio signal SAS is finally synthesized by combining the shaped high-band audio signal HAS and the narrow-band audio signal NAS with a higher sampling rate of e.g. 16 kHz generated.
Die Bildung des Anregungssignals u(k) basiert auf einem Audioerzeugungsmodell, bei dem tonale, d.h. stimmhafte Laute durch eine Sequenz von Impulsen und atonale, d.h. stimmlose Laute durch vorzugsweise weißes Rauschen angeregt werden. Verschiedene Modifikationen sind vorgesehen, um gemischte An- regungsformen zuzulassen, durch die sich ein verbesserter Höreindruck erzielen lässt.The formation of the excitation signal u (k) is based on an audio generation model in which tonal, i. voiced sounds through a sequence of pulses and atonal, i. unvoiced sounds are excited by preferably white noise. Various modifications are contemplated to allow for mixed stimuli that may result in improved hearing.
Die Erzeugung der tonalen Komponenten des Anregungssignals u(k) basiert auf zwei Audioparametern des Audioerzeugungsmo- dells, nämlich der Audiogrundfrequenz FQ und dem Energiebzw. Intensitätsverhältnis γ zwischen den tonalen und den a- tonalen Audiokomponenten im tiefen Subband. Letzteres wird häufig auch als Oberton-Rausch-Verhältnis oder „Harmonics to Noise Ratio", kurz HNR bezeichnet. Die Audiogrundfrequenz Fg wird in der Fachsprache auch „fundamental speech frequency" genannt .The generation of the tonal components of the excitation signal u (k) is based on two audio parameters of the audio generation model, namely the audio basic frequency FQ and the energy balance. Intensity ratio γ between the tonal and the a tonal audio components in the deep subband. The latter is often referred to as the overtone-to-noise ratio or "harmonics to Noise Ratio ", HNR for short The audio basic frequency Fg is also called" fundamental speech frequency ".
Beide Audioparameter Fg und γ können beim Empfänger eines ü- bertragenen Audiosignals extrahiert werden; vorzugsweise (z.B. im Fall einer Bandbreitenerweiterung) direkt vom tiefen Frequenzband des Audiosignals oder (z.B. im Fall einer Sub- band-Audiosynthese) vom Tiefband-Decoder eines zugrunde lie- genden Tiefband-Audiocodecs, bei dem solche Audioparameter in der Regel verfügbar sind.Both audio parameters Fg and γ can be extracted at the receiver of a transmitted audio signal; preferably (e.g., in the case of bandwidth extension) directly from the low frequency band of the audio signal or (e.g., in the case of subband audio synthesis) from the low band decoder of an underlying lowband audio codec, where such audio parameters are typically available.
Die Audiogrundfrequenz Fg wird häufig durch einen Grundperiodenwert repräsentiert, der durch Abtastrate geteilt durch die Audiogrundfrequenz Fg gegeben ist. Der Grundperiodenwert wird häufig auch als „pitch lagXΛ bezeichnet. Der Grundperiodenwert ist ein Audioparameter, der im Allgemeinen bei Standard- Audiocodecs, wie z.B. gemäß G.729-Empfehlung, zu Zwecken einer so genannten „long-term prediction", kurz LTP, übermit- telt wird. Falls ein solcher Standard-Audiocodec für das tiefe Subband verwendet wird, kann die Audiogrundfrequenz Fg anhand der von diesem Audiocodec bereitgestellten LPT-Audio- parameter ermittelt oder geschätzt werden.The audio basic frequency Fg is often represented by a basic period value given by the sampling rate divided by the audio basic frequency Fg. The base period value is often referred to as "pitch lag XΛ . The basic period value is an audio parameter that is generally communicated to standard audio codecs, such as the G.729 recommendation, for purposes of so-called "long term prediction", LTP for short If the low subband is used, the audio base frequency Fg can be determined or estimated from the LPT audio parameters provided by this audio codec.
Bei vielen Standard-Audiocodecs, wie z.B. gemäß G.729-For many standard audio codecs, such as according to G.729
Empfehlung, wird ein LTP-Grundperiodenwert mit einer zeitlichen Auflösung, d.h. Genauigkeit übermittelt, die einen Bruchteil l/N des von diesem Audiocodec verwendeten Abtastabstandes beträgt. Bei einem Audiocodec gemäß der G.729- Empfehlung wird der LTP-Grundperiodenwert mit einer Genauigkeit von 1/3 des Abtastabstandes bereitgestellt. In Einheiten dieses Abtastabstandes kann der Grundperiodenwert also auch nicht-ganzzahlige Werte annehmen. Eine solche Genauigkeit kann von dem betreffenden Audioenkoder beispielsweise durch eine Abfolge von sog. „open-loop"- und „closed-loop"-Suchen erzielt werden. Der Audioenkoder versucht hierbei denjenigen Grundperiodenwert zu finden, bei dem die Intensität bzw. E- nergie eines LTP-Restsignals minimiert wird. Ein auf diese Weise ermittelter LTP-Grundperiodenwert kann jedoch insbesondere bei starken Nebengeräuschen von dem der tatsächlichen Audiogrundfrequenz FQ der tonalen Audiokomponenten entspre- chenden Grundperiodenwert abweichen und somit eine genaue Reproduktion dieser tonalen Audiokomponenten beeinträchtigen. Als typische Abweichungen treten Periodenverdoppelungsfehler und Periodenhalbierungsfehler auf. Das heißt, die dem abweichenden LPT-Grundperiodenwert entsprechende Frequenz ist die Hälfte bzw. das Doppelte der tatsächlichen Audiogrundfrequenz FQ der tonalen Audiokomponenten.Recommendation, an LTP fundamental period value is transmitted with a temporal resolution, ie accuracy, which is a fractional l / N of the sampling interval used by this audio codec. In an audio codec according to the G.729 recommendation, the basic LTP period value is provided with an accuracy of 1/3 of the sampling distance. In units of this sampling distance, the basic period value can also be accept non-integer values. Such accuracy can be achieved by the relevant audio encoder, for example, by a sequence of so-called "open-loop" and "closed-loop" searches. The audio encoder attempts to find that basic period value at which the intensity or energy of an LTP residual signal is minimized. However, an LTP basic period value determined in this way may deviate from the basic period value corresponding to the actual audio basic frequency FQ of the tonal audio components, in particular in the case of strong background noises, and thus impair accurate reproduction of these tonal audio components. Typical deviations include period-doubling errors and period bisecting errors. That is, the frequency corresponding to the departing LPT basic period value is one half or twice the actual audio basic frequency FQ of the audio tonal components, respectively.
Bei Verwendung solcher LTP-Grundperiodenwerte zur Synthese der tonalen Audiokomponenten im hohen Subband sollten derart große Frequenzabweichungen vermieden werden. Um die Auswirkungen von typischen Periodenverdoppelungs- und Periodenhalbierungsfehlern zu minimieren, kann im Rahmen der Erfindung die nachfolgend erläuterte Nachverarbeitungstechnik eingesetzt werden:Using such LTP base period values to synthesize the tonal audio components in the high subband, such large frequency deviations should be avoided. In order to minimize the effects of typical period-doubling and period-bisecting errors, the post-processing technique explained below can be used within the scope of the invention:
Mit λLTp(μ) sei ein aus dem Tiefband-Dekoder LBD aktuell extrahierter LTP-Grundperiodenwert bezeichnet, wobei μ einen Index eines jeweils verarbeiteten Zeitrahmens oder Subrahmens darstellt. Der Grundperiodenwert λLTP(μ) ist in Einheiten des Abtastabstandes des Tiefband-Dekoders LBD gegeben und kann auch nicht-ganzzahlige Werte annehmen. Aus dem Verhältnis zwischen dem aktuellen Grundperiodenwert λLτp(μ) und einem gefilterten Grundperiodenwert λpost(μ-l) des vorhergehenden Rahmens wird zunächst ein ganzzahliger Faktor f errechnet als Let λ LTp (μ) denote an LTP basic period value currently extracted from the low-band decoder LBD, where μ represents an index of a respective processed time frame or subframe. The fundamental period value λ LTP (μ) is given in units of the sampling interval of the low-band decoder LBD and can also assume non-integer values. From the relationship between the current basic period value λ Lτp (μ) and a filtered basic period value λ post (μ-l) of the previous frame, an integer factor f is first calculated as
Die Funktion round bildet hierbei ihr Argument auf die nächstgelegene ganze Zahl ab.The function round maps its argument to the nearest integer.
Eine Entscheidung, ob der aktuelle Grundperiodenwert λLTP(μ) zu modifizieren ist, wird abhängig von einem relativen FehlerA decision as to whether the current basic period value λ LTP (μ) is to be modified becomes dependent on a relative error
ÄLW(μ) e=l— f-λPost(μ-V>Ä LW (μ) e = l-f-λ P os t (μ-V>
getroffen. Falls der relative Fehler e unterhalb einer vorgegebenen Schwelle ε von z.B. 1/10 liegt, wird angenommen, dass der aktuelle Grundperiodenwert λLTP(μ) das Ergebnis einer beginnenden Phase mit Periodenverdopplungs- oder -Vervielfa- chungsfehler ist. In einem solchen Fall wird der aktuelle Grundperiodenwert λLTp(μ) durch Division mit dem Faktor f dergestalt korrigiert bzw. gefiltert, dass sich die gefilterten Grundperiodenwerte λpost (μ) über mehrere Zeitrahmen μ hinweg im Wesentlichen stetig verhalten. Es erweist sich als vorteilhaft den gefilterten Grundperiodenwert λpost(μ) gemäßmet. If the relative error e is below a predetermined threshold ε of eg 1/10, it is assumed that the current basic period value λ LTP (μ) is the result of an incipient phase with period doubling or error error. In such a case, the current fundamental period value λ LTp (μ) is corrected or filtered by dividing by the factor f such that the filtered fundamental period values λ post (μ) behave substantially steadily over a plurality of time frames μ. It proves to be advantageous the filtered basic period value λ post (μ) according to
zu bestimmen. Durch die Multiplikation mit dem Faktor N, z.B. N=3, im Argument der round-Funktion ist der resultierende Grundperiodenwert λ t(μ) wieder bis auf den Bruchteil l/N des Abtastabstandes des Tiefband-Dekoders LBD genau. to determine. By multiplying by the factor N, for example N = 3, in the argument of the round function, the resulting fundamental period value λ t (μ) is again exact except for the fractional part 1 / N of the sampling interval of the low-band decoder LBD.
Schließlich wird über die Grundperiodenwerte λpost (μ) zur weiteren Glättung ein gleitender Durchschnitt gebildet. Der gleitende Durchschnitt entspricht einer Art Tiefpassfilte- rung. Mit einem gleitenden Durchschnitt über beispielsweise zwei aufeinander folgende Grundperiodenwerte λpost (μ) ergibt sich ein GrundperiodeparameterFinally, a moving average is formed over the fundamental period values λ post (μ) for further smoothing. The moving average corresponds to a kind of low-pass filtering. With a moving average over, for example, two successive fundamental period values λ post (μ), a basic period parameter results
λp{μ) = L {λpoΛμ- l) + λpost (μ))r λ p {μ) = L { λpoΛμ - 1) + λpost (μ )) r
anhand dessen das Anregungssignal u(k) für das hohe Subband abgeleitet wird. Aufgrund der Durchschnittsbildung über zwei Werte weist der Grundperiodeparameter λp(μ) eine um den Faktor zwei höhere Auflösung auf, die einem Bruchteil 1/ (2N) des Abtastabstandes des Tiefband-Dekoders LBD entspricht.on the basis of which the excitation signal u (k) for the high subband is derived. Due to the averaging over two values, the basic period parameter λ p (μ) has a higher resolution by a factor of two, which corresponds to a fraction 1 / (2N) of the sampling interval of the low-band decoder LBD.
Durch die vorstehend erläuterte, nicht-lineare Filterungsprozedur können die meisten Periodenverdoppelungs- oder allgemein -Vervielfachungsfehler vermieden werden. Dies resultiert in einer erheblichen Verbesserung der Wiedergabequalität.By the non-linear filtering procedure explained above, most period-doubling or generally-multiplying errors can be avoided. This results in a considerable improvement in the reproduction quality.
Im Folgenden wird erläutert, wie tonale Mischungsparameter gv(μ) und atonale Mischungsparameter guv(μ) zur Mischung entsprechender tonaler und atonaler Komponenten des Anregungs- signals u(k) im hohen Subband zeitrahmenweise aus für das tiefe Subband spezifischen Mischungsparametern gLτp(μ) und gFIχ(μ) des Tiefband-Dekoders LBD abgeleitet werden. Es sei hierbei angenommen, dass der Tiefband-Dekoder LBD ein sog. CELP-Dekoder (CELP: Codebook Excited Linear Prediction) ist, der ein sog. adaptives oder LTP-Kodebuch und ein sog. fixes Kodebuch aufweist.In the following it is explained how tonal mixing parameters g v (μ) and atonal mixing parameters g uv (μ) for mixing corresponding tonal and atonal components of the excitation signal u (k) in the high subband time-frame from the subband specific mixing parameters g Lτp ( μ) and g FIχ (μ) of the low-band decoder LBD are derived. It may be assumed here that the low-band decoder LBD is a so-called CELP decoder (CELP: Codebook Excited Linear Prediction), which has a so-called adaptive or LTP codebook and a so-called fixed codebook.
In realen Audiosignalen treten tonale Laute fast nie ohne Beiträge von atonalen Signalkomponenten auf. Zur Abschätzung eines Energie- oder Intensitätsverhältnisses zwischen tonalen und atonalen Signalbeiträgen sei modellhaft angenommen, dass das adaptive Kodebuch nur tonale Komponenten im tiefen Sub- band und das fixe Kodebuch nur atonale Komponenten im tiefen Subband beiträgt. Ferner sei angenommen, dass diese beiden Beiträge zueinander orthogonal sind.In real audio signals, tonal sounds almost never occur without contributions from atonal signal components. To estimate an energy or intensity ratio between tonal and atonal signal contributions, let us assume by model that the adaptive codebook contributes only tonal components in the deep subband and the fixed codebook only atonal components in the deep subband. Further assume that these two contributions are mutually orthogonal.
Anhand dieser Annahmen kann aus den Mischungsparametern gLTP und gFIX des Tiefband-Dekoders LBD das Intensitätsverhältnis zwischen tonalen und atonalen Signalkomponenten rekonstruiert werden. Beide Mischungsparametern gLTp, gpix können zeitrah- menweise aus dem Tiefband-Dekoder LBD extrahiert werden. Für jeden Zeitrahmen oder Subrahmen (indiziert durch μ) kann ein momentanes Intensitätsverhältnis zwischen den Beiträgen des adaptiven und des fixen Kodebuchs, d.h. das Oberton-Rausch- Verhältnis γ durch Dividieren der Energiebeiträge des adap- tiven und fixen Kodebuchs ermittelt werden.On the basis of these assumptions, the intensity ratio between tonal and atonal signal components can be reconstructed from the mixing parameters g LTP and g FIX of the low-band decoder LBD. Both mixing parameters g LTp , g pi x can be extracted from the low-band decoder LBD on a timely-frame basis. For each time frame or subframe (indexed by μ), an instantaneous intensity ratio between the contributions of the adaptive and fixed codebooks, ie the overtone-to-noise ratio γ, can be determined by dividing the energy contributions of the adaptive and fixed codebooks.
Während der Mischungsparameter gLTp(μ) einen Verstärkungsfaktor für die Signale des adaptiven Kodebuchs angibt, gibt der Mischungsparameter gpiχ(μ) einen Verstärkungsfaktor für die Signale des fixen Kodebuchs an. Werden aus dem adaptiven Kodebuch ausgegebene Kodebuchvektoren mit xLTp(μ) und aus dem fixen Kodebuch ausgegebene Kodebuchvektoren mit %iχ(μ) bezeichnet, ergibt sich das Oberton-Rausch-Verhältnis alsWhile the mixing parameter g LTp (μ) indicates a gain for the adaptive codebook signals, the mixing parameter g piχ (μ) indicates a gain for the fixed codebook signals. Are output from the adaptive codebook codebook vectors with x LTp (μ) and from the codebook vectors output with fixed codebook indicated by% iχ (μ), the overtone-to-noise ratio results as
Zur besseren Modellierung der atonalen Audiokomponenten im hohen Subband wird das aus dem tiefen Subband abgeleitete O- berton-Rausch-Verhältnis γ durch eine Art Wiener-Filter umgesetzt gemäßFor better modeling of the atonal audio components in the high subband, the overtone-to-noise ratio γ derived from the deep subband is converted by a kind of Wiener filter according to
Durch diese „Wiener^-Filterung wird ein kleines γ (atonales Audiosegment) weiter abgesenkt, während große Werte von γ (tonal dominiertes Audiosegment) kaum verändert werden. Durch eine solche Absenkung werden natürliche Audiosignale besser approximiert .This "Wiener" filtering further lowers a small γ (atonal audio segment) while barely changing large values of γ (tonally dominated audio segment). Such a reduction better approximates natural audio signals.
Aus dem gefilterten Oberton-Rausch-Verhältnis YpOSt können schließlich Verstärkungsfaktoren, d.h. Mischungsparameter gv und guv für tonale bzw. atonale Komponenten des Anregungssignals u(k) im hohen Subband bestimmt werden zuFrom the filtered overtone-to-noise ratio Y pOS t finally gain factors , ie mixing parameters g v and g uv for tonal and atonal components of the excitation signal u (k) in the high subband can be determined
Da in der Praxis kaum reine tonale oder reine atonale Audiosignale auftreten, haben beide Mischungsparameter gv(μ) und guv(μ) in der Regel (gleichzeitig) einen nicht verschwinden- den Wert. Durch die vorstehende Berechnungsvorschrift wird sichergestellt, dass die Summe der Quadrate der Mischungsparameter gv und guv, d.h. eine Gesamtenergie des gemischtenSince in practice hardly any pure tonal or pure atonal audio signals occur, both mixing parameters g v (μ) and g uv (μ) usually have (at the same time) a non-disappearance the value. The above calculation rule ensures that the sum of the squares of the mixing parameters g v and g uv , ie a total energy of the mixed
Anregungssignals u(k) im Wesentlichen konstant ist.Excitation signal u (k) is substantially constant.
Im Folgenden wird die Erzeugung des Anregungssignals u(k) anhand der vom Tiefband-Dekoder LBD abgeleiteten Audioparameter gv, guv und λp am Beispiel zweier Ausführungsvarianten desIn the following, the generation of the excitation signal u (k) on the basis of the derived from the low-band decoder LBD audio parameters g v , g uv and λ p using two variants of the
Anregungssignalgenerators HBG näher erläutert. Hierbei wird aus Gründen der Übersichtlichkeit angenommen, dass die Genauigkeit der Grundperiodewerte in Einheiten des Äbtastabstandes des Tiefband-Dekoders LBD durch l/N mit N=3 gegeben ist. Die nachfolgenden Ausführungen sind selbstverständlich ohne Weiteres auf beliebige Werte von N verallgemeinerbar.Excitation signal generator HBG explained in more detail. Here, for the sake of clarity, it is assumed that the accuracy of the basic period values in units of the sample pitch of the low-band decoder LBD is given by 1 / N where N = 3. The following statements are of course readily generalizable to any values of N.
Eine erste Ausführungsvariante des Anregungssignalgenerators HBG ist in Figur 2 schematisch dargestellt. Die in Figur 2 dargestellte Ausführungsvariante weist einen Impulsgenerator PGl, einen Rauschgenerator NOISE, einen Tiefpass LP mit Ab- schneidefrequenz fc = 8 kHz, einen Dezimator D3 mit Dezimie- rungsfaktor m=3 (oder allgemein m=N) , einen Hochpass HP mit Abschneidefrequenz fc = 4 kHz sowie einen Dezimator D2 mit Dezimierungsfaktor m=2 auf. Der Rauschgenerator NOISE erzeugt vorzugsweise weißes Rauschen. Der Impulsgenerator PGl umfasst seinerseits einen Rechteckimpulsgeber SPG und ein Impulsformungsfilter SF mit einem vorgegebenen Filterkoeffizientensatz p(k) endlicher Länge. Während der Rauschgenerator NOISE zur Erzeugung der atonalen Komponenten des Anregungssignals u(k) dient, trägt der Impulsgenerator PGl zur Erzeugung der tona- len Komponenten des Anregungssignals u(k) bei.A first embodiment of the excitation signal generator HBG is shown schematically in FIG. The embodiment shown in Figure 2 comprises a pulse generator PGI, a noise generator NOISE, a low-pass LP with waste cut frequency fc = 8 kHz, a decimator D3 with decimation magnification factor m = 3 (or generally M = N), a high-pass filter HP with Cut-off frequency f c = 4 kHz and a decimator D2 with decimation factor m = 2 on. The noise generator NOISE preferably generates white noise. The pulse generator PG1 in turn comprises a rectangular pulse generator SPG and a pulse shaping filter SF with a predetermined filter coefficient set p (k) of finite length. While the noise generator NOISE serves to generate the atonal components of the excitation signal u (k), the pulse generator PG1 contributes to the generation of the tonal components of the excitation signal u (k).
Die Audioparameter gv, guv und λp werden zeitrahmenweise in kontinuierlicher Folge aus Audioparametern des Tiefband- Dekoders LBD oder mittels eines geeigneten Audioparameter- Extraktionsblocks abgeleitet und angepasst. Die Filteroperationen sind für einen fraktionalen Grundperiodeparameter λp mit einer Genauigkeit von 1/(2N), hier gleich 1/6, in Einhei- ten der Abtastrate des Tiefband-Dekoders LBD und für eineThe audio parameters g v , g uv and λ p are used in a continuous sequence from audio parameters of the low-band Decoder LBD or derived and adapted by means of a suitable audio parameter extraction block. The filter operations are for a fractional basic period parameter λ p with an accuracy of 1 / (2N), here equal to 1/6, in units of the sampling rate of the low-band decoder LBD and for one
Zielbandbreite, die der Bandbreite des Tiefband-Dekoders LBD entspricht, ausgelegt.Target bandwidth corresponding to the bandwidth of the low-band decoder LBD designed.
Da der Tiefband-Dekoder LBD entsprechend seiner Bandbreite von 0-4 kHz eine Abtastrate von 8 kHz verwendet, und mittels des Anregungssignals u(k) Audiokomponenten von 4-8 kHz, d.h. mit einer Bandbreite von 4 kHz erzeugt werden sollen, ist für den Impulsgenerator PGl eine Äbtastrate von mindestens 8 kHz vorzusehen. Entsprechend der im vorliegenden Ausführungsbei- spiel um den Faktor 2N=6 höheren zeitlichen Auflösung desSince the low-band decoder LBD uses a sampling rate of 8 kHz in accordance with its bandwidth of 0-4 kHz, and audio components of 4-8 kHz by means of the excitation signal u (k). are to be generated with a bandwidth of 4 kHz, is provided for the pulse generator PGl a sampling rate of at least 8 kHz. In accordance with the time resolution of .alpha
Grundperiodeparameters λp ist jedoch sowohl für den Impulsgenerator PGl als auch für den Rauschgenerator NOISE eine Abtastrate von fs = 2*N*8 kHz = 6*8 kHz = 48 kHz vorzusehen.Basic period parameter λ p , however, a sampling rate of f s = 2 * N * 8 kHz = 6 * 8 kHz = 48 kHz is provided for both the pulse generator PGl and for the noise generator NOISE.
Zur Erzeugung des tonalen Anteils des Anregungssignals wird der Grundperiodeparameters λp mit dem Faktor 2N=6 multipliziert und das Produkt 6*λp dem Rechteckimpulsgeber SPG zugeführt. Der Rechteckimpulsgeber SPG erzeugt infolgedessen einzelne Rechteckimpulse in einem durch 6*λp in Einheiten des Abtastabstandes 1/48000 s des Rechteckimpulsgebers SPG gegebenen Zeitabstand. Die einzelnen Recheckimpulse haben eineTo generate the tonal component of the excitation signal, the basic period parameter λ p is multiplied by the factor 2N = 6, and the product 6 * λ p is fed to the rectangular pulse generator SPG. As a result, the rectangular pulse generator SPG generates individual rectangular pulses in a time interval given by 6 * λ p in units of the sampling interval 1/48000 s of the rectangular pulse generator SPG. The individual recheck impulses have one
Amplitude von J6* λp , so dass die mittlere Energie einer langen Impulssequenz im Wesentlichen konstant gleich 1 ist.Amplitude of J6 * λ p such that the average energy of a long pulse sequence is substantially constant equal to 1.
Die vom Rechteckimpulsgeber SPG erzeugten Rechteckimpulse werden mit dem „tonalen" Mischungsparameter gv multipliziert und dem Impulsformungsfilter SF zugeleitet. Im Impulsfor- mungsfilter SF werden die Rechteckimpulse durch Faltung oder Korrelation mit den Filterkoeffizienten p(k) gewissermaßen zeitlich „verschmiertλΛ . Durch diese Filterung kann der sog. Crest-Faktor, d.h. ein Verhältnis von Spitzen- zu Durch- Schnittsabtastwerten erheblich verringert und die Hörqualität des synthetisierten Audiosignals SAS erheblich verbessert werden. Darüber hinaus können die Rechteckimpulse durch das Impulsformungsfilter SF in vorteilhafter Weise spektral geformt werden. Vorzugweise kann das Impulsformungsfilter SF dazu eine Bandpasscharakteristik aufweisen mit einer Übergangsregion um 4 kHz und einem im Wesentlichen gleichmäßigen Dämpfungsanstieg in Richtung höherer und niedrigerer Frequenzen. Auf diese Weise kann erreicht werden, dass höhere Frequenzen des Anregungssignals u(k) weniger harmonische Kompo- nenten aufweisen und somit der Rauschanteil mit steigender Frequenz ansteigt.The rectangular pulses generated by the rectangular pulse generator SPG are multiplied by the "tonal" mixing parameter g v and fed to the pulse shaping filter SF. tion filter SF, the rectangular pulses by a convolution or correlation with the filter coefficients p (k) in a sense temporally "smeared λΛ . By means of this filtering, the so-called crest factor, ie a ratio of peak to average samples, can be considerably reduced and the audio quality of the synthesized audio signal SAS can be considerably improved. In addition, the rectangular pulses can be spectrally shaped by the pulse shaping filter SF in an advantageous manner. Preferably, the pulse shaping filter SF may have a band-pass characteristic with a transition region around 4 kHz and a substantially uniform increase in attenuation in the direction of higher and lower frequencies. In this way it can be achieved that higher frequencies of the excitation signal u (k) have fewer harmonic components and thus the noise component increases with increasing frequency.
Eine beispielhafte Wahl der Filterkoeffizienten p(k) ist in den Figuren 3a und 3b schematisch dargestellt. Während Figur 3a die gegen ihren Abtastwertindex k aufgetragenen Filterkoeffizienten p(k) zeigt, ist in Figur 3b das Energiespektrum der Filterkoeffizienten p(k) gegen die Frequenz aufgetragen. Für den im vorliegenden Ausführungsbeispiel maßgeblichen Zielfrequenzbereich ist bei den Filterkoeffizienten p(k) im Wesentlichen nur der spektrale Bereich von 4-8 kHz relevant. Dieser Frequenzbereich ist in Figur 3b durch eine verbreiterte Linie angedeutet.An exemplary selection of the filter coefficients p (k) is shown schematically in FIGS. 3a and 3b. While FIG. 3a shows the filter coefficients p (k) plotted against its sample index k, in FIG. 3b the energy spectrum of the filter coefficients p (k) is plotted against the frequency. For the target frequency range relevant in the present exemplary embodiment, essentially only the spectral range of 4-8 kHz is relevant for the filter coefficients p (k). This frequency range is indicated in Figure 3b by a widened line.
Wie in Figur 2 veranschaulicht werden die durch das Impuls- formungsfilter SF „verschmierten" Rechteckimpulse zu einem vom Rauschgenerator NOISE erzeugten, mit dem „atonalen" Mischungsparameter guv multiplizierten Rauschsignal addiert und das resultierende Summensignal dem Tiefpass LP zugeleitet. Bis zu diesem Verfahrensschritt wurde eine erhöhte Abtastrate von fs = 48 kHz verwendet. Die verbleibenden der in Figur 2 dargestellten Verarbeitungsblöcke dienen nun dazu, die Frequenzbereiche außerhalb eines Zielfrequenzbereichs von 4-8 kHz wegzufiltern und das Anregungssignal u(k) in einer diesen Zielfrequenzbereich repräsentierenden Darstellung (mit einer Abtastrate von fs = 8 kHz) zu erzeugen.As illustrated in FIG. 2, the rectangular pulses "blurred" by the pulse shaping filter SF are added to a noise signal generated by the noise generator NOISE and multiplied by the "atonal" mixture parameter g uv , and the resultant sum signal is fed to the low-pass filter LP. Until this process step, an increased sampling rate of f s = 48 kHz was used. The remaining processing blocks shown in FIG. 2 are now used to filter out the frequency ranges outside a target frequency range of 4-8 kHz and to generate the excitation signal u (k) in a representation representing this target frequency range (with a sampling rate of f s = 8 kHz).
Zu diesem Zweck wird das Summensignal zunächst vom Tiefpass LP gefiltert und das gefilterte Signal dann durch den Dezima- tor D3 von 48 kHz Abtastrate auf eine Abtastrate von fs = 16 kHz umgesetzt. Das umgesetzte Signal wird anschließend dem Hochpass HP zugeführt, der das hochpass-gefilterte Signal dem Dezimator D2 zuleitet, der aus dem zugeführten Signal mit 16 kHz Abtastrate schließlich das Anregungssignal u(k) mit der Zielabtastrate von fs = 8 kHz erzeugt.For this purpose, the sum signal is first filtered by the low-pass filter LP and the filtered signal is then converted by the decimator D3 of 48 kHz sampling rate to a sampling rate of f s = 16 kHz. The converted signal is then fed to the high-pass filter HP, which feeds the high-pass filtered signal to the decimator D2, which finally generates the excitation signal u (k) with the target sampling rate of f s = 8 kHz from the supplied 16 kHz sampling rate signal.
Das erzeugte Anregungssignal u(k) enthält die zur Bandbreitenerweiterung erforderlichen Frequenzkomponenten. Diese lie- gen jedoch als um die Frequenz 4 kHz gespiegeltes Spektrum vor. Um das Spektrum zu invertieren, kann das Anregungssignal u(k) mit Modulationsfaktoren (-l)k moduliert werden.The generated excitation signal u (k) contains the frequency components required for bandwidth expansion. However, these are present as spectrum mirrored around the frequency 4 kHz. In order to invert the spectrum, the excitation signal u (k) can be modulated with modulation factors (-l) k .
Da die Komponenten des Audiosignaldekoders gemäß Figur 1 im Wesentlichen linear und zeitinvariant sind, können der tonale und der atonale Anteil des Anregungssignals u(k) unabhängig voneinander behandelt werden. Somit können die in der Ausführungsvariante gemäß Figur 2 vorgesehenen Filter- und Dezimie- rungsoperationen für die tonalen Audiokomponenten auch in ei- nem einzigen Bearbeitungsblock zusammengefasst werden. Tatsächlich kann die Impulsantwort aller in Figur 2 vorgesehenen Filterungs-, Dezimierungs- und Modulierungsoperationen für die tonalen Audiokomponenten vorab berechnet und in einer Nachschlagetabelle in geeigneter Form abgespeichert werden.Since the components of the audio signal decoder according to FIG. 1 are substantially linear and time-invariant, the tonal and atonal components of the excitation signal u (k) can be treated independently of each other. Thus, the filtering and decimation operations for the tonal audio components provided in the embodiment variant according to FIG. 2 can also be combined in a single processing block. In fact, the impulse response of all the filtering, decimation and modulation operations provided for in FIG the tonal audio components are calculated in advance and stored in a look-up table in a suitable form.
Eine derartig ausgestaltete, zweite Ausführungsvariante des Anregungssignalgenerators HBG ist in Figur 4 schematisch dargestellt und wird im Folgenden erläutert. Die in Figur 4 dargestellte Ausführungsvariante weist einen Impulsgenerator PG2 sowie einen vorzugsweise weißes Rauschen erzeugenden Rauschgenerator NOISE auf. Der Impulsgenerator PG2 umfasst seiner- seits eine Impulspositioniereinrichtung PP sowie eine Nachschlagetabelle LOOKUP, in der vorgegebene Impulsformen Vj (k) gespeichert sind. Während der Rauschgenerator NOISE zur Erzeugung der atonalen Komponenten des Anregungssignals u(k) dient, trägt der Impulsgenerator PG2 zur Erzeugung der tona- len Komponenten des Anregungssignals u(k) bei. Sowohl derSuch a second embodiment of the excitation signal generator HBG is illustrated schematically in FIG. 4 and will be explained below. The embodiment shown in Figure 4 has a pulse generator PG2 and a preferably white noise generating noise generator NOISE. The pulse generator PG2 in turn comprises a pulse positioner PP and a look-up table LOOKUP in which predetermined pulse forms V j (k) are stored. While the noise generator NOISE serves to generate the atonal components of the excitation signal u (k), the pulse generator PG2 contributes to the generation of the tonal components of the excitation signal u (k). Both the
Rauschgenerator NOISE als auch der Impulsgenerator PG2 verwenden direkt die Zielabtastrate von fs = 8 kHz.The noise generator NOISE and the pulse generator PG2 directly use the target sampling rate of f s = 8 kHz.
Dem Anregungssignalgenerator werden die Audioparameter gv, guv und λp zeitrahmenweise in kontinuierlicher Folge zugeleitet. Die Ableitung der Audioparameter gv, guv und λp wurde bereits oben erläutert. Der fraktionale Grundperiodeparameter λ sei wie oben mit einer Genauigkeit von 1/(2N), hier gleichThe excitation signal generator, the audio parameters g v , g uv and λ p time- frame forwarded in a continuous sequence. The derivation of the audio parameters g v , g uv and λ p has already been explained above. The fractional basic period parameter λ is as above with an accuracy of 1 / (2N), here equal
1/6, in Einheiten der Abtastrate des Tiefband-Dekoders LBD gegeben.1/6, given in units of the sampling rate of the low-band decoder LBD.
Für die tonalen Komponenten des Anregungssignals u(k) kann die Impulsantwort aller durch Figur 2 veranschaulichten Filter-, Dezimierungs- und Modulationsoperationen vorab berech- net werden und in Form bestimmter Impulsformen Vj (k) in derFor the tonal components of the excitation signal u (k), the impulse response of all filter, decimation and modulation operations illustrated by FIG. 2 can be calculated in advance and in the form of specific pulse forms V j (k) in the
Nachschlagetabelle LOOKUP abgespeichert werden. Sofern - wie im vorliegenden Ausführungsbeispiel - auch nicht-ganzzahlige Grundperiodeparameter λp berücksichtigt werden sollen, sind mehrere Impulsformen Vj (k) in der Nachschlagetabelle LOOKÜP vorzuhalten. Die Anzahl der vorzuhaltenden Impulsformen Vj (k) ist dabei vorzugsweise durch das Inverse der Genauigkeit des Grundperiodeparameters λp, d.h. hier durch 2N gegeben. DerLookup table LOOKUP be saved. Unless - as in the present embodiment - even non-integer Basic period parameter λ p are to be considered, several pulse shapes V j (k) in the look-up table LOOKÜP are kept. The number of pulse shapes V j (k) to be provided is preferably given by the inverse of the accuracy of the fundamental period parameter λ p , ie here by 2N. Of the
Index j läuft damit z.B. von 0 bis 2N-1. Im vorliegenden Fall sind entsprechend 6 vorab berechnete Impulsformen Vj (k) , j=0,..., 5 in der Nachschlagetabelle LOOKUP vorzuhalten.For example, index j runs from 0 to 2N-1. In the present case, 6 pre-calculated pulse forms V j (k), j = 0,..., 5 are to be stored in the look-up table LOOKUP.
Bei Betrieb des Impulsgenerators PG2 wird der Nachschlagetabelle LOOKUP der gebrochenzahlige Anteil λp-|_λpj des jeweiligen Grundperiodenparameters λp zugeführt. Die Klammer L J bezeichnet hierbei einen ganzzahligen Anteil einer rationalen oder reellen Zahl. Anhand des zugeführten gebrochenzahligen Anteils λp-|_λpj wird aus den gespeicherten Impulsformen Vj (k) eine Impulsform ausgewählt und ein entsprechend geformter Impuls von der Nachschlagetabelle LOOKUP ausgegeben. Im vorliegenden Ausführungsbeispiel kann λp-|_λpj die Werte 0, 1/6,During operation of the pulse generator PG2, the look-up table LOOKUP is supplied with the fractional component λ p - | _λ p j of the respective basic period parameter λ p . The bracket LJ denotes an integer part of a rational or real number. On the basis of the supplied fractional component λ p - | _λ p j, a pulse shape is selected from the stored pulse shapes V j (k) and a correspondingly shaped pulse is output from the look-up table LOOKUP. In the present exemplary embodiment, λ p - | _λ p j can be the values 0, 1/6,
2/6, 3/6, 4/6 und 5/6 annehmen. Vorzugsweise wird diejenige Impulsform Vj (k) ausgewählt, deren Index j dem jeweiligen2/6, 3/6, 4/6 and 5/6. Preferably, that pulse shape V j (k) is selected whose index j is the respective one
Zähler des betreffenden Bruches entspricht.Counter of the relevant fraction corresponds.
Jeder der abgespeicherten Impulsformen Vj (k) korrespondiert zu einer Impulsantwort der in Figur 2 dargestellten Kette aus den Filtern SF, LP, D3, HP und D2 (und gegebenenfalls einem Modulator) für einen bestimmten gebrochenzahligen Anteil λp-Each of the stored pulse forms V j (k) corresponds to an impulse response of the chain shown in Figure 2 from the filters SF, LP, D3, HP and D2 (and optionally a modulator) for a particular fractional fraction λ p -
LλpJ des Grundperiodeparameters λp.Lλ p J of the fundamental period parameter λ p .
Figur 5 zeigt beispielhaft berechnete Impulsformen Vj (k) für j=0,..., 5 in schematischer Darstellung. Die dargestellten Impulsformen Vj (k) sind für eine fraktionale Auflösung von λp von 1/6 (bei einer Abtastrate von 8 kHz) konstruiert und gegen ihren Abtastindex k aufgetragen. Eine Zuordnung einer jeweiligen Impulsform Vj (k) zum zugehörigen gebrochenzahligenFIG. 5 shows, by way of example, calculated pulse forms V j (k) for j = 0,..., 5 in a schematic representation. The illustrated pulse shapes V j (k) are for a fractional resolution of λ p of 1/6 (at a sampling rate of 8 kHz) and plotted against its scan index k. An assignment of a respective pulse shape V j (k) to the associated fractional number
Anteil λp-|_λpj ist der Legende von Figur 5 zu entnehmen.Proportion λ p - | _λ p j can be taken from the legend of FIG.
Wie in Figur 4 veranschaulicht wird der von der Nachschlagetabelle LOOKUP ausgegebene Impuls, der eine anhand des gebrochenzahligen Anteils λp-LλpJ ausgewählte Impulsform aufweist, mit dem „tonalen" Mischungsparameter gv multipliziert und der Impulspositionierungseinrichtung PP zugeleitet. Durch Letztere werden die zugeleiteten Impulse abhängig vom ganzzahligen Anteil LλpJ des Grundperiodeparameters λp zeitlich positioniert. Die Impulse werden hierbei von der Impulspositionierungseinrichtung PP in einem Zeitabstand ausgegeben, der dem ganzzahligen Anteil l_λpj des Grundperiodeparameters λp entspricht. Die Impulse können moduliert werden indem ein jeweiliges Vorzeichen der Impulsformen Vj(k) bzw. der betreffendenAs illustrated in Figure 4, the pulse output from the LOOKUP look-up table, having a pulse shape selected from the fractional fraction λ p -Lλ p J, is multiplied by the "tonal" mixing parameter g v and supplied to the pulse positioner PP pulses, depending on the integer part Lλ p J of the pitch period parameter λ positioned p in time. the pulses are hereby outputted by the pulse positioning device PP in a time interval corresponding to the integer part l_λ p j of the base period parameter λ p. the pulses may be modulated by a respective sign the pulse forms V j (k) and the respective
Impulse entweder für gerade Werte von l_λpj oder für ungerade Werte von l_λpj invertiert wird.Impulse is inverted either for even values of l_λ p j or for odd values of l_λ p j.
Zu den von der Impulspositionierungseinrichtung PP ausgegebenen Impulsen wird schließlich das mit dem „atonalen" Mischungsparameter guv multiplizierte Rauschsignal des Rauschgenerators NOISE addiert, um das Anregungssignal u(k) zu er- halten.To the pulses output by the pulse positioner PP, the noise signal of the noise generator NOISE multiplied by the "atonal" mixture parameter g uv is finally added to obtain the excitation signal u (k).
Die in Figur 4 dargestellte Ausführungsvariante lässt sich im Allgemeinen mit geringerem Aufwand als die in Figur 2 dargestellte Ausführungsvariante implementieren. Tatsächlich las- sen sich mit einem Anregungssignalgenerator gemäß Figur 4 durch Vorgabe geeigneter Impulsformen Vj (k) effektiv gleiche Anregungssignale u(k) wie mit einem Anregungssignalgenerator gemäß Figur 2 generieren. Da die ausgegebenen Impulse einen verhältnismäßig großen Abstand (typischerweise 20-134 Abtastabstände) aufweisen, ist der rechnerische Aufwand für einen erfindungsgemäßen Anregungssignalgenerator gemäß Figur 4 verhältnismäßig gering. Die Erfindung kann infolgedessen mittels eines günstigen digitalen Signalprozessors mit verhältnismäßig geringen Anforderungen hinsichtlich Speicherbedarf und Rechenleistung implementiert werden. The embodiment variant shown in FIG. 4 can generally be implemented with less effort than the embodiment variant shown in FIG. In fact, with an excitation signal generator according to FIG. 4, by specifying suitable pulse shapes V j (k), it is possible to effectively use the same excitation signals u (k) as with an excitation signal generator generate according to FIG. Since the output pulses have a relatively large distance (typically 20-134 scanning distances), the computational effort for an inventive excitation signal generator according to Figure 4 is relatively low. As a result, the invention can be implemented by means of a low-cost digital signal processor with relatively low memory and computing power requirements.

Claims

Patentansprüche claims
1. Verfahren zum Bilden eines Audiosignals (SAS), wobei a) auf ein erstes Subband entfallende Frequenzkomponenten (NAS) des Audiosignals mittels eines Subband-DekodersA method for forming an audio signal (SAS), wherein a) frequency component (NAS) of the audio signal attributable to a first subband by means of a subband decoder
(LBD) anhand von zugeführten, jeweils eine Grundperiode des Audiosignals (SAS) angebenden Grundperiodenwerten (λLTP) gebildet werden, b) auf ein zweites Subband entfallende Frequenzkomponenten (HAS) des Audiosignals durch Anregen eines Audiosynthesefilters (ASYN) mittels eines für das zweite Subband spezifischen Anregungssignals (u(k)) gebildet werden, und c) zur Erzeugung des Anregungssignals (u(k) durch einen Anregungssignalgenerator (HBG)(LBD) based on supplied, in each case a basic period of the audio signal (SAS) indicative of pitch period values (λ LTP) are formed) b at a second subband attributable frequency components (HAS) of the audio signal by exciting an audio synthesis filter (ASYN) by means of a second for the subband specific excitation signal (u (k)) are formed, and c) for generating the excitation signal (u (k) by an excitation signal generator (HBG)
- ein Grundperiodenparameter (λp) aus den Grundperiodenwerten (λLTP) abgeleitet wird sowiea basic period parameter (λ p ) is derived from the basic period values (λ LTP ) and
- Impulse mit einer vom Grundperiodenparameter (λp) abhängigen Impulsform in einem durch den Grundperioden- parameter (λp) bestimmten Zeitabstand gebildet und mit einem Rauschsignal gemischt werden.- pulses are formed with a dependent on the pitch period parameter (λ p) pulse shape in a basic period determined by the parameter (λ p) time interval and mixed with a noise signal.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Subband-Decoder (LBD) ein für das erste Subband spezifischer, erster Abtastabstand zugeordnet ist, und dass der Grundperiodenparameter (λp) die Grundperiode des2. The method according to claim 1, characterized in that the subband decoder (LBD) is associated with a specific for the first subband first sampling distance, and that the basic period parameter (λ p ) the basic period of
Audiosignals (SAS) bis auf einen Bruchteil des ersten Abtastabstandes angibt.Audio signal (SAS) down to a fraction of the first sampling distance.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Impulsform (Vj (k) ) eines jeweiligen Impulses abhängig von einem in Einheiten des ersten Abtastabstandes nicht-ganzzahligen Anteil (λp-LλpJ) des Grundperiodenparameters (λp) aus unterschiedlichen, in einer Nachschlage- tabelle gespeicherten, vorgegebenen Impulsformen (Vj (k) ) ausgewählt wird.3. The method according to claim 2, characterized in that the pulse shape (V j (k)) of a respective pulse depends on a fraction (λ p -Lλ p J) of the basic period parameter (λ p ) which is not integral in units of the first sampling interval, from different predetermined values stored in a look-up table Pulse shapes (V j (k)) is selected.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass der Zeitabstand der Impulse durch einen in Einheiten des ersten Abtastabstandes ganzzahligen Anteil (LλpJ) des4. The method according to claim 2 or 3, characterized in that the time interval of the pulses by an integral in units of the first sampling interval portion (Lλ p J) of the
Grundperiodenparameters (λp) bestimmt wird.Basic period parameter (λ p ) is determined.
5. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Impulse aus einer vorgegebenen Impulsform durch einen zweiten Abtastabstand aufweisende Abtastwerte gebildet werden, wobei der zweite Abtastabstand um einen Bandbreitenerweiterungsfaktor (N) geringer ist als der erste Abtastabstand, und dass der Zeitabstand der Impulse in Einheiten des zweiten Abtastabstandes durch den mit dem Bandbreitenerweiterungsfaktor (N) multiplizierten GrundperiodenparameterA method according to claim 2 or 3, characterized in that the pulses of a predetermined pulse shape are formed by samples having a second sampling interval, the second sampling distance being smaller by a bandwidth expansion factor (N) than the first sampling interval, and the time interval of Pulses in units of the second sampling distance through the basic period parameter multiplied by the bandwidth expansion factor (N)
(λp) bestimmt wird.(λ p ) is determined.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Impulse durch ein Impulsformungsfilter (SF) mit im zweiten Abtastabstand vorgegebenen Filterkoeffizienten (p(k)) geformt werden.6. The method according to claim 5, characterized in that the pulses are formed by a pulse shaping filter (SF) with the second sampling interval predetermined filter coefficients (p (k)).
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Impulse vor oder nach Beimischung des Rauschsignals durch mindestens einen Dezimator (D2, D3) dezimiert werden.7. The method according to claim 5 or 6, characterized in that the pulses are decimated before or after admixture of the noise signal by at least one decimator (D2, D3).
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Impulse vor oder nach Beimischung des Rauschsignals durch mindestens einen Hoch-, Tief- und/oder Band- pass gefiltert werden.8. The method according to any one of the preceding claims, characterized in that the pulses are filtered before or after admixing of the noise signal by at least one high, low and / or band pass.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Grundperiodenparameter (λp) zeitrahmenweise aus einem oder mehreren Grundperiodenwerten (λLTP) abgeleitet wird.9. Method according to one of the preceding claims, characterized in that the basic period parameter (λ p ) is derived from one or more basic period values (λ LTP ) on a timely basis.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Grundperiodenparameter (λp) aus schwankungsaus- gleichend verknüpften Grundperiodenwerten (λLTP) mehrerer Zeitrahmen abgeleitet wird.10. The method according to any one of the preceding claims, characterized in that the basic period parameter (λ p ) is derived from fluctuation-compensated associated basic period values (λ LTP ) of several time frames.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine relative Abweichung (e) eines aktuellen Grundperiodenwertes (λLTP) von einem früheren Grundperiodenwert oder von einer daraus abgeleiteten Größe (λpost) ermittelt und im Rahmen der Ableitung des Grundperiodenparameters (λp) abgedämpft wird.11. Method according to one of the preceding claims, characterized in that a relative deviation (e) of a current basic period value (λ LTP ) from an earlier basic period value or from a variable derived therefrom (λ post ) is determined and in the context of the derivation of the basic period parameter (λ p ) is damped.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Mischungsverhältnis zwischen den Impulsen und dem Rauschsignal durch mindestens einen Mischungsparameter (gv, guv) bestimmt wird, der zeitrahmenweise aus einem im Subband-Decoder (LBD) bestehenden Pegelverhältnis (γ) zwischen einem tonalen und atonalen Audiosignalanteil des ersten Subbandes abgeleitet wird.12. The method according to any one of the preceding claims, characterized in that a mixing ratio between the pulses and the noise signal is determined by at least one mixing parameter (g v , g uv ), the time frame of a subband decoder (LBD) existing level ratio (γ) between a tonal and atonal audio signal component of the first Subbandes is derived.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass im Rahmen der Ableitung des Mischungsparameters (gv, guv) das Pegelverhältnis (γ) derart umgesetzt wird, dass bei Überwiegen des atonalen Audiosignalanteils der tonale Audiosignalanteil abgesenkt wird.13. The method according to claim 12, characterized in that in the context of the derivation of the mixing parameter (g v , g uv ), the level ratio (γ) is implemented such that when predominantly the atonal audio signal component of the tonal audio signal component is lowered.
14. Audiosignaldekoder zum Bilden eines Audiosignals (SAS), mit a) einem Subband-Dekoder (LBD) zum Bilden von auf ein erstes Subband entfallenden Frequenzkomponenten (NAS) des Audiosignals anhand von zugeführten, jeweils eine14. An audio signal decoder for forming an audio signal (SAS), comprising a) a subband decoder (LBD) for forming a frequency component (NAS) of the audio signal attributed to a first subband by means of supplied ones
Grundperiode des Audiosignals (SAS) angebenden Grundperiodenwerten (λLTP) , b) einem Audiosynthesefilter (ASYN) , und c) einem Anregungssignalgenerator (HBG) zum Generieren ei- nes Anregungssignals (u(k)) zum Bilden von auf ein zweites Subband entfallenden Frequenzkomponenten (HAS) des Audiosignals durch Anregen des Audiosynthesefilters, wobei der Anregungssignalgenerator (HBG)Basic period values (λ LTP ), b) an audio synthesis filter (ASYN), and c) an excitation signal generator (HBG) for generating an excitation signal (u (k)) for forming frequency components attributable to a second subband (HAS) of the audio signal by exciting the audio synthesis filter, the excitation signal generator (HBG)
- eine Ableitungseinrichtung zum Ableiten eines Grundpe- riodenparameters (λp) aus den Grundperiodenwerten- Deriving means for deriving a basic period parameter (λ p ) from the basic period values
(λLTP) ,(λ LTP ),
- einen Rauschgenerator (NOISE) zum Bilden eines Rausch- Signals,a noise generator (NOISE) to form a noise signal,
- einen Impulsgenerator (PGl, PG2) zum Bilden von Impulsen mit einer vom Grundperiodenparameter (λp) abhängigen Impulsform in einem durch den Grundperiodenparame- ter (λp) bestimmten Zeitabstand, sowie- a pulse generator (PGI, PG2) for forming pulses having a fundamental period-dependent parameter (λ p) pulse shape in a basic period determined by the parameter (λ p) time interval, and
- eine Mischeinrichtung zum Mischen der Impulse mit dem Rauschsignal aufweist.- Having a mixer for mixing the pulses with the noise signal.
15. Audiosignalenkoder mit einem Audiosignaldekoder nach An- spruch 14 sowie mit einer Vergleichseinrichtung zum Angleichen eines vom Audiosignaldekoder gebildeten Audiosignals an ein zu übertragendes Audiosignal. 15. An audio signal encoder with an audio signal decoder according to claim 14 and with a comparison device for matching an audio signal formed by the audio signal decoder to an audio signal to be transmitted.
EP06706508.6A 2006-01-31 2006-01-31 Method and arrangements for audio signal encoding Active EP1979901B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2006/000812 WO2007087824A1 (en) 2006-01-31 2006-01-31 Method and arrangements for audio signal encoding

Publications (2)

Publication Number Publication Date
EP1979901A1 true EP1979901A1 (en) 2008-10-15
EP1979901B1 EP1979901B1 (en) 2015-10-14

Family

ID=36616862

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06706508.6A Active EP1979901B1 (en) 2006-01-31 2006-01-31 Method and arrangements for audio signal encoding

Country Status (4)

Country Link
US (1) US8612216B2 (en)
EP (1) EP1979901B1 (en)
CN (1) CN101336451B (en)
WO (1) WO2007087824A1 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4972742B2 (en) * 2006-10-17 2012-07-11 国立大学法人九州工業大学 High-frequency signal interpolation method and high-frequency signal interpolation device
US8639500B2 (en) * 2006-11-17 2014-01-28 Samsung Electronics Co., Ltd. Method, medium, and apparatus with bandwidth extension encoding and/or decoding
KR101379263B1 (en) * 2007-01-12 2014-03-28 삼성전자주식회사 Method and apparatus for decoding bandwidth extension
WO2010028292A1 (en) 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Adaptive frequency prediction
US8532998B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Selective bandwidth extension for encoding/decoding audio/speech signal
US8515747B2 (en) 2008-09-06 2013-08-20 Huawei Technologies Co., Ltd. Spectrum harmonic/noise sharpness control
US8577673B2 (en) 2008-09-15 2013-11-05 Huawei Technologies Co., Ltd. CELP post-processing for music signals
WO2010031003A1 (en) 2008-09-15 2010-03-18 Huawei Technologies Co., Ltd. Adding second enhancement layer to celp based core layer
EP2346032B1 (en) * 2008-10-24 2014-05-07 Mitsubishi Electric Corporation Noise suppressor and voice decoder
CN101599272B (en) * 2008-12-30 2011-06-08 华为技术有限公司 Keynote searching method and device thereof
JP5552988B2 (en) * 2010-09-27 2014-07-16 富士通株式会社 Voice band extending apparatus and voice band extending method
US8924200B2 (en) * 2010-10-15 2014-12-30 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
US8868432B2 (en) * 2010-10-15 2014-10-21 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
KR20120046627A (en) * 2010-11-02 2012-05-10 삼성전자주식회사 Speaker adaptation method and apparatus
CN108831501B (en) 2012-03-21 2023-01-10 三星电子株式会社 High frequency encoding/decoding method and apparatus for bandwidth extension
JP5998603B2 (en) * 2012-04-18 2016-09-28 ソニー株式会社 Sound detection device, sound detection method, sound feature amount detection device, sound feature amount detection method, sound interval detection device, sound interval detection method, and program
US9373337B2 (en) * 2012-11-20 2016-06-21 Dts, Inc. Reconstruction of a high-frequency range in low-bitrate audio coding using predictive pattern analysis
US8927847B2 (en) * 2013-06-11 2015-01-06 The Board Of Trustees Of The Leland Stanford Junior University Glitch-free frequency modulation synthesis of sounds
JP6385936B2 (en) * 2013-08-22 2018-09-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Speech coding apparatus and method
US10083708B2 (en) * 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
CN111710342B (en) * 2014-03-31 2024-04-16 弗朗霍弗应用研究促进协会 Encoding device, decoding device, encoding method, decoding method, and program
US20170010733A1 (en) * 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc User-identifying application programming interface (api)
US10264116B2 (en) * 2016-11-02 2019-04-16 Nokia Technologies Oy Virtual duplex operation
CN109003621B (en) * 2018-09-06 2021-06-04 广州酷狗计算机科技有限公司 Audio processing method and device and storage medium
WO2020157888A1 (en) * 2019-01-31 2020-08-06 三菱電機株式会社 Frequency band expansion device, frequency band expansion method, and frequency band expansion program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69712537T2 (en) * 1996-11-07 2002-08-29 Matsushita Electric Industrial Co., Ltd. Method for generating a vector quantization code book
US6377915B1 (en) * 1999-03-17 2002-04-23 Yrp Advanced Mobile Communication Systems Research Laboratories Co., Ltd. Speech decoding using mix ratio table
DE10041512B4 (en) 2000-08-24 2005-05-04 Infineon Technologies Ag Method and device for artificially expanding the bandwidth of speech signals
JP2003044098A (en) * 2001-07-26 2003-02-14 Nec Corp Device and method for expanding voice band

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007087824A1 *

Also Published As

Publication number Publication date
EP1979901B1 (en) 2015-10-14
CN101336451B (en) 2012-09-05
WO2007087824A1 (en) 2007-08-09
US20090024399A1 (en) 2009-01-22
CN101336451A (en) 2008-12-31
US8612216B2 (en) 2013-12-17

Similar Documents

Publication Publication Date Title
EP1979901B1 (en) Method and arrangements for audio signal encoding
DE60013785T2 (en) IMPROVED SUBJECTIVE QUALITY OF SBR (SPECTRAL BAND REPLICATION) AND HFR (HIGH FREQUENCY RECONSTRUCTION) CODING PROCEDURES BY ADDING NOISE AND LIMITING NOISE REDUCTION
DE60012198T2 (en) ENCODING THE CORD OF THE SPECTRUM BY VARIABLE TIME / FREQUENCY RESOLUTION
DE102008015702B4 (en) Apparatus and method for bandwidth expansion of an audio signal
DE69219718T2 (en) Digital data encoding and decoding device with high effectiveness
DE60202881T2 (en) RECONSTRUCTION OF HIGH-FREQUENCY COMPONENTS
DE60310716T2 (en) SYSTEM FOR AUDIO CODING WITH FILLING OF SPECTRAL GAPS
DE69618422T2 (en) Speech decoding method and portable terminal
DE69317958T2 (en) Low delay audio signal encoder using analysis-by-synthesis techniques
DE60214027T2 (en) CODING DEVICE AND DECODING DEVICE
DE69910240T2 (en) DEVICE AND METHOD FOR RESTORING THE HIGH FREQUENCY PART OF AN OVER-SAMPLE SYNTHETIZED BROADBAND SIGNAL
DE60206390T2 (en) EFFICIENT AND SCALABLE PARAMETRIC STEREOCODING FOR LOW-BITRATE APPLICATIONS
EP0290581B1 (en) Process for transmitting digital audio-signals
EP1979899B1 (en) Method and arrangements for encoding audio signals
DE69615839T2 (en) speech
DE60303689T2 (en) AUDIO DECODING DEVICE AND METHOD
DE69916321T2 (en) CODING OF AN IMPROVEMENT FEATURE FOR INCREASING PERFORMANCE IN THE CODING OF COMMUNICATION SIGNALS
DE60103086T2 (en) IMPROVEMENT OF SOURCE DELIVERY SYSTEMS BY ADAPTIVE TRANSPOSITION
DE60128121T2 (en) PERCEPTIONALLY IMPROVED IMPROVEMENT OF CODED AUDIBLE SIGNALS
DE69123500T2 (en) 32 Kb / s low-delay code-excited predictive coding for broadband voice signal
DE602005003358T2 (en) AUDIO CODING
DE60038279T2 (en) Beitband speech coding with parametric coding of the high frequency component
DE69328064T2 (en) Time-frequency interpolation with low rate speech coding application
DE69425808T2 (en) Device for compressing and expanding the bandwidth of a speech signal, method for transmitting a compressed speech signal and method for its reproduction
DE69828709T2 (en) Increase the density of coded speech signals

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080612

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR GB IT SE

RIN1 Information on inventor provided before grant (corrected)

Inventor name: TADDEI, HERVE

Inventor name: GARTNER, MARTIN

Inventor name: JAX, PETER

Inventor name: VARY, PETER

Inventor name: SCHANDL, STEFAN

Inventor name: GEISER, BERND

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB IT SE

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20130926

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIFY GMBH & CO. KG

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502006014585

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G10L0021020000

Ipc: G10L0019020000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 21/038 20130101ALI20150408BHEP

Ipc: G10L 19/02 20130101AFI20150408BHEP

INTG Intention to grant announced

Effective date: 20150512

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB IT SE

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502006014585

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151014

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502006014585

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20160715

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502006014585

Country of ref document: DE

Representative=s name: SCHAAFHAUSEN PATENTANWAELTE PARTNERSCHAFTSGESE, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 502006014585

Country of ref document: DE

Representative=s name: FRITZSCHE PATENTANWAELTE, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502006014585

Country of ref document: DE

Owner name: UNIFY GMBH & CO. KG, DE

Free format text: FORMER OWNER: UNIFY GMBH & CO. KG, 81379 MUENCHEN, DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502006014585

Country of ref document: DE

Representative=s name: SCHAAFHAUSEN PATENTANWAELTE PARTNERSCHAFTSGESE, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240119

Year of fee payment: 19

Ref country code: GB

Payment date: 20240124

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240124

Year of fee payment: 19