EP1279168A1 - Verfahren zur verbesserung der sprachqualität bei sprachübertragungsaufgaben - Google Patents

Verfahren zur verbesserung der sprachqualität bei sprachübertragungsaufgaben

Info

Publication number
EP1279168A1
EP1279168A1 EP01911752A EP01911752A EP1279168A1 EP 1279168 A1 EP1279168 A1 EP 1279168A1 EP 01911752 A EP01911752 A EP 01911752A EP 01911752 A EP01911752 A EP 01911752A EP 1279168 A1 EP1279168 A1 EP 1279168A1
Authority
EP
European Patent Office
Prior art keywords
signal
stationarity
opt2
speech
speech signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP01911752A
Other languages
English (en)
French (fr)
Other versions
EP1279168B1 (de
Inventor
Kyrill Alexander Fischer
Christoph Erdmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Publication of EP1279168A1 publication Critical patent/EP1279168A1/de
Application granted granted Critical
Publication of EP1279168B1 publication Critical patent/EP1279168B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor

Definitions

  • the present invention relates to a method according to the preamble of claim 1.
  • a method which is particularly suitable for the transmission of speech is the Code Excited Linear Prediction (CELP) method known from US 4133976.
  • CELP Code Excited Linear Prediction
  • the speech signal is encoded and transmitted in small time segments ("speech frame”, “frame”, “time segment”, “time segment”) each of approximately 5 ms to 50 ms in length.
  • speech frame "frame”
  • time segment "time segment”
  • time segment each of approximately 5 ms to 50 ms in length.
  • Each of these time segments is not represented exactly, but only by approximating the actual signal shape.
  • the approximation describing the signal section is essentially obtained from three components that are used on the decoder side to reconstruct the signal: firstly, a filter that approximately describes the spectral structure of the respective signal section, secondly, a so-called excitation signal that is filtered by this filter and, thirdly, an amplification factor (“gain”) by which the excitation signal is multiplied before filtering.
  • the amplification factor is responsible for the volume of the respective section of the reconstructed signal.
  • the result of this filtering then represents the approximation of the signal piece to be transmitted.
  • the information about the filter settings and the information about the excitation signal to be used and its scaling (“gain”), which describes the volume must be transmitted. In general, these parameters are obtained from different codebooks available to the encoder and decoder in identical copies, so that only the most suitable number is used for reconstruction
  • Codebook entries must be transferred. When coding a speech signal, the most suitable codebook entries must be determined for each section, whereby all relevant codebook entries are searched in all relevant combinations, and those entries are selected that deliver the smallest deviation from the original signal in terms of a reasonable distance measure.
  • the determination of the gain factor can also be sensibly implemented in various ways.
  • the gain factor can in principle be approximated using two methods described below:
  • Method 1 "waveform matching" With this method, the gain factor is calculated taking into account the waveform of the excitation signal from the code book. For the calculation, the deviation Ei between the original signal x, which is to be transmitted (in the representation as a vector) and the reconstructed signal g H c is minimized.
  • g is the gain factor to be determined
  • H is the matrix describing the filter operation
  • c is also the most suitable excitation codebook vector to be determined, which has the same dimension as the target vector x.
  • the optimal codebook vector c-opt is generally first determined. Then the optimal gain factor g is first calculated and then the matching codebook vector g-opt is determined. This calculation always delivers good values when the waveform of the excitation codebook vector filtered with H from the codebook matches the predefined waveform as closely as possible. This is e.g. B. with clear speech without background noise generally more often than with speech signals
  • This method gives good values e.g. B. with little periodic signals, such as. B. may include voice signals that have a high background noise level.
  • the gain values calculated according to Method 2 on the other hand, generally give worse values than Method 1 with low background noise.
  • the optimal codebook entry g_opt that follows from method 1 is first determined, and then the quantized gain factor g_opt2 to be used, ie found in the codebook, is determined by minimizing the size E 3 :
  • the weighting factor a is used to control the extent to which the result of method 1 or the result of method 2 is to be used. According to Eq. (1) Gain-eff2, calculated by minimizing E 3 , is then transmitted and used on the decoder side.
  • weighting factor a for each signal section to be coded so that the calculation according to Eq. (1) or another minimization function in which a weighting between two methods is used, values that are as useful as possible are found.
  • “sensible values” are values that are adapted as well as possible to the signal situation given in the current signal section. For example, for noise-free speech, a would have to be selected near 0, and with strong background noise, a would be close 1 to choose.
  • the value of the weighting factor a is controlled via a periodicity measure, using the prediction gain as the basis for determining the periodicity of the present signal.
  • the value of a to be used is determined from the specification of the periodicity measure which describes the current signal state and which is denoted by p via a fixed characteristic curve f (p).
  • This characteristic curve is designed in such a way that it delivers a lower value for a for strongly periodic signals. This means that method 1 of "waveform matching," is preferred for strongly periodic signals. For less strong periodic signals, however, a higher value for a, ie closer to 1, is specified via f (p).
  • the method according to the invention provides not only the periodicity Si of the signal for determining the
  • Weighting factor but also the stationarity S to use the signal.
  • further parameters which are characteristic of the signals present such as, for example, the continuous estimation of the interference level, can be taken into account when determining the weighting factor.
  • the weighting factor a is therefore advantageously determined not only on the basis of the periodicity S1, but also from a plurality of parameters.
  • N be the number of parameters or dimensions used. From the combination of the results of the individual measures, an improved, more robust determination of a can be made. This means that the value of a to be used is no longer made dependent on just one measure, but depends on a rule h on those describing the current signal state
  • An exemplary implementation according to the invention would accordingly be seen in a system that on the one hand uses a periodicity measure Si and additionally also a stationarity measure S2. Due to the additional consideration of the stationarity S 2 of the signal z. B. the above-mentioned problem cases (onsets, noise) are better dealt with.
  • the results of the periodicity measure Si and the stationarity measure S 2 are first calculated. Then according to Eq. (2) from the two dimensions the appropriate value for the Weighting factor a calculated. This value is then given in Eq. (1) used to determine the best value for the gain factor.
  • a concrete way to implement the assignment rule h (S ⁇ ) is z. B. to use a number of K different characteristic curves h ⁇ (S ⁇ ) ... h k (S ⁇ ) and to control the characteristic curve hi (S ⁇ ) to be used in the present signal case via a parameter S 2 :
  • the assignment rule h (.) Used in this case provides two different characteristic curves h ⁇ (S ⁇ ) and h 2 (S ⁇ ). The respective characteristic curve is selected in
  • the parameter SI describes the voiceability (periodicity) of the signal.
  • the information about the voicing results from the knowledge of the
  • the parameter SI used is now obtained by forming the short-term mean of ⁇ over the last 10 signal sections ⁇ m cur -. Index of the current signal section):
  • FIG. 1 shows schematically the dependence of the weighting factor a on Si.
  • the shape of the characteristic curve therefore depends on the selection of the threshold values ai and ah as well as sli and sl.
  • the selection of the characteristic curve hi or h 2 as a function of s 2 means that different threshold value combinations (ai, a h , sli, slh) are selected for different values of S 2 .
  • the parameter S contains a statement about the
  • the VAD is not optimized for an exact measurement of the speech pauses (as is usual), but for a classification of those signal sections that are considered stationary with regard to the determination of the gain factor.
  • spectral distortion SD English: spectral distorsion
  • the signal section under consideration is assumed to be non-spectrally stationary.
  • the temporal steadiness is determined in a second stage, the decision thresholds of which depend on the detection of spectrally stationary signal sections of the first stage. If the present signal section has been classified as spectrally stationary by the first stage, then its envelope frequency response becomes
  • L corresponds to the length of the signal section under consideration.
  • the characteristic is flat and a has the value 1 regardless of sl.
  • a dependency is also conceivable, in which a continuous parameter s (0 ⁇ , s2 ⁇ 1) contains a statement about the stationaryity S.
  • a three-dimensional surface h (sl, s2), by which a is determined, takes the place of the different characteristics hi and h.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Machine Translation (AREA)

Description

Verfahren zur Verbesserung der Sprachqualität bei Sprachübertragungsaufgaben
Die vorliegende Erfindung betrifft ein Verfahren gemäß des Oberbegriffs des Anspruchs 1.
Im Bereich der Sprachübertragung und im Bereich der digitalen Signal- und Sprachspeicherung ist die Anwendung spezieller digitaler Codierungsverfahren zu Datenkompressionszwecken weit verbreitet und aufgrund der hohen Datenaufkommen sowie der begrenzten
Übertragungskapazitäten zwingend notwendig. Ein für die Übertragung von Sprache besonders geeignetes Verfahren ist das aus der US 4133976 bekannte Code Excited Linear Prediction (CELP) -Verfahren. Bei diesem Verfahren wird das Sprachsignal in kleinen zeitlichen Abschnitten ("Sprachrahmen", "Rahmen", "zeitlicher Ausschnitt", "zeitlicher Abschnitt") von jeweils ca. 5 ms bis 50 ms Länge codiert und übertragen. Jeder dieser zeitlichen Abschnitte wird nicht exakt, sondern nur durch eine Annäherung an die tatsächliche Signalform dargestellt. Die den Signalabschnitt beschreibende Approximation wir dabei im wesentlichen aus drei Komponenten gewonnen, die Decoder-Seitig zur Rekonstruktion des Signals verwendet werden: Erstens einem Filter, das die spektrale Struktur des jeweiligen Signalausschnittes annähernd beschreibt, zweitens einem sog. Anregungssignal, das durch dieses Filter gefiltert wird, und drittens einem Verstärkungsfaktor („gain"), mit dem das Anregungssignal vor der Filterung multipliziert wird. Der Verstärkungsfaktor ist für die Lautstärke des jeweiligen Abschnitts des rekonstruierten Signals verantwortlich. Das Ergebnis dieser Filterung, stellt dann die Approximation des zu übertragenden Signalstückes dar. Für jeden Abschnitt muß die Information über die Filtereinstellungen und die Information über das zu verwendende Anregungssignal und dessen Skalierung ("gain"), die die Lautstärke beschreibt, übertragen werden. Im allgemeinen werden diese Parameter aus verschiedenen, dem Encoder und Decoder in identischen Kopien vorliegenden Codebüchern gewonnen, so daß zur Rekonstruktion nur die Nummer der am besten geeigneten
Codebucheinträge übertragen werden muß. Bei der Codierung eines Sprachsignals sind also für jeden Abschnitt diese am besten geeigneten Codebucheinträge zu bestimmen, wobei alle relevanten Codebucheinträge in allen relevanten Kombinationen durchsucht werden, und diejenigen Einträge ausgewählt werden, die die im Sinne eines sinnvollen Abstandsmaßes kleinste Abweichung zum Originalsignal liefern.
Es existieren verschiedene Verfahren zur Optimierung der Struktur der Codebücher (z.B. Mehrstufigkeit, Lineare Prädiktion basierend auf den vergangenen Werten, spezifische Abstandsmaße, optimierte Suchverfahren, etc.). Außerdem gibt es verschiedene Verfahren, die den Aufbau und das Durchsuchungsverfahren für die Bestimmung der Anregungsvektoren beschreiben.
Auch die Bestimmung des Verstärkungsfaktors (gain-Wertes) läßt sich auf verschiedene Weise sinnvoll realisieren. Der Verstärkungsfaktor kann im Prinzip mittels zweier nachfolgend beschriebener Methoden angenähert werden:
Methode 1 : "waveform matching" Bei dieser Methode wird der Verstärkungsfaktor unter Berücksichtigung der Wellenform des Anregungssignals aus dem Codebuch berechnet. Zur Berechnung wird die Abweichung Ei zwischen ursprünglichem, d.h. zu übertragendem Signal x (in der Darstellung als Vektor ) und dem rekonstruierten Signal g H c minimiert. Dabei ist g der zu bestimmende Verstärkungsfaktor, H die die Filteroperation beschreibende Matrix und c der ebenfalls zu bestimmende bestgeeignetste Anregungscodebuchvektor, der die gleiche Dimension hat wie der Zielvektor x.
Ei = | | χ - g H c | |2
Zur Berechnung wird im allgemeinen zunächst der optimale Codebuchvektor c-opt bestimmt. Danach wird der hierfür optimale Verstärkungsfaktor g zunächst berechnet und dann der hierzu passende Codebuchvektor g-opt bestimmt. Diese Berechnung liefert gute Werte immer dann, wenn die Wellenform des mit H gefilterten Anregungscodebuchvektors aus dem Codebuch möglichst gut mit der vorgegebenen Wellenform übereinstimmt. Dies ist z. B. bei klarer Sprache ohne Hintergrundgeräusche im allgemeinen häufiger der Fall als bei Sprachsignalen mit
Hintergrundgeräuschen. Bei starken Hintergrundgeräuschen kann eine Verstärkungsfaktor-Berechnung nach Methode 1 daher zu störenden Effekten führen, die sich z. B. in Form von Lautstärkeschwankungen äußern können.
Methode 2 : „energy matching" Bei dieser Methode wird der Verstärkungsfaktor g ohne Berücksichtigung der Wellenform des Sprachsignals berechnet. Bei der Berechnung wird die Abweichung E2 minimiert :
E2 = (|| exc(g) | | - | | res | | ) 2
Dabei ist exe der skalierte Codebuchvektor, der von dem Verstärkungsfaktor g abhängt, res bezeichnet das "ideale" Anregungssignal. Außerdem können noch andere, vorher bestimmte konstante Codebucheinträge d hinzukommen:
exe (g) = c_opt*g + d
Dieses Verfahren liefert gute Werte z. B. bei wenig periodischen Signalen, zu denen z. B. Sprachsignale gehören können, die einen hohen Hintergrund-Geräuschpegel aufweisen. Die nach Methode 2 berechneten Verstärkungs- Werte liefern andererseits bei geringen Hintergrundgeräuschen im allgemeinen schlechtere Werte als Methode 1.
Bei dem heute eingesetzten Verfahren wird zunächst der aus Methode 1 folgende optimale Codebucheintrag g_opt bestimmt, und dann der tatsächlich zu verwendenden quantisierte, d.h. im Codebuch gefundene Verstärkungsfaktor g_opt2 durch Minimierung der Größe E3 bestimmt:
Gl. (1) E3(g__opt2) = (1-a)* | | c-opt | | * (g_opt2-g-opt) 2
+ a * (| |eχg(g_opt2) | |-| |res| | ) 2
Der Gewichtungsfaktor a kann dabei Werte zwischen 0 und 1 annehmen, und ist mittels geeigneter Algorithmen vorzugeben. Für den Extremfall a = 0 wird in dieser Gleichung nur der erste Summand beachtet. Die Minimierung von E3 führt in diesem Fall stets auf g_opt2 = g_opt, so daß der zuvor nach Methode 1 berechnete Wert g_opt als Ergebnis der endgültigen Verstärkungsfaktor-Berechnung übernommen wird (reines "waveform matching"). Für den anderen Extremfall a - 1 wird dagegen nur der zweite Summand betrachtet. In diesem Falle wird dann für g_opt2 stets die gleiche Lösung resultieren wie bei Anwendung der Methode 2 (reines "energy matching,"). Im allgemeinen wird der Wert von a zwischen 0 und 1 liegen, und somit zu einem Ergebniswert für g_opt2 führen, der beide Methoden 1 „waveform matching" und 2 „energy matching" berücksichtigt .
Über den Gewichtungsfaktor a wird also gesteuert, in welchem Ausmaß das Ergebnis der Methode 1 bzw. das Ergebnis der Methode 2 verwendet werden soll. Der nach Gl . (1) durch Minimierung von E3 berechnete, quantisierte Wert gain-eff2 wird dann übertragen und auf der Decoderseite verwendet.
Das zugrunde liegende Problem besteht nun darin, für jeden zu codierenden Signalabschnitt den Gewichtungsfaktor a so zu bestimmen, daß die Berechnung nach Gl . (1) oder einer anderen Minimierungsfunktion, bei der eine Gewichtung zwischen zwei Methoden Verwendung findet, möglichst sinnvolle Werte gefunden werden. „Sinnvolle Werte" sind im Sinne der Sprachqualität der Übertragung solche Werte, die der im aktuellen Signalabschnitt gegebenen Signalsituation möglichst gut angepaßt sind. Für z. B. störgeräuschfreie Sprache wäre z. B. a nahe 0 zu wählen, bei starken Hintergrundgeräuschen wäre a nahe 1 zu wählen. Bei den heute verwendeten Verfahren wird der Wert des Gewichtungsfaktors a über ein Periodizitätsmaß gesteuert, indem der Prädiktionsgewinn als Grundlage für die Bestimmung der Periodizität des vorliegenden Signals genommen wird. Aus der den aktuellen Signalzustand beschreibenden Angabe des Periodizitätsmaßes, das mit p bezeichnet sei, wird der zu verwendende Wert von a über eine feste Kennlinie f(p) ermittelt. Diese Kennlinie ist so gestaltet, daß sie für stark periodische Signale einen niedrigeren Wert für a liefert. Das heißt, für stark periodische Signale wird die Methode 1 des "waveform matching," bevorzugt. Für weniger stark periodische Signale wird dagegen über f (p) ein höherer Wert für a, d. h. näher bei 1. vorgegeben.
Es zeigt sich jedoch in der Praxis, daß diese Methode bei bestimmten Signalen immer noch zu Artefakten führt. Hierzu zählen z. B. der Beginn stimmhafter Signalstücke, sog. Onsets, oder aber auch Rauschsignale ohne periodische Anteile. Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren bereit zu stellen, mittels dem ein optimaler Gewichtungsfaktor a für die Berechnung eines möglichst optimalen Verstärkungsfaktors für nahezu alle Signale ermittelbar ist.
Diese Aufgabe wird erfindungsgemäß mit einem Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Weitere vorteilhafte Ausgestaltungen des Verfahrens ergeben sich durch die Merkmale der Unteransprüche.
Das erfindungsgemäße Verfahren sieht vor, nicht nur die Periodizität Si des Signals für die Bestimmung des
Gewichtungsfaktors, sondern zusätzlich die Stationarität S des Signals zu verwenden. In Abhängigkeit von der Güte des zu ermittelnden Gewichtungsfaktors a können weitere Parameter, welche charakteristisch für die vorliegenden Signale sind, wie es z.B. die kontinuierliche Schätzung des Störpegels, bei der Bestimmung des Gewichtungsfaktors Berücksichtigung finden. Der Gewichtungsfaktor a wird demnach vorteilhaft nicht nur anhand der Periodizität Sl, sondern von einer Mehrzahl von Parametern ermittelt. Die Anzahl der zum Einsatz kommenden Parameter bzw. Maße sei mit N bezeichnet. Aus der Kombination der Ergebnisse der einzelnen Maße kann eine verbesserte, robustere Bestimmung von a vorgenommen werden. Damit wird der zu verwendende Wert von a nicht mehr von nur einem Maß abhängig gemacht, sondern er hängt über eine Vorschrift h von den den aktuellen Signalzustand beschreibenden
Angaben aller N Maße Si, S , ... SN ab. Es ergibt sich der in Gl. (2) gezeigte Zusammenhang:
(Gl. 2) a = h(Sι, S2, SN)
Eine beispielhafte erfindungsmässige Umsetzung wäre demnach in einem System zu sehen, daß einerseits ein Periodizitätsmaß Si und zusätzlich auch ein Stationaritätsmaß S2 verwendet. Durch die zusätzliche Berücksichtigung der Stationarität S2 des Signals können z. B. die oben genannten Problemfälle (Onsets, Rauschen) besser behandelt werden. In einem SprachcodierSystem, das daserfindungsgemäße Verfahren verwendet, werden dabei zunächst die Ergebnisse des Periodizitätsmaßes Si und des Stationaritätsmaßes S2 berechnet. Dann werden gemäß Gl . (2) aus den beiden Maßen der passende Wert für den Gewichtungsfaktor a berechnet. Dieser Wert wird dann in Gl . (1) zur Bestimmung des besten Wertes für den Verstärkungsfaktor verwendet.
Eine konkrete Möglichkeit, die ZuOrdnungsvorschrift h(Sχ) zu realisieren, besteht z. B. darin, eine Anzahl von K verschiedenen Kennlinienverläufen hχ(Sι) ... hk(Sχ) zu verwenden und den im vorliegenden Signalfall zu verwendenden Kennlinienverlauf hi(Sι) über einen Parameter S2 zu steuern:
Für K = 3 könnten dabei folgende Unterscheidungen vorgenommen werden:
verwende a = hi(Sι), wenn S2a < S <= S2b,
verwende a = h2(Sι), wenn S < S2 <= S2c,
verwende a = h3(Sχ), wenn Sc < S2 <= S2d,
wobei S2a < S < S2d
Nachfolgend wird das erfinderische Verfahren am Beispiel für K=2 näher erläutert . Die verwendete ZuOrdnungsvorschrift h(.) sieht in diesem Fall zwei unterschiedliche Kennlinienverläufe hι(Sι) und h2(Sχ) vor. Die Auswahl der jeweiligen Kennlinie erfolgt in
Abhängigkeit von einem weiteren Parameter S2 der entweder 0 oder 1 ist.
Der Parameter SI beschreibt die Stimmhaftigkeit (Periodizität) des Signals. Die Information über die Stimmhaftigkeit ergibt sich aus der Kenntnis des
Eingangssignals s(n) (n=0...L, L: Länge des betrachteten Signalabschnitts) sowie des Schätzwerts τ der Pitch (Dauer der Grundperiode des momentanen Sprachsegments) . Zunächst ist ein stimmhaft/stimmlos Kriterium gemäss
zu berechnen. Den verwendeten Parameter SI erhält man nun durch Bildung des kurzzeitigen Mittelwertes von χ über den letzten 10 Signalabschnitten { mcur -. Index des momentanen Signalabschnitts) :
1 Sa* lυ;=mc„,-10
Die Figur 1 zeigt schematisch die Abhängigkeit des Gewichtungsfaktors a von Si.
Die Form der Kennlinie hängt demnach von der Wahl der Schwellwerte ai und ah sowie sli und sl ab.
Die angegebene Auswahl der Kennlinie hi bzw. h2 in Abhängigkeit von s2 bedeutet, daß für unterschiedliche Werte von S2 verschiedene Schwellwertkombinationen (ai, ah, sli, slh ) gewählt werden.
Der Parameter S enthält eine Aussage über die
Stationarität des vorliegenden Signalabschnitts. Konkret handelt es sich um eine Zustandsinformation die angibt, ob im momentan betrachteten Signalabschnitt Sprachaktivität (s2 = 1) oder eine Sprachpause vorliegt (S2 = 0) . Diese Information muß von einem Algorithmus zur Detektierung von Sprachpausen (engl. VAD = Voice Activity Detection) geliefert werden.
Da die Erkennung von Sprachpausen und stationären Signalabschnitten vom Prinzip her ähnlich sind, ist die VAD nicht auf eine exakte Bemessung der Sprachpausen (wie sonst üblich) sondern auf eine Klassifikation solcher Signalabschnitte hin optimiert, die hinsichtlich der Bestimmung des Verstärkungsfaktors als stationär gelten.
Da die Stationarität S2 eines Signals keine eindeutig festgelegte Meßgröße ist, wird sie nachfolgend genauer definiert.
Betrachtet man zunächst das Frequenzspektrum eines Signalabschnitts, so weist es für den betrachteten Zeitraum eine charakteristische Form auf. Ist die Änderung der Frequenzspektren zeitlich aufeinanderfolgender Signalabschnitte hinreichend gering, d.h. die charakteristische Form der jeweiligen Spektren bleibt mehr oder weniger erhalten, so kann man von spektraler Stationarität sprechen.
Betrachtet man einen Signalabschnitt im Zeitbereich, so weist es einen für den betrachteten Zeitraum charakteristischen Amplituden- bzw. Energieverlauf auf. Bleibt die Energie zeitlich aufeinanderfolgender Signalabschnitte konstant, bzw. die Abweichung der
Energie ist auf ein hinreichend kleines Toleranzintervall begrenzt, so kann man von zeitlicher Stationarität sprechen.
Sind zeitlich aufeinanderfolgende Signalabschnitte sowohl spektral als auch zeitlich stationär so werden sie allgemein als stationär bezeichnet. Die Bemessung spektraler und zeitlicher Stationarität erfolgt in zwei separaten Stufen. Zunächst wird die spektrale Stationarität untersucht:
Spektrale Stationarität (1. Stufe)
Zur Feststellung, ob spektrale Stationarität vorliegt, wird zunächst ein spektrales Abstandsmaß, die sog. spektrale Verzerrung SD (engl.: spectral distorsion) aufeinanderfolgender Signalabschnitte betrachtet. Die Berechnung ergibt sich gemäß:
Dabei bezeichnet
den logarithmierten Einhüllendenfrequenzgang des aktuellen Signalabschnitts und
den logarithmierten Einhüllendenfrequenzgang des vorangegangenen Signalabschnitts. Zur Entscheidung wird sowohl SD selbst als auch sein kurzzeitlicher Mittelwert über den letzten 10 Signalabschnitten SD betrachtet.
Liegen beide Maße SD und SD unterhalb eines für sie speziefischen Schwellwertes SDg, bzw. SD g, so wird spektrale Stationarität angenommen.
Konkret gilt: SDg = 2.6 dB
S g = 2.6 dB
Problematisch ist, daß auch extrem periodische (stimmhafte) Signalabschnitte diese spektrale Stationarität aufweisen. Sie werden über das Periodizitätsmaß sl ausgeschlossen. Es gilt:
Falls sl > 0.7 oder sl < 0.3
ist, wird der betrachteten Signalabschnitt als nicht spektral stationär angenommen.
Zeitliche Stationarität (2. Stufe):
Die Feststellung der zeitlichen Stationarität erfolgt in einer zweiten Stufe, deren Entscheidungsschwellen von der Detektion spektral stationärer Signalabschnitte der ersten Stufe abhängen. Ist der vorliegende Signalabschnitt von der ersten Stufe als spektral stationär klassifiziert worden, so wird sein Einhüllendenfrequenzgang
W-t gespeichert. Ebenfalls gespeichert wird die Referenz- Energie Erefernce des RestSignals dreference' welches sich aus der Filterung des vorliegenden Signalabschnittes mit einem Filter ergibt, das den zu diesem Sign labschnitt inversen Frequenzgang (ej"ö besitzt. Erefernce ergibt sich durch
wobei L der Länge des betrachteten Signalabschnitts entspricht.
Diese Energie dient als Referenzwert bis zur Detektion des nächsten spektral stationären Abschnitts. Alle folgenden Signalabschnitte werden nun mit demselben gespeicherten Filter gefiltert. Gemessen wird nun die
Energie Erest des nach Filterung entstandenen Restsignals d-rest • Sie ergibt sich entsprechend zu
I-l
£«« = ∑<* (Λ) ■
«=0
Die endgültige Entscheidung, ob der betrachtete
Signalabschnitt stationär ist folgt folgender Vorschrift:
Falls : Erest < Ereference + Toleranz s2 = 1, Signal stationär, sonst: s2 = 0, Signal instationär
Es gilt dabei beispielhaft die in Fig. 2 dargestellte Zuordnung, wobei für
s2 = 1 ( hl(sl), instationär): und
s2 = 0 ( h2(sl), stationär/pause) -> a = 1.0 für alle sl
Das bedeutet die Kennlinie ist flach und a hat unabhängig von sl den Wert 1. Natürlich ist auch einen Abhängigkeit denkbar, in der ein kontinuierlicher Parameter s (0<,s2<l) eine Aussage über die Statationarität S enthält. In diesem Fall tritt anstelle der unterschiedlichen Kennlinien hi und h eine dreidimensionale Fläche h(sl, s2) durch die a bestimmt wird.
Es versteht sich von selbst, daß die Algorithmen zur Bestimmung der Stationarität und der Periodizität den jeweils gegebenen Umständen entsprechend angepaßt werden müssen bzw. können. Die einzelnen o.a. Schwellwerte und Funktionen sind lediglich exemplarisch und müssen in der Regel durch eigene Versuche herausgefunden werden.

Claims

Patent ansprüche
1. Verfahren zur Berechnung des die Lautstärke mitbestimmenden Verstärkungsfaktors für ein codiert übertragenes Sprachsignal, wobei das Sprachsignal in kurze zeitliche Signalabschnitte unterteilt und die einzelnen Signalabschnitte getrennt voneinander codiert und übertragen werden, und zu jedem Signalabschnitt der Verstärkungsfaktor berechnet, übertragen und vom Decoder zur Rekonstruktion des
Signals verwendet wird, wobei der Verstärkungsfaktor durch Minimierung der Größe E (g_opt2) = (1- a) *fι (g_opt2) +a*f2 (g_opt2) bestimmt wird, dadurch gekennzei chne t , daß die Bestimmung des Gewichtungsfaktors a unter
Berücksichtigung sowohl der Periodizität als auch der Stationarität des codierten Sprachsignals erfolgt.
2. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , daß die Minimierung der Größe E(g_opt2) erfolgt mittels der Formel:
E(g_oρt2) = (1-a) * | | c_opt | | 2 * (g_opt2 - g_opt)2 + a * ( | |eχc(g_opt2 | | - ||res||)2 .
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennz e i chnet , daß in Abhängigkeit des ermittelten Wertes für die Stationarität S2 des Sprachsignals eine bestimmte Funktion hi(Sχ) zur Bestimmung des Gewichtsfaktors a ausgewählt wird, wobei Si ein Maß für die Periodizität des Sprachsignals ist.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet , daß die Stationarität S ein Maß oder im wesentlichen ein Maß für die Sprachaktivität ist.
5. Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennz e i chnet , daß die
Stationarität S ein Maß für das Verhältnis von Sprachpegel zu Hintergrundgeräuschpegel des zu betrachtenden Sprachsignalabschnitts ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennz e i chnet , daß die
Stationarität S2 in Abhängigkeit von der spektralen Veränderung sowie der Energieveränderung (zeitliche Stationarität) berechnet wird.
7. Verfahren nach Anspruch 6, dadurch gekennz e i chnet , daß zur Berechnung der spektralen Stationarität sowie der Energieveränderung (zeitliche Stationarität) mindestens ein zeitlich vorangegangener Signalabschnitt berücksichtigt wird.
8. Verfahren nach Anspruch 7, dadurch gekennz e ichnet , daß die ermittelten Werte der spektralen Veränderung die Bewertung der Energieveränderung bzw. zeitlichen Stationarität beeinflußt.
EP01911752A 2000-04-28 2001-03-08 Verfahren zur verbesserung der sprachqualität bei sprachübertragungsaufgaben Expired - Lifetime EP1279168B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10020863 2000-04-28
DE10020863 2000-04-28
PCT/EP2001/002603 WO2001084541A1 (de) 2000-04-28 2001-03-08 Verfahren zur verbesserung der sprachqualität bei sprachübertragungsaufgaben

Publications (2)

Publication Number Publication Date
EP1279168A1 true EP1279168A1 (de) 2003-01-29
EP1279168B1 EP1279168B1 (de) 2007-07-25

Family

ID=7640221

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01911752A Expired - Lifetime EP1279168B1 (de) 2000-04-28 2001-03-08 Verfahren zur verbesserung der sprachqualität bei sprachübertragungsaufgaben

Country Status (5)

Country Link
US (1) US7318025B2 (de)
EP (1) EP1279168B1 (de)
AT (1) ATE368280T1 (de)
DE (3) DE10026872A1 (de)
WO (1) WO2001084541A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10244699B4 (de) * 2002-09-24 2006-06-01 Voice Inter Connect Gmbh Verfahren zur Bestimmung der Sprachaktivität
KR100463657B1 (ko) * 2002-11-30 2004-12-29 삼성전자주식회사 음성구간 검출 장치 및 방법
JP5552988B2 (ja) * 2010-09-27 2014-07-16 富士通株式会社 音声帯域拡張装置および音声帯域拡張方法
ES2758517T3 (es) 2014-07-29 2020-05-05 Ericsson Telefon Ab L M Estimación del ruido de fondo en las señales de audio

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3976863A (en) * 1974-07-01 1976-08-24 Alfred Engel Optimal decoder for non-stationary signals
US4185168A (en) * 1976-05-04 1980-01-22 Causey G Donald Method and means for adaptively filtering near-stationary noise from an information bearing signal
US4133976A (en) * 1978-04-07 1979-01-09 Bell Telephone Laboratories, Incorporated Predictive speech signal coding with reduced noise effects
FR2646978B1 (fr) 1989-05-11 1991-08-23 France Etat Procede et installation a codage de signaux sonores
DE4020633A1 (de) * 1990-06-26 1992-01-02 Volke Hans Juergen Dr Sc Nat Schaltungsanordnung zur zeitvariaten spektralanalyse elektrischer signale
US5579431A (en) 1992-10-05 1996-11-26 Panasonic Technologies, Inc. Speech detection in presence of noise by determining variance over time of frequency band limited energy
ES2137355T3 (es) * 1993-02-12 1999-12-16 British Telecomm Reduccion de ruido.
US5459814A (en) * 1993-03-26 1995-10-17 Hughes Aircraft Company Voice activity detector for speech signals in variable background noise
SE501305C2 (sv) 1993-05-26 1995-01-09 Ericsson Telefon Ab L M Förfarande och anordning för diskriminering mellan stationära och icke stationära signaler
SE503547C2 (sv) 1993-06-11 1996-07-01 Ericsson Telefon Ab L M Anordning och förfarande för döljande av förlorade ramar
CA2124713C (en) 1993-06-18 1998-09-22 Willem Bastiaan Kleijn Long term predictor
BE1007428A3 (nl) 1993-08-02 1995-06-13 Philips Electronics Nv Transmissiesysteem met reconstructie van ontbrekende signaalmonsters.
FI100840B (fi) * 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
US6427134B1 (en) 1996-07-03 2002-07-30 British Telecommunications Public Limited Company Voice activity detector for calculating spectral irregularity measure on the basis of spectral difference measurements
TW326070B (en) 1996-12-19 1998-02-01 Holtek Microelectronics Inc The estimation method of the impulse gain for coding vocoder
DE19716862A1 (de) * 1997-04-22 1998-10-29 Deutsche Telekom Ag Sprachaktivitätserkennung
JP3017715B2 (ja) * 1997-10-31 2000-03-13 松下電器産業株式会社 音声再生装置
JP4308345B2 (ja) * 1998-08-21 2009-08-05 パナソニック株式会社 マルチモード音声符号化装置及び復号化装置
US6192335B1 (en) 1998-09-01 2001-02-20 Telefonaktieboiaget Lm Ericsson (Publ) Adaptive combining of multi-mode coding for voiced speech and noise-like signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0184541A1 *

Also Published As

Publication number Publication date
DE10026904A1 (de) 2002-01-03
DE50112765D1 (de) 2007-09-06
DE10026872A1 (de) 2001-10-31
US7318025B2 (en) 2008-01-08
EP1279168B1 (de) 2007-07-25
US20030105626A1 (en) 2003-06-05
WO2001084541A1 (de) 2001-11-08
ATE368280T1 (de) 2007-08-15

Similar Documents

Publication Publication Date Title
DE69926821T2 (de) Verfahren zur signalgesteuerten Schaltung zwischen verschiedenen Audiokodierungssystemen
DE69623360T2 (de) Schätzung von Anregungsparametern
DE69412913T2 (de) Verfahren und Vorrichtung für digitale Sprachkodierung mit Sprachsignalhöhenabschätzung und Klassifikation in digitalen Sprachkodierern
DE60006271T2 (de) Celp sprachkodierung mit variabler bitrate mittels phonetischer klassifizierung
DE69420431T2 (de) Sprachkodierungssystem
DE60024501T2 (de) Verbesserung der perzeptuellen Qualität von SBR (Spektralbandreplikation) UND HFR (Hochfrequenzen-Rekonstruktion) Kodierverfahren mittels adaptivem Addieren von Grundrauschen und Begrenzung der Rauschsubstitution
DE69227401T2 (de) Verfahren zum Kodieren und Dekodieren von Sprachsignalen
DE69615839T2 (de) Sprachkodierer
DE19647298C2 (de) Kodiersystem
DE69518452T2 (de) Verfahren für die Transformationskodierung akustischer Signale
DE69534942T2 (de) System zur sprecher-identifizierung und-überprüfung
DE60209861T2 (de) Adaptive Postfilterung zur Sprachdekodierung
DE68912692T2 (de) Zur Sprachqualitätsmodifizierung geeignetes Übertragungssystem durch Klassifizierung der Sprachsignale.
DE69916321T2 (de) Kodierung eines verbesserungsmerkmals zur leistungsverbesserung in der kodierung von kommunikationssignalen
DE602004006211T2 (de) Verfahren zur Maskierung von Paketverlusten und/oder Rahmenausfall in einem Kommunikationssystem
DE60308567T2 (de) Dekodierungsgerät, Kodierungsgerät, Dekodierungsverfahren und Kodierungsverfahren
EP1979901B1 (de) Verfahren und anordnungen zur audiosignalkodierung
DE60224962T2 (de) Verfahren und Vorrichtung zur Verschleierung von fehlerbehafteten Sprachrahmen
DE60028500T2 (de) Sprachdekodierung
DE69720134T2 (de) Spracherkenner unter Verwendung von Grundfrequenzintensitätsdaten
DE69725945T2 (de) Sprachkodierer mit niedriger Bitrate
DE60309651T2 (de) Verfahren zur Sprachkodierung mittels verallgemeinerter Analyse durch Synthese und Sprachkodierer zur Durchführung dieses Verfahrens
DE3884839T2 (de) Codierung von akustischen Wellenformen.
DE60032068T2 (de) Sprachdekodierung
DE69629485T2 (de) Kompressionsystem für sich wiederholende töne

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20021128

AK Designated contracting states

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 50112765

Country of ref document: DE

Date of ref document: 20070906

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20070919

ET Fr: translation filed
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070725

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070725

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20071226

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20071105

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20071026

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070725

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070725

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20071025

26N No opposition filed

Effective date: 20080428

BERE Be: lapsed

Owner name: DEUTSCHE TELEKOM A.G.

Effective date: 20080331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080331

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080331

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070725

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070725

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080331

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 16

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 17

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 18

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20191209

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20200325

Year of fee payment: 20

Ref country code: DE

Payment date: 20191205

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 50112765

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20210307

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20210307