EP2245621B1 - Verfahren und mittel zur enkodierung von hintergrundrauschinformationen - Google Patents

Verfahren und mittel zur enkodierung von hintergrundrauschinformationen Download PDF

Info

Publication number
EP2245621B1
EP2245621B1 EP09711908.5A EP09711908A EP2245621B1 EP 2245621 B1 EP2245621 B1 EP 2245621B1 EP 09711908 A EP09711908 A EP 09711908A EP 2245621 B1 EP2245621 B1 EP 2245621B1
Authority
EP
European Patent Office
Prior art keywords
sid
background noise
narrowband
speech
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP09711908.5A
Other languages
English (en)
French (fr)
Other versions
EP2245621A1 (de
Inventor
Herve Taddei
Stefan Schandl
Panji Setiawan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify GmbH and Co KG
Original Assignee
Unify GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unify GmbH and Co KG filed Critical Unify GmbH and Co KG
Publication of EP2245621A1 publication Critical patent/EP2245621A1/de
Application granted granted Critical
Publication of EP2245621B1 publication Critical patent/EP2245621B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012—Comfort noise or silence coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the invention relates to methods and means for encoding background noise information in speech signal coding methods.
  • Such a limited frequency range is also provided in many speech signal coding methods for today's digital telecommunications.
  • a bandwidth limitation of the analog signal Prior to a coding process, a bandwidth limitation of the analog signal is performed for this purpose.
  • a codec is used which, due to the described bandwidth limitation in the frequency range between 300 Hz and 3400 Hz, is also referred to below as narrow-band speech codec (Narrow Band Speech Codec).
  • the term codec is understood to mean both the coding rule for the digital coding of audio signals and the decoding rule for the decoding of data with the aim of reconstructing the audio signal.
  • a narrowband speech codec is known from ITU-T Recommendation G.729.
  • a transmission of a narrowband speech signal with a data rate of 8 kbit / s is provided.
  • broadband speech codecs Wide Band Speech Codec
  • Such an extended frequency range is e.g. between a frequency of 50 Hz and 7000 Hz.
  • a wideband voice codec is known from ITU-T Recommendation G.729.EV.
  • coding methods for broadband speech codecs are made scalable.
  • scalability it is meant here that the transmitted coded data includes various demarcated blocks containing the narrowband portion, the wideband portion and / or the full bandwidth of the coded voice signal.
  • such a scalable design allows for backward compatibility on the receiver side and, on the other hand, offers a simple possibility of adapting the data rate and the size of transmitted data frames in the transmission channel in the case of limited data transmission capacities in the transmission channel.
  • a compression of the data to be transmitted For a reduction of the data transmission rate by a codec is usually provided a compression of the data to be transmitted. Compression is achieved, for example, by coding methods, parameters for an excitation signal and filter parameters being determined for encoding the speech data. The filter parameters and parameters specifying the excitation signal are then transmitted to the receiver. There, a synthetic speech signal is synthesized using the codec, which is as similar as possible to the original speech signal in terms of a subjective hearing impression. With the help of this method, also known as "analysis-by-synthesis", the determined and digitized samples are not transmitted, but determined parameters that allow a receiver-side synthesis of the speech signal.
  • a further measure for reducing the data transmission rate is provided by a method for discontinuous transmission (Discontinuous Transmission), which is also familiar in the art under the term DTX.
  • DTX discontinuous Transmission
  • the basic goal of DTX is to reduce the data transfer rate in the event of a speech break.
  • a pause detection (Voice Activity Detection, VAD) is used on the part of the transmitter, which recognizes when a certain signal level falls below a speech break.
  • VAD Voice Activity Detection
  • the receiver is not expected to have complete silence during a speech break.
  • a complete silence on the receiver side would lead to irritation or even to the suspicion of a breakdown of the connection.
  • methods for generating a so-called comfort noise are applied.
  • Comfort noise is noise that is synthesized to fill silence phases on the receiver's side.
  • the comfort noise serves as a subjective impression of a continuing connection, without claiming the data transmission rate intended for the transmission of speech signals. In other words, less effort is required to code the speech data for the transmitter-side coding of the noise. For a receiver-side still perceived as realistic synthesizing the comfort noise data are transmitted at a much lower data rate.
  • the data transmitted here are also referred to in the art as SID (Silence Insertion Description).
  • G.729.1 SID has an embedded structure with a core SID equal to the G.729 SID and a first and second extension layer.
  • the first enhancement layer adds some parameters for narrowband comfort noise, while the second enhancement layer adds wideband information, with the SID much smaller than any other frame.
  • a marker (M) bit should be set to 1 when using DTX in the RTP header.
  • ITU-T standard G.729.1 (05/2006): SERIES G: TRANSMISSION SYSTEMS AND MEDIA, DIGITAL SYSTEMS AND NETWORKS, Digital terminal equipments - Coding of analogue signals by methods other than PCM, "G.729-based embedded variable bit-rate coder: to 8-32 kbps scalable wideband coder bitstream interoperable with G.729", ITU-T RECOMMENDATION G.729.1, approved on 29 May 2006 (2006-05 -29) by ITU-T Study Group 16 (2005-2008), International Telecommunication Union, Geneva, CH, ITU-T Rec.
  • the encoding of the background noise information occurs over either the entire bandwidth of the input noise signal or over a portion of the bandwidth of the input noise signal.
  • the encoded noise signal is transmitted in the form of SID frames via the DTX method and reconstructed on the receiver side.
  • the reconstructed, ie synthesized, comfort noise may therefore have a different quality than the speech information synthesized on the receiver side. This adversely affects the reception of the recipient.
  • the object of the invention is to provide an improved implementation of the DTX method in scalable speech codecs.
  • a basic idea of the invention is to provide the scalability known for the transmission of speech information analogously to the formation of a SID frame.
  • the inventive method for encoding a SID frame for transmission of background noise information using a scalable speech signal encoding method provides for encoding a narrowband first and a wideband second portion of the background noise information.
  • the encoding is usually done at the same time and in different ways. However, the encoding of a share can of course also take place with a time offset before or after an encoding of another share. Likewise, the encoding of the two components can optionally also be carried out in the same way.
  • a SID frame is formed with separate regions for the first and the second component. In other words, in the SID frame, this means that a first data area receives the data for the encoded first portion, while a second data area separate from it receives the data for the encoded second portion.
  • An essential advantage of the invention is that it can be determined on the receiver side whether comfort noise should be based on the broadband portion of the transmitted SID frames or on the basis of the narrowband portion.
  • This is of particular advantage for the receiver-side acoustic reception in a situation where the transmission rate for speech information frames has been reduced so that only narrowband speech information is transmitted. Namely, as synthesized in the current state of the art, narrowband speech information in conjunction with broadband noise, this is very irritating for the receiver.
  • the said reduction of the transmission rate for speech information frames can be caused, for example, by a high congestion of the network between transmitter and receiver.
  • the much smaller SID frames are not affected by such a network bottleneck. For them, there is no compulsion to reduce their data transfer rate or their content.
  • a third portion is provided in the definition of the SID frame.
  • This contains encoded background noise parameters, which are encoded with an increased data rate, although the third component still contains narrowband data (extended narrowband data or "enhanced low band").
  • the advantage of defining the SID frame with this third component is the ability to reproduce a noise signal in a quality enhanced in comparison to conventional narrowband coding while remaining in compliance with the G.729.B standard.
  • the single FIGURE shows a structure of a SID frame according to the invention.
  • discontinuous transmission (DTX) methods for the transmission of background noise information currently do not support the scalable character intended for the transmission of the speech information.
  • narrow-band speech codecs such as e.g. 3GPP AMR, ITU-T G.729 and on the other hand broadband speech codecs, e.g. 3GPP AMR-WB, ITU-T G.722.
  • a narrow-band speech codec encodes speech signals at a sampling frequency of 8 kHz with a bandwidth which is usually in the frequency range between 300 and 3400 Hz.
  • a wideband speech codec encodes a speech signal having a sampling frequency of 16 kHz at a bandwidth in a frequency range between 50 and 7000 Hz.
  • Some of these codecs use DTX techniques, that is, discontinuous transmission techniques to reduce the overall transmission rate in the communication channel.
  • DTX discontinuous transmission techniques to reduce the overall transmission rate in the communication channel.
  • SID frames are transmitted, with the bandwidth of the SID frames corresponding to the bandwidth of the voice signal.
  • the background noise during a speech break is described.
  • This codec G.729.1 is a scalable speech codec in which the DTX method is currently not scalable across the entire bandwidth.
  • the coding method can be characterized as follows during an active speech period, in contrast to a speech pause recognized as »Silent Period «:
  • the speech signal is split into two parts, namely a narrowband (lowband) part and a broadband (highband) part. Both signals are sampled at a sampling frequency of 8 kHz.
  • the division into a narrowband and a broadband component takes place in a special bandpass filter, which is also referred to as QMF (Quadrature Mirror Filter).
  • the narrowband portion of the speech signal is encoded at a data rate of 8 and 12 kbit / s.
  • a CELP Code Excited Linear Prediction
  • the narrowband component is further modified taking into account the »Transform Codec « section of G.729.1.
  • the broadband portion of the current frame again assuming it contains voice signals, is encoded at a data rate of 14 kbit / s using the TDBWE (Time Domain Bandwidth Extension) method.
  • TDBWE Time Domain Bandwidth Extension
  • the speech signal is also split into a narrowband and a broadband component, with both components sampled at a frequency of 8 kHz.
  • the decomposition also takes place via a QMF filter.
  • the narrowband portion is encoded using narrow-band SID information.
  • This narrowband SID information is sent to the receiver at a later time in a SID frame compatible with the G.729 standard. Further measures as described above can contribute to an improvement of the narrowband SID component.
  • the broadband component is encoded using a modified TDBWE method.
  • the speech signal is further encoded at a data rate of 14 kbit / s, while at the same time the background noise detected during the speech pause is evaluated and corresponding parameters are set.
  • the background noise is evaluated with regard to the energy of the noise signal and its frequency distribution.
  • the temporal fine structure is not evaluated, but merely an average of the energy is formed over the frame.
  • FIG shows a SID frame with separate areas for a narrowband first portion LB ("Low Band”), a broadband second portion HB ("High Band”) and an itermediate third portion ELB ("Enhanced Low Band”).
  • LB narrowband first portion
  • HB broadband second portion
  • ELB Enhanced Low Band
  • the first component LB contains encoded background noise parameters, which are encoded at a data rate of 8 kbit / s or below.
  • the data length of the first component LB is, for example, 15 bits.
  • the second component HB contains encoded background noise parameters, which are encoded with a data rate between 14 kbit / s and 32 kbit / s.
  • the data length of the second component HB is for example 19 bits.
  • the third component ELB contains encoded background noise parameters, which are encoded with a data rate of greater than 8 kbit / s, for example 12 kbit / s.
  • the data length of the third component ELB is 9 bits, for example.
  • characteristics of the background noise are learned on the part of the encoder.
  • the characteristics include in particular the temporal distribution as well as the spectral form of the background noise.
  • a filtering method is used, which takes into account temporal and spectral parameters of background noise from previous frames. If there are significant changes in the character or magnitude of background noise, a decision is made based on threshold values as to whether there is a need to update the learned parameters.
  • the following procedure is carried out:
  • a "regular" ie a speech signal containing, frame is received
  • the data rate for such regular frames is usually 8 kbit / s or above.
  • comfort noise is synthesized, and in the case of a wideband SID, a broadband comfort noise is synthesized and output with a read-out gain.
  • the embodiments relate to further details for incorporating the DTX method into broadband codecs such as e.g. G.729.1, and further methods for modifying the TDBWE method, which include synthesizing comfort noise during non-active frames, i. Frames without language information, support.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

  • Die Erfindung betrifft Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen bei Sprachsignalkodierungsverfahren.
  • Für Telefongespräche ist seit den Anfängen der Telekommunikation eine Bandbreitenbeschränkung für eine analoge Sprachübertragung vorgesehen. Die Sprachübertragung erfolgt auf einem eingeschränkten Frequenzbereich von 300 Hz bis 3400 Hz.
  • Ein solcher eingeschränkter Frequenzbereich ist auch bei vielen Sprachsignalkodierungsverfahren für die heutige digitale Telekommunikation vorgesehen. Vor einem Kodiervorgang wird hierzu eine Bandbreitenbegrenzung des analogen Signals durchgeführt. Zur Kodierung und zur Dekodierung kommt dabei ein Codec zum Einsatz, welcher aufgrund der beschriebenen Bandbreitenbeschränkung im Frequenzbereich zwischen 300 Hz und 3400 Hz im Folgenden auch als schmalbandiger Sprach-Codec (Narrow Band Speech Codec) bezeichnet wird. Unter dem Begriff Codec wird dabei sowohl die Kodiervorschrift zur digitalen Kodierung von Audiosignalen als auch die Dekodiervorschrift zur Dekodierung von Daten mit dem Ziel einer Rekonstruktion des Audiosignals verstanden.
  • Ein schmalbandiger Sprach-Codec ist beispielsweise aus der ITU-T-Empfehlung G.729 bekannt. Mittels der dort beschriebenen Kodiervorschrift ist eine Übertragung eines schmalbandigen Sprachsignals mit einer Datenrate von 8 kbit/s vorgesehen.
  • Weiterhin sind sogenannte breitbandige Sprach-Codecs (Wide Band Speech Codec) bekannt, welche zur Verbesserung des Höreindrucks eine Kodierung eines in einem erweiterten Frequenzbereich vorsehen. Ein derart erweiterter Frequenzbereich liegt z.B. zwischen einer Frequenz von 50 Hz und 7000 Hz. Ein breitbandiger Sprach-Codec ist beispielsweise aus der ITU-T-Empfehlung G.729.EV bekannt.
  • Üblicherweise sind Kodierungsverfahren für breitbandige Sprach-Codecs skalierbar gestaltet. Mit einer Skalierbarkeit ist hier gemeint, dass die übertragenen kodierten Daten verschiedene abgegrenzte Blöcke enthalten, welche den schmalbandigen Anteil, den breitbandigen Anteil und/oder die volle Bandbreite des kodierten Sprachsignals enthalten. Eine solche skalierbare Gestaltung gestattet einerseits eine empfängerseitige Abwärtskompatibilität und andererseits bietet sie eine einfache Möglichkeit, im Falle von eingeschränkten Datenübertragungskapazitäten im Übertragungskanal eine sender- und empfängerseitige Anpassung der Datenrate und der Größe von übertragenen Datenrahmen vorzunehmen.
  • Für eine Reduzierung der Datenübertragungsrate durch einen Codec ist üblicherweise eine Komprimierung der zu übertragenden Daten vorgesehen. Eine Komprimierung wird beispielsweise durch Kodierungsverfahren erreicht, wobei zur Kodierung der Sprachdaten Parameter für ein Anregungssignal und Filterparameter bestimmt werden. Die Filterparameter sowie das Anregungssignal spezifizierende Parameter werden dann an den Empfänger übertragen. Dort wird mithilfe des Codecs ein synthetisches Sprachsignal synthetisiert, das dem ursprünglichen Sprachsignal hinsichtlich eines subjektiven Höreindrucks möglichst ähnlich ist. Mit Hilfe diesem auch als »Analysis-by-Synthesis« bezeichneten Verfahren werden nicht die ermittelten und digitalisierten Abtastwerte (Samples) selbst übertragen, sondern ermittelte Parameter, die eine empfängerseitige Synthese des Sprachsignals ermöglichen.
  • Eine weitere Maßnahme zur Reduzierung der Datenübertragungsrate bietet ein Verfahren zur diskontinuierlichen Übertragung (Discontinuous Transmission), welches in der Fachwelt auch unter dem Begriff DTX geläufig ist. Das grundsätzliche Ziel von DTX ist eine Reduzierung der Datenübertragungsrate im Fall einer Sprechpause.
  • Hierzu kommt auf Seiten des Senders eine Sprechpausenerkennung (Voice Activity Detection, VAD) zum Einsatz, welche bei Unterschreiten eines bestimmten Signalpegels auf eine Sprechpause erkennt. Üblicherweise wird vom Empfänger während einer Sprechpause keine völlige Stille erwartet. Im Gegenteil würde eine völlige Stille empfängerseitig zu Irritationen oder sogar zur Vermutung eines Verbindungsabbaus führen. Aus diesem Grund werden Verfahren zur Erzeugung eines sogenannten Komfortrauschen (Comfort Noise) angewandt.
  • Bei einem Komfortrauschen handelt es sich um Rauschen, welches zur Füllung von Stillephasen auf Seiten des Empfängers synthetisiert wird. Das Komfortrauschen dient einem subjektiven Eindruck einer weiter bestehenden Verbindung, ohne die für die Übertragung von Sprachsignalen vorgesehene Datenübertragungsrate zu beanspruchen. Mit anderen Worten wird zur senderseitigen Kodierung des Rauschens ein geringerer Aufwand als zur Kodierung der Sprachdaten betrieben. Für eine empfängerseitig noch als realistisch empfundene Synthetisierung des Komfortrauschens werden Daten mit einer weitaus niedrigeren Datenrate übertragen. Die hierbei übertragenen Daten werden in der Fachwelt auch als SID (Silence Insertion Description) bezeichnet.
  • Derzeit in der Entwicklung stehende Codecs konzentrieren sich auf eine skalierbare Enkodierung der Sprachinformation. Mit Hilfe einer skalierbaren Ansatzes wird erreicht, dass das Ergebnis des Enkodiervorgangs verschiedene Blöcke enthält, welche den schmalbandigen Anteil des ursprünglichen Sprachsignals enthalten, den breitbandigen Anteil oder auch die volle Bandbreite des Sprachsignals enthalten, also z.B. einen Frequenzbereich zwischen 50 und 7000 Hz.
    In SOLLAUD A: "G.729.1 RTP Payload Format update: DTX support" INTERNET CITATION, [ONLINE] 8. Februar 2008 (2008-02-08), XP002526621, URL: http://tools.ietf.org/id/draft-ietf-avt-rfc4749-dtx-update-00.txt, ist eine Aktualisierung des Real-time Transport Protocol (RTP) Lastformats zur Verwendung für den ITU-T G.729.1 Sprachcodec beschrieben. Die Aktualisierung fügt der RFC 4749 Spezifikation in rückwärts kompatibler Weise eine Unterstützung von DTX hinzu. Als Hintergrundinformation ist aufgeführt, dass G.729.1 SID eine eingebettete Struktur aufweist mit einem Kern-SID gleich dem G.729 SID und einer ersten und zweiten Erweiterungsschicht. Die erste Erweiterungsschicht fügt manche Parameter für Schmalbandkomfortrauschen hinzu, während die zweite Erweiterungsschicht Breitbandinformation hinzufügt, wobei der SID viel kleiner ist als jeder andere Rahmen. Die Bildung der Parameter für Schmalbandkomfortrauschen und der Breitbandinformation ist nicht beschrieben. Ein Marker (M) bit soll bei Verwendung von DTX im RTP header auf eins gesetzt sein.
    Zur Sprachpausenerkennung (Voice Activity Detection, VAD) wird hingewiesen auf ITU-T G.729, Annex B (11/96): SERIES G: TRANSMISSION SYSTEMS AND MEDIA, DIGITAL SYSTEMS AND NETWORKS, Digital transmission systems -Terminal equipments - Coding of analogue signals by methods other than PCM, Coding of speech at 8 kbits/s using conjugate-structure algebraic-code-excited linear prediction (CS-ACELP), Annex B: "A silence compression scheme for G.729 optimized for terminals conforming to Recommendation V.70", ITU-T RECOMMENDATION G.729 - Annex B, 1. November 1996 (1996-11-01), Seiten i, ii, iii + 1-16, XP002259964, insbesondere Abschnitt B.4.1.1.
    Weiterhin gibt es den ITU-T Standard G.729.1 (05/2006): SERIES G: TRANSMISSION SYSTEMS AND MEDIA, DIGITAL SYSTEMS AND NETWORKS, Digital terminal equipments - Coding of analogue signals by methods other than PCM, "G.729-based embedded variable bit-rate coder: An 8-32 kbit/s scalable wideband coder bitstream interoperable with G.729", ITU-T RECOMMENDATION G.729.1, approved on 29 May 2006 (2006-05-29) by ITU-T Study Group 16 (2005-2008), International Telecommunication Union, Genf, CH, ITU-T Rec. G.729.1 (05/2006), XP01740459.
    In gegenwärtigen skalierbaren Kodierungsverfahren erfolgt die Enkodierung der Hintergrundrauschinformation entweder über die gesamte Bandbreite des Eingangsrauschsignals oder über einen Ausschnitt aus der Bandbreite des Eingangsrauschsignals. Das enkodierte Rauschsignal wird in Form von SID-Rahmen über das DTX-Verfahren übertragen und empfängerseitig rekonstruiert. Das rekonstruierte, d.h. synthetisierte Komfortrauschen weist also eventuell eine andere Qualität als die empfängerseitig synthetisierte Sprachinformation auf. Dies wirkt sich nachteilig auf die Rezeption des Empfängers aus. Aufgabe der Erfindung ist es, eine verbesserte Implementierung des DTX-Verfahrens in skalierbaren Sprachcodecs anzugeben.
  • Die Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst.
  • Ein Grundgedanke der Erfindung besteht darin, die für die Übertragung von Sprachinformationen bekannte Skalierbarkeit analog bei der Bildung eines SID-Rahmens vorzusehen.
  • Das erfindungsgemäße Verfahren zur Enkodierung eines SID-Rahmens für eine Übermittlung von Hintergrundrauschinformationen in Anwendung eines skalierbaren Sprachsignalkodierungsverfahren sieht eine Enkodierung eines schmalbandigen ersten und eines breitbandigen zweiten Anteils der Hintergrundrauschinformation vor. Die Enkodierung wird üblicherweise zeitgleich und auf verschiedene Art und Weise erfolgen. Die Enkodierung eines Anteils kann jedoch selbstverständlich auch zeitlich versetzt vor oder nach einer Enkodierung eines anderen Anteils erfolgen. Ebenso kann die Enkodierung der beiden Anteile optional auch in gleicher Weise erfolgen.
    Nach der Enkodierung der beiden Anteile wird ein SID-Rahmen gebildet mit getrennten Bereichen für den ersten und den zweiten Anteil. Dies bedeutet mit anderen Worten, dass im SID-Rahmen ein erster Datenbereich die Daten für den enkodierten ersten Anteil aufnimmt, während ein davon getrennter zweiter Datenbereich die Daten für den enkodierten zweiten Anteil aufnimmt.
  • Ein wesentlicher Vorteil der Erfindung besteht darin, dass empfängerseitig bestimmt werden kann, ob ein Komfortrauschen auf Basis des breitbandigen Anteils der übertragenen SID-Rahmen oder auf Basis des schmalbandigen Anteils erfolgen soll. Dies ist von besonderem Vorteil für die empfängerseitige akustische Rezeption in einer Situation, in der die Übertragungsrate für Sprachinformationsrahmen verringert wurde, dass nur noch schmalbandige Sprachinformationen übertragen werden. Wird nämlich, wie im derzeitigen Stand der Technik, schmalbandige Sprachinformationen in Verbindung mit breitbandigen Rauschen synthetisiert, ist dies für den Empfänger sehr irritierend. Die besagte Verringerung der Übertragungsrate für Sprachinformationsrahmen kann zum Beispiel durch eine hohe Auslastung (Congestion) des Netzwerks zwischen Sender und Empfänger verursacht sein. Die wesentlich kleineren SID-Rahmen sind von einem solchen Netzwerkengpass nicht betroffen. Für sie besteht also weder ein Zwang zur Reduzierung ihrer Datenübertragungsrate noch ihres Inhalts.
  • Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
  • Gemäß einer ersten vorteilhaften Ausgestaltung der Erfindung ist ein dritter Anteil in der Definition des SID-Rahmens vorgesehen. Dieser enthält enkodierte Hintergrundrauschparameter, welche mit einer erhöhten Datenrate enkodiert sind, wenngleich der dritte Anteil immer noch schmalbandige Daten (erweiterte schmalbandige Daten bzw. »Enhanced Low Band«) enthält. Der Vorteil einer Definition des SID-Rahmens mit diesem dritten Anteil besteht in einer Möglichkeit, ein Rauschsignal in einer im Vergleich zur herkömmlichen schmalbandigen Kodierungsweise gesteigerten Qualität wiederzugeben und dabei noch in Konformität zum Standard G.729.B zu bleiben.
  • Ein Ausführungsbeispiel mit weiteren Vorteilen und Ausgestaltungen der Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
  • Dabei zeigt die einzige FIG eine Struktur eines erfindungsgemäßen SID-Rahmens.
  • Im Folgenden wird der der Erfindung zugrundeliegende technische Hintergrund, zunächst ohne Bezugnahme auf die Zeichnung, näher beschrieben.
  • In gegenwärtigen skalierbaren Kodierungsverfahren für breitbandige Sprach-Codecs implementierte Verfahren zur diskontinuierlichen Übertragung (DTX) unterstützen für die Übertragung der Hintergrundrauschinformation derzeit nicht den skalierbaren Charakter, welcher für die Übertragung der Sprachinformation vorgesehen ist.
  • Als derzeitige Umgehungslösung erfolgt eine Enkodierung entweder über die gesamte Bandbreite des Eingangsrauschsignals oder über einen Ausschnitt aus der Bandbreite des Eingangsrauschsignals. Aus diesem Grund besteht ein Bedarf für verbesserte Verfahren.
  • In der Vergangenheit wurden hauptsächlich zwei Typen von Sprachcodecs entwickelt, einerseits schmalbandige Sprachcodecs wie z.B. 3GPP AMR, ITU-T G.729 und andererseits breitbandige Sprachcodecs, wie z.B. 3GPP AMR-WB, ITU-T G.722. Ein schmalbandiger Sprachcodec enkodiert Sprachsignale mit einer Abtastfrequenz von 8 kHz mit einer Bandbreite welche üblicherweise im Frequenzbereich zwischen 300 und 3400 Hz liegt. Ein breitbandiger Sprachcodec enkodiert ein Sprachsignal mit einer Abtastfrequenz von 16 kHz bei einer Bandbreite in einem Frequenzbereich zwischen 50 und 7000 Hz.
  • Einige dieser Codecs verwenden DTX-Verfahren, also diskontinuierliche Übertragungsverfahren, um die Gesamtübertragungsrate im Kommunikationskanal zu reduzieren. Gemäß dem DTX-verfahren werden SID-Rahmen gesendet, wobei die Bandbreite der SID-Rahmen mit der Bandbreite des Sprachsignals korrespondiert. In einem SID-Rahmen wird das Hintergrundrauschen während einer Sprechpause beschrieben.
  • Derzeit in der Entwicklung stehende Codecs konzentrieren sich auf eine skalierbare Kodierung. Mit Hilfe einer skalierbaren Ansatzes wird erreicht, dass das Ergebnis des Enkodiervorgangs verschiedene Blöcke enthält, welche den schmalbandigen Anteil des ursprünglichen Sprachsignals enthalten, den breitbandigen Anteil oder auch die volle Bandbreite des Sprachsignals enthalten, also z.B. einen Frequenzbereich zwischen 50 und 7000 Hz. Der breitbandige Anteil beginnt üblicherweise ab einer Frequenz von 4 kHz.
  • Die gegenwärtigen DTX-Verfahren unterstützen derzeit nicht den skalierbaren Charakter von Codecs. Stattdessen erfolgt eine Kodierung entweder über die gesamte Bandbreite des Eingangsprachsignals oder über einen Ausschnitt aus der Bandbreite des Eingangssignals. Aus diesem Grund besteht ein Bedarf für verbesserte Verfahren.
  • Zur Verdeutlichung wird im Folgenden das Enkodierverfahren gemäß ITU-T-Standards G.729.1 beschrieben. Bei diesem Codec G.729.1 handelt es sich um einen skalierbaren Sprachcodec, in welchem das DTX-Verfahren derzeit nicht skalierbar über die gesamte Bandbreite angewandt wird.
  • Das Codierverfahren lässt sich während einer aktiven Sprachperiode - in Abgrenzung zu einer als »Silent Period« erkannten Sprechpause - wie folgt charakterisieren:
    Das Sprachsignal wird in zwei Anteile, nämlich einen schmalbandigen (Lowband) Teil und einen breitbandigen (Highband) Anteil zerlegt. Beide Signale sind mit einer Abtastfrequenz von 8 kHz abgetastet. Die Aufteilung in einen schmalbandigen und einen breitbandigen Anteil erfolgt in einem speziellen Bandpassfilter, welcher auch als QMF (Quadrature Mirror Filter) bezeichnet wird.
  • Der schmalbandige Anteil des Sprachsignals wird mit einer Datenrate von 8 und 12 kbit/s enkodiert. Zur Enkodierung des Sprachsignals wird ein CELP-Verfahren (Code Excited Linear Prediction) angewandt. Für Datenraten oberhalb von 14 kbit/s wird der schmalbandige Anteil weiter unter Berücksichtigung des »Transform Codec«-Abschnitts von G.729.1 modifiziert. Der breitbandige Anteil des aktuellen Rahmens - wiederum unter der Voraussetzung, dass dieser Sprachsignale enthält - wird mit einer Datenrate von 14 kbit/s unter Anwendung des TDBWE-Verfahrens (Time Domain Bandwidth Extension) enkodiert. Für Datenraten von über 14 kbit/s wird der »Transform Codec«-Abschnitt von G.729.1 angewandt.
  • Da der Standard G.729.1 keine Verfahren zur diskontinuierlichen Übertragung bereitstellt, wird in Sprechpausen bzw. »non active voice periods« eine Umgehungslösung angewandt, welche im Folgenden beschrieben wird.
  • Das Sprachsignal wird ebenfalls in einen schmalbandigen und einen breitbandigen Anteil zerlegt, wobei beide Anteile mit einer Frequenz von 8 kHz abgetastet werden. Die Zerlegung erfolgt ebenfalls über ein QMF-Filter.
  • Der schmalbandige Anteil wird unter Verwendung einer schmalbandigen SID-Information enkodiert. Diese schmalbandige SID-Information wird zu einem späteren Zeitpunkt in einem SID-Rahmen, welcher kompatibel zum Standard G.729 ist, an den Empfänger gesandt. Weitere wie oben beschriebene Maßnahmen können zu einer Verbesserung des schmalbandigen SID-Anteils beitragen.
  • Der breitbandige Anteil wird unter Anwendung eines modifizierten TDBWE-Verfahrens enkodiert. Während einer sog. Überhangperiode (Hangover Period) wird das Sprachsignal weiterhin mit einer Datenrate von 14 kbit/s enkodiert, während gleichzeitig das während der Sprechpause erkannte Hintergrundrauschen ausgewertet und entsprechende Parameter eingestellt werden. Die Auswertung des Hintergrundrauschens erfolgt hinsichtlich der Energie des Rauschsignals und hinsichtlich seiner Frequenzverteilung. Im Gegensatz zu dem vom Standard G.729.1 vorgesehenen TDBWE-Verfahren wird jedoch die zeitliche Feinstruktur nicht ausgewertet, sondern lediglich ein Durchschnitt der Energie über den Rahmen gebildet.
  • Im Folgenden wird eine Ausführungsform des erfindungsgemäßen Verfahrens anhand der FIG erläutert.
  • Die FIG zeigt einen SID-Rahmen mit getrennten Bereichen für einen schmalbandigen ersten Anteil LB (»Low Band«), einen breitbandigen zweiten Anteil HB (»High Band«) und einen itermediären dritten Anteil ELB (»Enhanced Low Band«).
  • Der erste Anteil LB enthält dabei enkodierte Hintergrundrauschparameter, welche mit einer Datenrate von 8 kbit/s oder darunter enkodiert sind. Die Datenlänge des ersten Anteils LB beträgt beispielsweise 15 Bit.
  • Der zweite Anteil HB enthält enkodierte Hintergrundrauschparameter, welche mit einer Datenrate zwischen 14 kbit/s und 32 kbit/s enkodiert sind. Die Datenlänge des zweiten Anteils HB beträgt beispielsweise 19 Bit.
  • Der dritte Anteil ELB enthält enkodierte Hintergrundrauschparameter, welche mit einer Datenrate von größer als 8kbit/s also beispielsweise 12 kbit/s enkodiert sind. Die Datenlänge des dritten Anteils ELB beträgt beispielsweise 9 Bit. Der Vorteil einer Definition des SID-Rahmens mit einem dritten Anteil ELB besteht in einer Möglichkeit, ein Rauschsignal in einer im Vergleich zur herkömmlichen schmalbandigen Kodierungsweise gesteigerten Qualität wiederzugeben und dabei noch in Konformität zum Standard G.729.B zu bleiben.
  • Während einer Sprechpause werden auf Seiten des Enkoders Charakteristika des Hintergrundrauschens angelernt. Die Charakteristika umfassen insbesondere die zeitliche Verteilung als auch die spektrale Form des Hintergrundrauschens. Für den Anlernvorgang wird ein Filterverfahren angewandt, welches zeitliche und spektrale Parameter des Hintergrundrauschens aus vorangegangenen Rahmen berücksichtigt. Ergeben sich signifikante Änderungen im Charakter oder in der Stärke des Hintergrundrauschens, wird eine Entscheidung auf Basis von Grenzwertparametern (Threshold Values) getroffen, ob ein Bedarf besteht, die angelernten Parameter zu aktualisieren.
  • Auf Seiten des Dekoders bzw. Empfängers wird folgendes Verfahren durchgeführt: Wenn ein »regulärer«, d.h. ein sprachsignalenthaltender Rahmen empfangen wird, wird die übliche Dekodierung ausgeführt. Die Datenrate für solche regulären Rahmen beträgt üblicherweise 8 kbit/s oder darüber. Wenn ein SID-Rahmen empfangen wird, wird Komfortrauschen synthetisiert, wobei im Falle eines breitbandigen SID ein breitbandiges Komfortrauschen synthetisiert und mit einem ausgelesenen Verstärkungsfaktor ausgegeben wird.
  • Im Folgenden wird das erfindungsgemäße Verfahren mit weiteren Ausgestaltungen der Erfindung beschrieben.
  • Die Ausgestaltungen betreffen weitere Details zur Einbeziehung des DTX-Verfahrens in breitbandige Codecs wie z.B. G.729.1 und weiterhin Verfahren zur Modifizierung des TDBWE-Verfahrens, welche eine Synthetisierung von Komfortrauschen während nicht-aktiver Rahmen (Non Active Frames), d.h. Rahmen ohne Sprachinformation, unterstützen.
  • Gemäß einer Ausgestaltung ist folgendes Vorgehen vorgesehen.
    • Produzieren einer schmalbandigen SID-Information zur Erzeugung eines G.729- bzw. G.729.B- kompatiblen SID-Rahmens (erster Anteil LB des erfindungsgemäßen SID-Rahmens)
    • Produzieren einer breitbandigen SID-Information unter Verwendung eines modifizierten TDBWE-Verfahrens (zweiter Anteil HB des erfindungsgemäßen SID-Rahmens)
    • Optional werden Verbesserungen bezüglich der schmalbandigen und/oder der breitbandigen SID-Informationen vorgenommen.
    • Das Hintergrundrauschen wird während einer Phase, welche einem Senden der ersten SID-Rahmen vorausgeht, bezüglich der Energie- und/oder Frequenzverteilung analysiert bzw. »angelernt«.
    • SID-Rahmen werden gesendet, wenn eine signifikante Änderung des breitbandigen Anteils des Hintergrundrauschens detektiert wird oder wenn eine Aktualisierung der schmalbandigen SID-Informationen gesendet werden soll.
  • Eine Implementierung dieses Ausführungsbeispiels erfolgt in folgenden Phasen:
    • Mit Hilfe eines VAD-Verfahrens wird eine aktive Sprachphase bzw. eine Sprechpause definiert.
    • Wird durch das VAD-Verfahren ein Wechsel in eine Sprechpause angezeigt, wird eine Überhangperiode (Hang Over Period) gestartet. Während der Überhangperiode wird die Datenrate des Enkodierers auf 14kbit/s reduziert, wenn die vorhergehende Datenrate einen höheren Wert aufgewiesen hat. Für den Fall dass die vorhergehende Datenrate des Enkodierers bereits Werte um 12 kbit/s betragen hat, wird die Datenrate auf einen Wert von 8 kbit/s reduziert.
    • Während der Überhangperiode wird das Hintergrundrauschen bezüglich des schmalbandigen Anteils in analoger Weise zum Vorgehen in Standard G.729 angelernt, jedoch unter Verwendung einer höheren Anzahl von Rahmen. Hierbei kann optional ein Filterverfahren angewandt werden, durch welches erreicht wird, dass aktuellen Rahmen eine höhere Wichtigkeit zugeordnet wird als vorausgegangenen Rahmen.
    • Während der Überhangperiode wird das Hintergrundrauschen darüber hinaus im breitbandigen Anteil angelernt. Optional wird für eine Vereinfachung der Implementierung, insbesondere zur Reduzierung des Speicherplatzbedarfs, ein modifiziertes TDBWE-Verfahren eingesetzt, welche durch eine vereinfachte Enkodierung im Zeitbereich gekennzeichnet ist. Optional kann eine weitere Vereinfachung im modifizierten TDBWE-Verfahren dadurch erreicht werden, dass die Enkodierung im Zeitbereich nur mit der Energie des Signals im Zeitbereich korrespondiert. Eine weitere optionale vereinfachte Enkodierung besteht darin, spektrale Glättungsverfahren anzuwenden, da die Energie im Zeitbereich und im Frequenzbereich als Folge des Parsevaltheorems gleiche Werte liefert. Auch im breitbandigen Anteil des Hintergrundrauschens können optional weitere Filterungsmaßnahmen angewandt werden, welche das Ziel haben, aktuellen Rahmen eine höhere Wichtigkeit als vorausgegangenen Rahmen zuzuordnen.
    • Nach Beendigung der Überhangperiode wird ein erster SID-Rahmen gesendet, welcher eine grobe Repräsentierung des Hintergrundrauschens enthält. Die grobe Beschreibung des Hintergrundrauschens wurde während der Überhangperiode angelernt.
    • Solange durch die VAD keine aktive Phase (Sprechen) detektiert wurde, wird auf Seiten des Dekoders bzw. Empfängers ein Komfortrauschen auf Basis der empfangenen SID-Rahmen synthetisiert.
    • Änderungen des Hintergrundrauschens werden im schmalbandigen Anteil des SID-Rahmens detektiert, wobei ein ähnliches Verfahren zu G.729 verfolgt wird, wenngleich verschiedene Parameter berücksichtigt werden.
    • Im breitbandigen Anteil werden gefilterte Energieparameter zur Beschreibung des Hintergrundrauschens benutzt. Diese umfassen z.B. Parameter von Einhüllkurven im Zeitbereich tenv_fidx und/oder Parameter von Einhüllkurven im Frequenzbereich fenv_fidx[i], wobei ein jeweiliger Index idx einen jeweiligen Rahmen identifiziert und wobei die Einhüllkurve im Frequenzbereich von einer geeigneten Anzahl von Frequenzwerten i={1,..., NB-SUBBANDS} zur Beschreibung der spektralen Eigenschaften des Hintergrundrauschens gebildet wird. Die gefilterten Energieparameter werden von den in G.729.1 definierten TDBWE-Parameter abgeleitet unter Verwendung geeigneter Tiefpassfilter: tenv _ f idx = α tenv ⋅ ten v idx + 1 − α tenv ⋅ tenv _ f idx − 1
      Figure imgb0001
       fenv _ f idx i = α tenv ⋅ fen v idx i + 1 − α tenv ⋅ fenv _ f idx − 1 i ,
      Figure imgb0002
       welche auf die Einhüllparameter im Frequenz- und im Zeitbereich entsprechend angewandt werden.
    • Änderungen im breitbandigen Anteil der Energieparameter werden überwacht und detektiert, indem die gefilterten Energieparameter des gegenwärtigen Rauschsignals verglichen werden mit zwei Sätzen aus Vergleichswerten dieser Parameter, wobei ein Satz von Vergleichswerten die Parameter aus dem vorangegangenem Rahmen mit dem Index idx-1 ist: temp _ d = 20 ⋅ log 2 log 10 ⋅ | tenv _ f idx − tenv _ f idx − 1 |
      Figure imgb0003
       spec _ d = 20. log 2 log 10 ⋅ 1 NB _ SUBBANDS ⋅ ∑ i = 1 NB _ SUBBANDS | fenv _ f idx i − fenv _ f idx − 1 i |
      Figure imgb0004
       und wobei der andere Satz aus Parametern des zuletzt übertragenen Rahmens mit dem Index last_tx besteht. Wenn einer der Parameterunterschiede (temp_d, spec_d, temp_ch, spec_ch) einen geeignet gewählten Grenzwert überschreitet: temp _ ch = 20 ⋅ log 2 log 10 ⋅ | tenv _ f idx − tenv _ f last _ tx |
      Figure imgb0005
       spec _ ch = 20. log 2 log 10 ⋅ 1 NB _ SUBBANDS ⋅ ∑ i = 1 NB _ SUBBANDS | fenv _ f idx i − fenv _ f last _ tx i |
      Figure imgb0006
       muss ein neuer SID-Update-Rahmen gesendet werden.
    • Sobald durch die VAD eine Sprachperiode erkannt wird, wird das Sprachsignal mit der benötigten Übertragungsrate übertragen und die Synthetisierung von Komfortrauschen auf der Dekoderseite beendet. Somit stellt sich ein regulärer Dekodierungsbetrieb ein wie in G.729.1.

Claims (10)

  1. Verfahren zur Enkodierung eines SID-Rahmens (SID) für eine Übermittlung von Hintergrundrauschinformationen in Anwendung eines skalierbaren Sprachsignalkodierungsverfahren mit folgenden Schritten:
    Enkodierung eines schmalbandigen ersten Anteils (LB) und eines breitbandigen zweiten Anteils (HB) der Hintergrundrauschinformation;
    Bildung des SID-Rahmens (SID) mit getrennten Bereichen für den ersten (LB) und den zweiten (HB) Anteil;
    Vorsehen der Skalierbarkeit für die Übertragung von Sprachinformationen analog bei der Bildung des SID-Rahmens (SID) derart, dass empfängerseitig bestimmt wird, ob ein Komfortrauschen auf Basis des breitbandigen zweiten Anteils (HB) des übertragenen SID-Rahmens (SID) oder auf Basis des schmalbandigen ersten Anteils (LB) erfolgt, wobei,
    wenn breitbandige Sprachinformationen übertragen werden, das Komfortrauschen auf Basis des breitbandigen zweiten Anteils (HB) des übertragenen SID-Rahmens (SID) erfolgt, und, wenn schmalbandige Sprachinformationen übertragen werden, das Komfortrauschen auf Basis des schmalbandigen ersten Anteils (HB) des übertragenen SID-Rahmens (SID) erfolgt;
    wobei ein schmalbandiger dritter Anteil (ELB) enkodiert wird und dass der SID-Rahmen (SID) mit einem zusätzlichen getrennten Bereich für den dritten Anteil (ELB) gebildet wird;
    wobei der schmalbandige dritte Anteil (ELB) in einer im Vergleich zum schmalbandigen ersten Anteil gesteigerten Qualität durch eine erhöhte Datenrate der Enkodierung von zeitlichen und spektralen Parametern des Hintergrundrauschens und in Konformität zu dem Standard G.729.B wiedergegeben wird;
    wobei der erste Anteil (LB) der Hintergrundrauschinformation gemäß Kodierungsrichtlinien des Standards G.729.B enkodiert wird;
    dadurch gekennzeichnet,
    dass der zweite Anteil (HB) der Hintergrundrauschinformation gemäß eines modifizierten TDBWE-Verfahrens enkodiert wird, wobei eine Vereinfachung im modifizierten TDBWE-Verfahren dadurch erreicht wird, dass eine Enkodierung im Zeitbereich nur mit der Energie des Signals im Zeitbereich korrespondiert.
  2. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass während einer Sprechpause auf Seiten eines Enkoders Charakteristika eines Hintergrundrauschens analysiert und berücksichtigt, also angelernt werden, wobei die Charakteristika insbesondere die zeitliche Verteilung als auch die spektrale Form des Hintergrundrauschens umfassen.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für den Anlernvorgang ein Filterverfahren angewandt wird, welches zeitliche und spektrale Parameter des Hintergrundrauschens aus vorangegangenen Rahmen berücksichtigt.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass, falls sich signifikante Änderungen im Charakter oder in der Stärke des Hintergrundrauschens ergeben, eine Entscheidung auf Basis von Grenzwertparametern (Threshold Values) getroffen wird, ob ein Bedarf besteht, die angelernten Parameter zu aktualisieren.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass SID-Rahmen (SID) gesendet werden, wenn eine signifikante Änderung des breitbandigen zweiten Anteils (HB) des Hintergrundrauschens detektiert wird oder wenn eine Aktualisierung des schmalbandigen ersten Anteils (LB) gesendet werden soll.
  6. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass während einer Überhangperiode, die nach einem Wechsel von einer aktiven Sprachphase in eine Sprechpause zum Anlernen des Hintergrundrauschens startet, Filterverfahren zur Zuordnung einer höheren Wichtigkeit eines aktuellen Rahmens als vorausgegangenen Rahmen angewandt werden.
  7. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass im breitbandigen zweiten Anteil (HB) gefilterte Energieparameter zur Beschreibung eines Hintergrundrauschens benutzt werden, die Parameter von Einhüllkurven im Zeitbereich (tenv_fidx) und/oder Parameter von Einhüllkurven im Frequenzbereich (fenv_fidx[i]) umfassen.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass ein jeweiliger Index (idx) einen jeweiligen Rahmen identifiziert, wobei die Einhüllkurve im Frequenzbereich von einer geeigneten Anzahl von Frequenzwerten (i={1,..., NB-SUBBANDS}) zur Beschreibung der spektralen Eigenschaften des Hintergrundrauschens gebildet wird.
  9. Codec mit Mitteln zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8.
  10. Codec nach Anspruch 9, gekennzeichnet durch eine Implementierung im an sich bekannten ITU-T Standard G.729.1.
EP09711908.5A 2008-02-19 2009-02-02 Verfahren und mittel zur enkodierung von hintergrundrauschinformationen Active EP2245621B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008009719A DE102008009719A1 (de) 2008-02-19 2008-02-19 Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen
PCT/EP2009/051118 WO2009103608A1 (de) 2008-02-19 2009-02-02 Verfahren und mittel zur enkodierung von hintergrundrauschinformationen

Publications (2)

Publication Number Publication Date
EP2245621A1 EP2245621A1 (de) 2010-11-03
EP2245621B1 true EP2245621B1 (de) 2019-05-01

Family

ID=40652248

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09711908.5A Active EP2245621B1 (de) 2008-02-19 2009-02-02 Verfahren und mittel zur enkodierung von hintergrundrauschinformationen

Country Status (8)

Country Link
US (2) US20100318352A1 (de)
EP (1) EP2245621B1 (de)
JP (1) JP5361909B2 (de)
KR (2) KR20100120217A (de)
CN (1) CN101952886B (de)
DE (1) DE102008009719A1 (de)
RU (1) RU2461080C2 (de)
WO (1) WO2009103608A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483495B (zh) * 2008-03-20 2012-02-15 华为技术有限公司 一种背景噪声生成方法以及噪声处理装置
CN103187065B (zh) * 2011-12-30 2015-12-16 华为技术有限公司 音频数据的处理方法、装置和系统
JP6335190B2 (ja) 2012-12-21 2018-05-30 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
BR112015014212B1 (pt) * 2012-12-21 2021-10-19 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Geração de um ruído de conforto com alta resolução espectro-temporal em transmissão descontínua de sinais de audio
RU2676242C1 (ru) * 2013-01-29 2018-12-26 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора
CN106169297B (zh) * 2013-05-30 2019-04-19 华为技术有限公司 信号编码方法及设备
PL3011557T3 (pl) * 2013-06-21 2017-10-31 Fraunhofer Ges Forschung Urządzenie i sposób do udoskonalonego stopniowego zmniejszania sygnału w przełączanych układach kodowania sygnału audio podczas ukrywania błędów
JP6035270B2 (ja) * 2014-03-24 2016-11-30 株式会社Ｎｔｔドコモ 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、および音声符号化プログラム
EP2980790A1 (de) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Komfortgeräuscherzeugungs-Modusauswahl
KR101701623B1 (ko) * 2015-07-09 2017-02-13 라인 가부시키가이샤 VoIP 통화음성 대역폭 감소를 은닉하는 시스템 및 방법
US10978096B2 (en) * 2017-04-25 2021-04-13 Qualcomm Incorporated Optimized uplink operation for voice over long-term evolution (VoLte) and voice over new radio (VoNR) listen or silent periods

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI105001B (fi) * 1995-06-30 2000-05-15 Nokia Mobile Phones Ltd Menetelmä odotusajan selvittämiseksi puhedekooderissa epäjatkuvassa lähetyksessä ja puhedekooderi sekä lähetin-vastaanotin
US5960389A (en) * 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
US7124079B1 (en) * 1998-11-23 2006-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Speech coding with comfort noise variability feature for increased fidelity
US6424938B1 (en) * 1998-11-23 2002-07-23 Telefonaktiebolaget L M Ericsson Complex signal activity detection for improved speech/noise classification of an audio signal
RU2237296C2 (ru) * 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
US6397177B1 (en) * 1999-03-10 2002-05-28 Samsung Electronics, Co., Ltd. Speech-encoding rate decision apparatus and method in a variable rate
CA2290037A1 (en) * 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
JP3761795B2 (ja) * 2000-04-10 2006-03-29 三菱電機株式会社 ディジタル回線多重化装置
US6889187B2 (en) * 2000-12-28 2005-05-03 Nortel Networks Limited Method and apparatus for improved voice activity detection in a packet voice network
US20030120484A1 (en) * 2001-06-12 2003-06-26 David Wong Method and system for generating colored comfort noise in the absence of silence insertion description packets
US20030112758A1 (en) * 2001-12-03 2003-06-19 Pang Jon Laurent Methods and systems for managing variable delays in packet transmission
WO2004034379A2 (en) * 2002-10-11 2004-04-22 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
EP1808852A1 (de) * 2002-10-11 2007-07-18 Nokia Corporation Verfahren zur Interoperation zwischen adaptiven Breitband-Codecs mit unterschiedlichen Raten und Breitband-Codecs mit mehreren Betriebsarten und variabler Bitrate
US7391768B1 (en) * 2003-05-13 2008-06-24 Cisco Technology, Inc. IPv4-IPv6 FTP application level gateway
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
ES2634511T3 (es) * 2004-07-23 2017-09-28 Iii Holdings 12, Llc Aparato de codificación de audio y procedimiento de codificación de audio
US20060149536A1 (en) * 2004-12-30 2006-07-06 Dunling Li SID frame update using SID prediction error
US20080126812A1 (en) * 2005-01-10 2008-05-29 Sherjil Ahmed Integrated Architecture for the Unified Processing of Visual Media
CN100592389C (zh) * 2008-01-18 2010-02-24 华为技术有限公司 合成滤波器状态更新方法及装置
WO2006136901A2 (en) * 2005-06-18 2006-12-28 Nokia Corporation System and method for adaptive transmission of comfort noise parameters during discontinuous speech transmission
US7546237B2 (en) * 2005-12-23 2009-06-09 Qnx Software Systems (Wavemakers), Inc. Bandwidth extension of narrowband speech
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8725499B2 (en) * 2006-07-31 2014-05-13 Qualcomm Incorporated Systems, methods, and apparatus for signal change detection
US7796626B2 (en) * 2006-09-26 2010-09-14 Nokia Corporation Supporting a decoding of frames
US8032359B2 (en) * 2007-02-14 2011-10-04 Mindspeed Technologies, Inc. Embedded silence and background noise compression
CN101246688B (zh) * 2007-02-14 2011-01-12 华为技术有限公司 一种对背景噪声信号进行编解码的方法、系统和装置
EP2207166B1 (de) * 2007-11-02 2013-06-19 Huawei Technologies Co., Ltd. Audiodekodierungsverfahren und -vorrichtung
US8554551B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
CN101335000B (zh) * 2008-03-26 2010-04-21 华为技术有限公司 编码的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"CODING OF SPEECH AT 8 KBIT/S USING CONJUGATE STRUCTURE ALGEBRAIC-CODE-EXCITED LINEAR-PREDICTION (CS-ACELP). ANNEX B: A SILENCE COMPRESSION SCHEME FOR G.729 OPTIMIZED FOR TERMINALS CONFORMING TO RECOMMENDATION V.70", ITU-T RECOMMENDATION G.729, XX, XX, 1 November 1996 (1996-11-01), pages COMPLETE23, XP002259964 *
"G.729 based Embedded Variable bit-rate coder: An 8-32 kbit/s scalable wideband coder bitstream interoperable with G.729; G.729.1 (05/06)", ITU-T DRAFT STUDY PERIOD 2005-2008, INTERNATIONAL TELECOMMUNICATION UNION, GENEVA ; CH, no. G.729.1 (05/06), 29 May 2006 (2006-05-29), XP017404590 *

Also Published As

Publication number Publication date
CN101952886A (zh) 2011-01-19
CN101952886B (zh) 2013-03-06
RU2461080C2 (ru) 2012-09-10
KR20120089378A (ko) 2012-08-09
US20160035360A1 (en) 2016-02-04
RU2010138563A (ru) 2012-04-10
US20100318352A1 (en) 2010-12-16
JP5361909B2 (ja) 2013-12-04
DE102008009719A1 (de) 2009-08-20
KR20100120217A (ko) 2010-11-12
WO2009103608A1 (de) 2009-08-27
KR101364983B1 (ko) 2014-02-20
EP2245621A1 (de) 2010-11-03
JP2011512563A (ja) 2011-04-21

Similar Documents

Publication Publication Date Title
EP2245621B1 (de) Verfahren und mittel zur enkodierung von hintergrundrauschinformationen
DE60117471T2 (de) Breitband-signalübertragungssystem
DE3688980T2 (de) Verfahren zur Multigeschwindigkeitskodierung von Signalen und Einrichtung zur Durchführung dieses Verfahrens.
DE69917677T2 (de) SPRACHKODIERUNG MIT VERäNDERBAREM KOMFORT-RAUSCHEN FüR VERBESSERTER WIEDERGABEQUALITäT
AT405346B (de) Verfahren zum herleiten der nachwirkperiode in einem sprachdecodierer bei diskontinuierlicher übertragung, sowie sprachcodierer und sender-empfänger
EP3217583B1 (de) Decodierer und verfahren zum decodieren einer folge von datenpaketen
EP1953739B1 (de) Verfahren und Vorrichtung zur Geräuschsunterdrückung bei einem decodierten Signal
DE69524890T2 (de) Parametrische Sprachkodierung
DE69730721T2 (de) Verfahren und vorrichtungen zur geräuschkonditionierung von signalen welche audioinformationen darstellen in komprimierter und digitalisierter form
DE60224005T2 (de) Verfahren und vorrichtung zur verarbeitung von mehreren audiobitströmen
EP2245620B1 (de) Verfahren und mittel zur enkodierung von hintergrundrauschinformationen
EP1677286A1 (de) Verfahren zur Anpassung von Comfort Noise Generation Parametern
EP1327243A1 (de) Verfahren und vorrichtung zum erzeugen eines skalierbaren datenstroms und verfahren und vorrichtung zum decodieren eines skalierbaren datenstroms
EP2245622B1 (de) Verfahren und mittel zur dekodierung von hintergrundrauschinformationen
EP0658874A1 (de) Verfahren und Schaltungsanordnung zur Vergrösserung der Bandbreite von schmalbandigen Sprachsignalen
DE2303497C2 (de) Verfahren zur Übertragung von Sprachsignalen
EP1433166B1 (de) Sprachextender und verfahren zum schätzen eines breitbandigen sprachsignals anhand eines schmalbandigen sprachsignals
DE69921643T2 (de) Av-signalübertragung mit variabler bitrate in einem paketnetz
EP1390946B1 (de) Verfahren zur schätzung eines codecparameters
DE69834993T2 (de) Sprachübertragungssystem
DE69836454T2 (de) Kommunikationsnetzwerk zur übertragung von sprachsignalen
EP1834322B1 (de) Verfahren zum codieren eines analogen signals
DE19906223B4 (de) Verfahren und Funk-Kommunikationssystem zur Sprachübertragung, insbesondere für digitale Mobilkummunikationssysteme
WO2006072526A1 (de) Verfahren zur bandbreitenerweiterung
CH680030A5 (de)

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100812

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA RS

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SETIAWAN, PANJI

Inventor name: SCHANDL, STEFAN

Inventor name: TADDEI, HERVE

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIFY GMBH & CO. KG

17Q First examination report despatched

Effective date: 20150706

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIFY GMBH & CO. KG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20181129

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1127980

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190515

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009015751

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190501

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190801

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190901

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190802

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190801

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009015751

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

26N No opposition filed

Effective date: 20200204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20200229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200202

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200229

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200229

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502009015751

Country of ref document: DE

Representative=s name: SCHAAFHAUSEN PATENTANWAELTE PARTNERSCHAFTSGESE, DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200202

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200229

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1127980

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200202

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200202

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190501

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240216

Year of fee payment: 16

Ref country code: GB

Payment date: 20240222

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240222

Year of fee payment: 16