EP1953739B1 - Verfahren und Vorrichtung zur Geräuschsunterdrückung bei einem decodierten Signal - Google Patents

Verfahren und Vorrichtung zur Geräuschsunterdrückung bei einem decodierten Signal Download PDF

Info

Publication number
EP1953739B1
EP1953739B1 EP08008031.0A EP08008031A EP1953739B1 EP 1953739 B1 EP1953739 B1 EP 1953739B1 EP 08008031 A EP08008031 A EP 08008031A EP 1953739 B1 EP1953739 B1 EP 1953739B1
Authority
EP
European Patent Office
Prior art keywords
celp
signal
decoded signal
tdac
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Not-in-force
Application number
EP08008031.0A
Other languages
English (en)
French (fr)
Other versions
EP1953739A2 (de
EP1953739A3 (de
Inventor
Martin Gartner
Stefan Schandl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102005019863A external-priority patent/DE102005019863A1/de
Priority claimed from DE200510032079 external-priority patent/DE102005032079A1/de
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1953739A2 publication Critical patent/EP1953739A2/de
Publication of EP1953739A3 publication Critical patent/EP1953739A3/de
Application granted granted Critical
Publication of EP1953739B1 publication Critical patent/EP1953739B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Description

  • Die Erfindung betrifft ein Verfahren zur Decodierung eines Signals, welches mittels eines Hybridcodierers codiert wurde. Die Erfindung betrifft ferner eine entsprechend ausgestaltete Vorrichtung zur Decodierung.
  • Zur Codierung von Audiosignalen haben sich unterschiedliche Verfahren als besonders effektiv herausgestellt. So hat sich beispielsweise zur qualitativ guten Codierung von Sprachsignalen, welche eine gute Qualität aufweisen, und bei gleichzeitig niedrigen Bitraten des codierten Datenstroms insbesondere die sogenannte CELP Technologie (Code Excited Linear Prediction) als günstig erwiesen. CELP arbeitet im Zeitbereich und basiert auf einem Anregungsmodell für ein variables Filter. Hierbei wird das Sprachsignal sowohl durch Filterparameter als auch durch Parameter, welche das Anregungssignal beschreiben, dargestellt.
  • Zumeist wird in Hinblick auf Codierer auch von dem entsprechenden Decodierer gesprochen, der die codierten Daten wieder entschlüsseln bzw. decodieren kann. Entsprechende Kommunikationsgeräte weisen einen solchen sogenannten Codec auf, um eben Daten versenden und empfangen zu können, was für eine Kommunikation erforderlich ist.
  • Für die Codierung von Musik- und Sprachsignalen, welche eine sehr hohe Qualität insbesondere auch bei höheren Bitraten des codierten Datenstroms aufweisen sollen, haben sich vor allem sogenannte perceptuelle Codecs (Codec = Codierer/Decodierer) durchgesetzt. Diese perceptuellen Codecs basieren auf einer Informationsreduktion im Frequenzbereich und sie nutzen Maskierungseffekte des menschlichen Hörsystems aus, d.h., dass beispielsweise bestimmte Frequenzen oder Änderungen, die der Mensch nicht wahrnehmen kann, auch nicht dargestellt werden. Dadurch wird die Komplexität des Coders oder Codecs gesenkt. Da diese Coder meist mit einer Transformierung des Zeitsignals in den Frequenzbereich arbeiten, wobei die Transformierung beispielsweise mittels MDCT (Modified Discrete Cosine Transformation) vorgenommen wird, werden diese oft auch als Transformcoder oder -codecs bezeichnet. Dieser Ausdruck wird im Rahmen der weiteren Anmeldung verwendet.
  • In letzter Zeit kommen zunehmend sogenannte skalierbare Codecs zum Einsatz. Skalierbare Codecs sind solche Codecs, die zunächst eine exzellente Audioqualität bei relativ hoher Bitrate des codierten Datenstroms erzeugen. Damit ergeben sich relativ lange, periodisch zu übertragende Pakete.
  • Ein Paket ist eine Mehrzahl Daten, welche in einem Zeitintervall anfallen, und zusammen eben in diesem Paket übertragen werden. Bei Paketen werden oftmals wichtige Daten zuerst und weniger wichtige Daten nachfolgend übertragen. Bei diesen langen Paketen besteht jedoch die Möglichkeit, diese Pakete zu kürzen, indem ein Teil der Daten entfernt wird, insbesondere indem der zeitlich zuletzt übertragene Teil des Paketes abgeschnitten wird. Damit geht natürlich eine Verschlechterung der Qualität einher.
  • Wegen der zuvor genannten Eigenschaften bietet es sich für skalierbare Codecs an, bei niedrigen Bitraten mit CELP Codecs zu arbeiten und bei höheren Bitraten mit Transformcodecs. Dies hat zur Entwicklung von hybriden CELP/Transformcodecs geführt, die ein Basissignal mit guter Qualität nach dem CELP Verfahren codieren und zusätzlich dazu ein Zusatzsignal nach dem Transformcodec-Verfahren generieren, mit dem das Basissignal verbessert wird. Dies führt dann zu der erwünschten exzellenten Qualität.
  • Nachteilig bei der Verwendung dieser Transformcodecs ist, dass ein sogenannter "Pre-Echo Effekt" auftritt. Dabei handelt es sich um ein Störgeräusch, das gleichmäßig über die gesamte Blocklänge eines Transform-Coder Blocks verteilt ist. Unter einem Block versteht man, eine Gesamtheit von Daten, welche gemeinsam codiert werden. Für Transformcodecs beträgt eine typische Blocklänge 40 msec. Das Störgeräusch des PreEcho Effekts entsteht durch Quantisierungsfehler von übertragenen spektralen Komponenten. Bei gleichmäßigem Signalpegel liegt der Pegel dieses Störgeräusches überall unter dem Pegel des Nutzsignals. Hat man allerdings ein Nutzsignal mit einem Null-Pegel gefolgt von einem plötzlichen hohen Pegel, so ist dieses Störgeräusch vor dem Einsetzen des hohen Pegels deutlich zu hören. In der Literatur ist ein bekanntes Beispiel hierfür der Signalverlauf beim Klappern einer Castanette.
  • Zur Reduktion dieses Effekts werden bereits verschiedene Verfahren angewandt. Diese arbeiten aber alle mit der Übertragung von Zusatzinformationen, was wiederum das Coderdesign sehr komplex gestaltet oder erzwingt, dass die Coder mit vorübergehend erhöhten Bitraten arbeiten müssen.
  • Ausgehend von diesem Stand der Technik ist es Aufgabe der vorliegenden Erfindung, eine einfache Möglichkeit zu schaffen, eine Störgeräuschreduktion bei mittels eines hybriden Coders codierten Signalen herbeizuführen, bei der keine Zusatzinformation benötigt wird.
  • Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
  • Für diese Störgeräuschreduktion bei einem decodierten Signal, das sich aus einem ersten, z.B. von einem CELP Decodierer stammenden, und einem zweiten, z.B. von einem TransformDecodierer stammenden Signal zusammensetzt, werden folgende Schritte durchgeführt:
  • Aus den beiden decodierten Signalbeiträgen wird jeweils die zugehörige Energiehüllkurve ermittelt. Unter Energiehüllkurve versteht man insbesondere den Energieverlauf eines Signals gegenüber der Zeit.
  • Aus einem Vergleich beider Hüllkurven wird eine Kennzahl gebildet, beispielsweise ein Verhältnis.
  • Diese Kennzahl dient wiederum zum Ableiten eines Verstärkungsfaktors.
  • Dieses Verfahren weist insbesondere Vorteile auf, wenn Energie z.B. bei dem Codierverfahren, welches zum ersten decodierten Signalbeitrag führt, zuverlässiger erkannt wird. Dann kann nämlich durch die Kennzahl oder den Verstärkungsfaktor eine Abweichung erkannt werden.
  • Insbesondere kann der zweite decodierte Signalbeitrag mit dem Verstärkungsfaktor multipliziert werden. Dadurch kann die oben erwähnte Abweichung korrigiert werden.
  • Sämtliche Signale können in Zeitabschnitte unterteilt sein, wobei insbesondere die Zeitabschnitte, welche für den ersten decodierten Signalbeitrag verwendet werden, kürzer sein können als diejenigen für den zweiten.
  • Damit können aufgrund der höheren Zeitauflösung Energieabweichungen im zweiten Signalbeitrag besser korrigiert werden.
  • Der erste Signalbeitrag kann aus einem CELP Decodierer stammen, der ein CELP codiertes Signal decodiert, der zweite aus einem Transformdecodierer, der ein transformcodiertes Signal decodiert. Dieses transformcodierte Signal kann insbesondere auch den ersten, CELP-decodierten Signalbeitrag enthalten, der nach der Decodierung transform-codiert wurde, zum vom Sender übertragenen transformcodierten Signal addiert wurde (also schon im Frequenzbereich), und dann im Transformdecodierer als Beitrag zum zweiten Signalbeitrag decodiert wird.
  • Alternativ hierzu kann eine Summenbildung aus dem übertagenen CELP-codierten Signal und dem übertragenen transformcodierten-Signal auch im Zeitbereich erfolgen.
  • Der Verstärkungsfaktor kann insbesondere gleich der Kennzahl sein. Dann kann sich bei Bildung eines geeigneten Verhältnisses einen entsprechende Schwächung des zweiten decodierten Signalbeitrages ergeben, wenn dieses vornehmlich das Pre-Echo noise enthält.
  • Insbesondere kann es sich bei dem ersten Decoder um einen auf der CELP-Technologie basierenden, oder/und bei dem zweiten Coder um einen Transformdecoder handeln. Damit ergibt sich eine besonders effektive Geräuschreduktion bei gleichzeitig exzellenter Qualität des decodierten Signals.
  • Die Veränderung des empfangenen Gesamtsignals auf Decoderseite kann insbesondere nur dann vorgenommen werden, wenn bestimmte Kriterien vorliegen.
  • Insbesondere ist es vorgesehen, dass das Verändern des empfangenen Gesamtsignals auf Decoderseite nur erfolgt, wenn die Signalpegeländerung eine bestimmte Schwelle übersteigt. Dies ermöglicht eine besonders effektive Pre-Echo-Reduktion, da der Pre-Echo-Effekt - wie bereits dargelegt- hauptsächlich bei Pegeländerungen auftritt, da dann das Pre-Echo Geräusch überhalb des Signalpegels liegt. Andererseits wird durch dieses selektive Verändern nicht unnötigerweise auf die Qualitätsverbesserung durch den zweiten Coder verzichtet.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren geschaffen, bei dem aufbauend auf dem erläuterten Verfahren das decodierte Signal bzw. dessen erste und zweite decodierte Signalbeiträge nach Frequenzbereichen getrennt behandelt werden. Dies hat folgenden Vorteil. Beim Decodieren ist für mehrere Frequenzbänder die Sollenergie für diese Frequenzbändern bekannt, nämlich aus der Energie der einzelnen nach Frequenzbereichen getrennten ersten decodierten Signalbeiträge, beispielsweise CELP-Signale. Durch den zweiten decodierten Signalbeitrag kann nun ein Add-on Signal (Zusatzbeitrag) bereitgestellt werden, welches jedoch in seiner Energie erheblich abweichen kann. Problematisch ist vor allem, wenn die Energie des zweiten decodierten Signalbeitrags erheblich zu hoch ist, z.B. aufgrund von Pre-Echo-Effekten. Das Verfahren führt nun für jedes einzeln behandelte Frequenzband eine Begrenzung der Energie (bzw. des Pegels) des zweiten Signalbeitrags abhängig von der Energie des ersten Signalbeitrags ein. Dieses Verfahren ist umso effektiver, je mehr Frequenzbänder auf diese Weise getrennt behandelt werden.
  • Weitere Vorteile der Erfindung werden anhand beispielhafter Ausführungsformen dargestellt.
  • Es zeigen:
    • Figur 1
    eine Darstellung der wesentlichen Komponenten auf einer Codiererseite und einer Decodiererseite zur Erläuterung des beispielhaften Ablaufs eines Codierungs/Decodierungsvorganges;
    Figur 2
    eine schematische Darstellung einer Kommunikationsanordnung zur Übertragung eines codierten Signals zwischen Kommunikationsgeräten über ein Kommunikationsnetz;
    Figur 3
    eine Decodiereinrichtung bzw. eine Geräuschunterdrückungseinrichtung zur Erläuterung der Reduktion von Pre-Echos mit Hilfe von Gain-Adaption, welche auf einem CELP Signal basiert;
    Figur 4
    eine weitere Ausführungsform zur Pegelanpassung bzw. zur Reduktion von Pre-Echos.
  • In FIG 1 ist der schematische Ablauf eines Codierungs- und Decodierungsvorgang anhand einer Ausführungsführungsform gezeigt. Auf einer Codiererseite C wird ein analoges an einen Empfänger zu übertragendes Signal S mittels einer Vorverarbeitungseinrichtung PP für die Codierung vorverarbeitet bzw. vorbereitet, beispielsweise indem es digitalisiert wird. Es erfolgt weiterhin eine Zerlegung des Signals in Zeitabschnitte bzw. Rahmen in einer Unterteilungseinheit F. Ein derart vorbereitetes Signal wird einer Codierungseinheit COD zugeführt. Die Codierungseinheit COD weist einen hybriden Coder auf, der einen ersten Coder, einen CELP-Coder COD1 und einen zweiten Coder, einen Transformcoder COD2 umfasst. Der CELP-Coder COD1 umfasst eine Mehrzahl von CELP-Codern COD1_A, COD1_B, COD1_C, welche in unterschiedlichen Frequenzbereichen arbeiten. Durch diese Aufteilung in unterschiedliche Frequenzbereiche kann eine besonders akkurate Codierung gewährleistet werden. Ferner unterstützt diese Aufteilung in unterschiedliche Frequenzbereiche sehr gut das Konzept eines skalierbaren Codecs, da je nach gewünschter Skalierung nur einer, mehrere oder alle Frequenzbereiche übertragen werden können. Der CELP-Coder COD1 liefert einen Grundbeitrag S_G zum codierten Gesamtsignal S_GES. Der Transformcoder COD2 liefert einen Zusatzbeitrag S_Z zum codierten Gesamtsignal S_GES. Das codierte Gesamtsignal S_GES wird mittels einer Kommunikationsvorrichtung KC auf der Codiererseite C an eine Kommunikationsvorrichtung KD auf einer Decodiererseite D übertragen. Hier erfolgt ggf. eine Verarbeitung (beispielsweise eine Aufspaltung des codierten Gesamtsignals in die Beiträge S_G und S_Z) der Daten bzw. des empfangenen codierten Gesamtsignals S_GES in einer Verarbeitungseinrichtung PROC, wobei anschließend die verarbeiteten Daten bzw. das verarbeitete Signal einer Decodiereinrichtung DEC zur nachfolgenden Decodierung DEC übertragen werden (vgl. dazu auch die Figuren 3 und 4). An die Decodierung schließt sich eine Geräuschreduktion in einer Geräuschreduktionseinrichtung NR an, die in Figur 3 in größerem Detail dargestellt ist.
  • In FIG 2 ist ein erstes Kommunikationsgerät COM1 (beispielsweise repräsentierend die Komponenten auf der Codiererseite C von Figur 1) dargestellt, welches eine Sende- und Empfangseinheit ANT1 (beispielsweise entsprechend der Kommunikationsvorrichtung KC) zum Übertragen oder/und Empfangen von Daten, sowie eine Recheneinheit CPU1 aufweist, die zur Realisierung der Komponenten auf der Codiererseite C bzw. zur Durchführung des in FIG 1 dargestellten Codierverfahrens (Verarbeitung auf der Codiererseite C) eingerichtet ist. Die Übertragung von Daten erfolgt mittels der Sende/Empfangseinheit ANT1 über ein Kommunikationsnetz CN (das beispielsweise je nach zu verwendenden Kommunikationsgeräten als Internet, ein Telefonnetz bzw. Mobilfunknetz eingerichtet sein kann). Der Empfang erfolgt durch ein zweites Kommunikationsgerät COM2 (beispielsweise repräsentierend die Komponenten auf der rechten Seite der Figur 1), welches wiederum eine Sende- und Empfangseinheit ANT2 (beispielsweise entsprechend der Kommunikationsvorrichtung KB), sowie eine Recheneinheit CPU2 aufweist, welche zur Realisierung der Komponenten auf der Decodiererseite D bzw. zur Durchführung eines Decodierverfahrens (Verarbeitung auf der Decodiererseite D) gemäß FIG 1 eingerichtet ist. Beispiele für mögliche Realisierungen der Kommunikationsgeräte COM1 und COM2, in denen dieses Verfahren zur Anwendung kommen kann, sind IP-Telefone, Voice-Gateways oder Mobiltelefone.
  • Es sei nun auf Figur 3 verwiesen, in der die Decodierungseinrichtung DEC und die Geräuschreduktionseinrichtung NR mit den wesentlichen Komponenten zur schematischen Darstellung des Ablaufs einer Pre-Echo-Reduktion zu sehen ist.
    Ein CELP-codiertes Signal S_COD,CELP (entsprechend dem Signal S_G) wird mittels eines Gesamtband-CELP-Decodierers DEC_GES,CELP decodiert. Das decodierte Signal S_CELP wird einerseits zu einer (ersten) Energiehüllkurvenbestimmungseinheit GE1 zur Bestimmung der zugehörigen Hüllkurve ENV_CELP, anderseits zu einem TDAC(Time domain aliasing cancellation)Encoder COD_TDAC weitergeleitet. Bei der TDAC-Codierung handelt es sich um ein Beispiel für eine Transformcodierung.
  • Das codierte Signal S_COD,CELP,TDAC wird zusammen mit dem von Empfängerseite stammenden transformcodierten Signal S_COD,TDAC (entsprechend dem Signal S_Z) zu einem Transformdecodierer DEC_TDAC geleitet, um ein decodiertes Signal S_TDAC zu erzeugen. Auch aus diesem decodierten Signal S_TDAC wird ebenfalls in einer (zweiten) Energiehüllkurvenbestimmungseinheit GE2 die zugehörige Energiehüllkurve ENV_TDAC bestimmt. In einer Verhältnisbestimmungseinheit D wird das Verhältnis R der Energiehüllkurven zueinander als Kennzahl zeitabschnittweise bestimmt. In einer Bedingungsfeststellungseinheit BFE wird festgestellt, ob das Verhältnis R einen festgelegten Mindestabstand von 1 (1: beide Energiehüllkurven gleich) hat, d.h. dass die Pegel beider Signale gleich sind oder zumindest nur um einen vorgegebenen Prozentsatz voneinander abweichen.
  • Ergebnis ist dann ein Verstärkungsfaktor bzw. Dämpfungsfaktor G, der im gezeigten Fall gleich dem Verhältnis R (Kennzahl) ist, mit dem der transformdecodierte Signalbeitrag S_TDAC in einer Multiplikationseinrichtung M multipliziert wird, um ein endgültiges störgeräuschreduziertes Signal S_OUT zu erhalten. Genauer gesagt, wird beispielsweise davon ausgegangen, dass das Verhältnis R gebildet wird durch R = ENV_CELP / ENV_TDAC, und wurde festgelegt, dass dieses Verhältnis einen vorbestimmten Schwellenwert SW nicht unterschreiten darf, so wird bei unterschreiten des Schwellenwerts SW der transformdecodierte Signalbeitrag S_TDAC mit einem Verstärkungsfaktor G, beispielsweise G = R multipliziert, was zu einer Dämpfung des Signalbeitrags S_TDAC führt. Es ist ferner möglich, in dem Fall, in dem der Schwellenwert SW nicht unterschritten wird, dem Verstärkungsfaktor G den Wert "1" zuzuordnen, so dass bei einer Multiplikation des Signalbeitrags S_TDAC, die dann in jedem Fall stattfinden kann, der Wert S_TDAC unverändert bleibt.
  • Somit kann im Fall einer Abweichung der Energie des transformdecodierten Signalbeitrags S_TDAC, wobei die Abweichung eben der genannte Pre-Echo-Effekt ist, die Energie bzw. der Pegel dieses Signalbeitrags zum zuverlässigeren Wert des CELP-decodierten Signals S_CELP bewegt werden, so dass das endgültige Signal S_out störgeräuschreduziert ist.
  • Es sei nun auf Figur 4 verwiesen, anhand der eine weitere Ausführungsform zur Reduzierung des Pre-Echoeffekts erläutert werden soll.
  • Es ist möglich, dass anstelle nur eines CELP-codecs mehrere, nach Frequenzbereichen getrennte (CELP- oder andere) Codecs vorhanden sind. Die in Figur 4 gezeigte Ausführungsform entspricht größtenteils der in Figur 3 gezeigten Ausführungsform und stellt ein Erweiterung diesbezüglich dar, dass das in Figur 3 gezeigte Verfahren nicht auf die Gesamtsignale von CELP (oder anderen)-Decoder und Transformdecoder angewendet wird, sondern dass das Verfahren getrennt nach Frequenzbereichen angewendet wird. Das heißt, es findet zunächst eine Aufteilung des Gesamtsignals bzw. der einzelnen Signalbeiträge nach Frequenzbereichen statt, wobei das Verfahren von Figur 3 dann pro Frequenzbereich auf die einzelnen Signalbeiträge angewendet werden kann.
  • Der Vorteil davon wird im Folgenden erläutert. Beim Decoder ist für mehrere Frequenzbänder die Sollenergie für diese Frequenzbänder bekannt, nämlich aus der Energie der einzelnen nach Frequenzbereichen getrennten CELP-Signale. Der Transformdecoder liefert nun ein Add-on Signal (Zusatzbeitrag), welches jedoch in seiner Energie erheblich abweichen kann. Problematisch ist vor allem, wenn die Energie des Signals aus dem Transformdecoder erheblich zu hoch ist, z.B. aufgrund von Pre-Echo-Effekten. Das Verfahren führt nun für jedes einzeln behandelte Frequenzband eine Begrenzung der Transformcodec-Energie abhängig von der CELP-Energie ein. Dieses Verfahren ist umso effektiver, je mehr Frequenzbänder auf diese Weise getrennt behandelt werden.
  • Dies wird anhand von folgendem Beispiel sofort deutlich:
  • Das Gesamtsignal bestehe aus einem 2000 Hz Ton, welches gänzlich aus dem CELP codec Anteil kommt. Zusätzlich, aufgrund von Preecho Effekten liefert der Transformcodec nun noch ein Störsignal mit einer Frequenz von 6000 Hz; die Energie des Störsignals sei 10% der Energie des 2000 Hz Tons.
    Das Kriterium zur Begrenzung des Transformcodec-Anteils sei, dass dieser max. gleich groß wie der CELP-Anteil sein darf. Fall 1: Es wird kein Splitting nach Frequenzbändern gemacht (erste Ausführungsform): Dann wird das 6000 Hz Störsignal nicht unterdrückt, da es nur 10% der Energie des 2000Hz Tons aus dem CELP Codec hat.
  • Fall 2: Die Frequenzbänder A: 0 - 4000 Hz und B: 4000 Hz - 8000 Hz werden getrennt behandelt (weitere Ausführungsform): In diesem Fall wird das Störsignal komplett unterdrückt, da im oberen Frequenzband der CELP-Anteil Null ist, und somit auch das Transformcodecsignal auf den Wert Null begrenzt wird.
  • In Figur 4 ist nun (entsprechend zu Figur 3) wieder eine Decodierungseinrichtung DEC und eine Geräuschreduktionseinrichtung NR mit den wesentlichen Komponenten zur schematischen Darstellung des Ablaufs einer Pegelanpassung bzw. Pre-Echo-Reduktion zu sehen. Für die Erzeugung von codierten Signalen bzw. die Übertragung an einen Empfänger sei wieder auf die Figuren 1 oder 2 verwiesen.
  • Ein CELP-codiertes Signal S_COD,CELP (entsprechend dem Signalbeitrag S_G) wird mittels eines Gesamtband-CELP-Decodierers DEC_GES,CELP' decodiert. Der Gesamtband-CELP-Decodierer umfasst dabei zwei Decodiereinrichtungen, eine erste Decodiereinrichtung DEC_FB_A zum Decodieren des Signals S_COD,CELP in einem ersten Frequenzband A und eine zweite Decodiereinrichtung DEC_FB_B zum Decodieren des Signals S_COD,CELP in einem zweiten Frequenzband B. Ein erstes decodiertes Signal S_CELP_A wird zu einer (ersten) Energiehüllkurvenbestimmungseinheit GE1_A zur Bestimmung der zugehörigen Hüllkurve ENV_CELP_A geleitet, während ein zweites decodiertes Signal S_CELP_B zu einer (zweiten) Energiehüllkurvenbestimmungseinheit GE1_B zur Bestimmung der zugehörigen Hüllkurve ENV_CELP_B geleitet wird.
  • Ein von der Empfängerseite stammendes transformcodiertes Signal S_COD,TDAC (entsprechend dem Signal S_Z) wird zu einem Transformdecodierer DEC_TDAC geleitet, um ein decodiertes Signal S_TDAC zu erzeugen, das wiederum einem Frequenzbandsplitter (Frequenzbandaufteiler) FBS zugeführt wird. Dieser teilt das Signal S_TDAC in zwei Signale, nämlich S_TDAC_A für das Frequenzband A und S_TDAC_B für das Frequenzband B auf. Die Aufteilung in Frequenzbänder kann optional auch im Frequenzbereich, vor der Rücktransformation in den Zeitbereich, erfolgen. Dadurch entfällt insbesondere die mit einem im Zeitbereich arbeitenden Frequenzbandsplitter (Hoch-,Tief-, oder Bandpassfilter) einhergehende Verzögerung. Auch aus diesen decodierten frequenzbandabhängigen Signalen S_TDAC_A und S_TDAC_B wird ebenfalls in einer (dritten) Energiehüllkurvenbestimmungseinheit GE2_A bzw. einer (vierten) Energiehüllkurvenbestimmungseinheit GE2_B die zugehörige Energiehüllkurve ENV_TDAC_A bzw. ENV_TDAC_B bestimmt.
  • In einer ersten Verstärkungsbestimmungseinheit BD_A wird für das Frequenzband A anhand der Energiehüllkurven ENV_CELP_A und ENV_TDAC_A ein Verstärkungsfaktor (oder auch Dämpfungsfaktor, da die Verstärkung negativ ist) G_A bestimmt, während in einer zweiten Verstärkungsbestimmungseinheit BD_B für das Frequenzband B anhand der Energiehüllkurven ENV_CELP_B und ENV_TDAC_B ein Verstärkungsfaktor (Dämpfungsfaktor) G_B bestimmt wird. Die Bestimmung der jeweiligen Verstärkungsfaktoren kann entsprechend der Bestimmung von Figur 3 (vgl. Komponenten D, BFE) von statten gehen. Es kann dabei beispielsweise wieder ein jeweiliges Verhältnis (Kennzahl) R_A, R_B der Energiehüllkurven für ein jeweiliges Frequenzband A und B, nämlich R_A = ENV_CELP_A/ ENV_TDAC_A bzw. R_B = ENV_CELP_B/ENV_TDAC_B gebildet werden, wobei für ein jeweiliges Frequenzband ein Schwellenwert SW_A bzw. SW_B festgelegt wird, bei dessen Unterschreiten ein jeweiliger Verstärkungsfaktor G_A (beispielsweise G_A = R_A) bzw. G_B (beispielsweise G_B = R_B) erzeugt wird, der schließlich auf ein jeweiliges frequenzbandabhängiges Signal S_TDAC_A bzw. S_TDAC_B anzuwenden ist (um eine Dämpfung herbeizuführen). Wird ein jeweiliger Schwellenwert nicht unterschritten kann ein jeweiliger Verstärkungsfaktor G_A bzw. G_B auf "1" festgelegt werden, so dass bei einer Multiplikation ein jeweiliges frequenzbandabhängiges Signal S_TDAC_A bzw. S_TDAC_B unverändert bleibt.
  • In einer ersten Multiplikationseinrichtung M_A für das Frequenzband A wird schließlich der Verstärkungsfaktor G_A mit dem Signal S_TDAC_A und wird der Verstärkungsfaktor G_B mit dem Signal S_TDAC_B multipliziert. Schließlich werden die multiplizierten (eventuell gedämpften) frequenzbandabhängigen Signale zusammengeführt, um ein endgültiges störgeräuschreduziertes (Gesamtfrequenz-)Signal S_OUT' zu erzielen.
  • Es sei bemerkt, dass obwohl im vorliegenden Beispiel lediglich eine Aufspaltung der decodierten Signalbeiträge S_CELP_A, S_CELP_B, S_TDAC_A und S_TDAC_B in zwei Frequenzbereiche A und B stattgefunden hat, eine Aufteilung auch in 3 oder mehr Frequenzbereiche möglich und vorteilhaft sein kann.

Claims (3)

  1. Verfahren zur Geräuschunterdrückung bei einem einem Frequenzband zugeordneten decodierten Signal, welches sich aus einem jeweiligen ersten decodierten Signalbeitrag (S_CELP_A, S_CELP_B) und einem jeweiligen zweiten decodierten Signalbeitrag (S_TDAC_A, S_TDAC_B) für ein jeweiliges Teilfrequenzband (A, B) des Frequenzbands zusammensetzt, wobei des erste decodierte Signalbeitrag und des zweite decodierte Signalbeitrag mit unterschiedlichen Decodierungsverfahren decodiert sind, mit folgenden Schritten:
    a. Ermitteln einer ersten Energiehüllkurve (ENV_CELP_A, ENV_CELP_B) des jeweiligen ersten decodierten Signalbeitrags und einer zweiten Energiehüllkurve (ENV_TDAC_A, ENV_TDAC_B) des jeweiligen zweiten decodierten Signalbeitrags für ein jeweiliges Teilfrequenzband;
    b. Bilden einer jeweiligen Kennzahl (R_A, R_B) in Abhängigkeit von einem Vergleich von erster und zweiter Energiehüllkurve für ein jeweiliges Teilfrequenzband;
    c. Ableiten eines jeweiligen Verstärkungsfaktors (G_A, G_B) in Abhängigkeit von der jeweiligen Kennzahl für ein jeweiliges Teilfrequenzband, und
    d. Multiplizieren des zweiten decodierten Signalbeitrags (S_TDAC_A, S_TDAC_B) mit dem jeweiligen Verstärkungsfaktor (G_A, G_B) für ein jeweiliges Teilfrequenzband.
  2. Verfahren nach Anspruch 1, wobei
    in Schritt d) der zweite decodierte Signalbeitrag (S_TDAC_A, S_TDAC_B) mit dem jeweiligen Verstärkungsfaktor (G_A, G_B) für ein jeweiliges Teilfrequenzband multipliziert wird, wenn die jeweilige Kennzahl (R_A, R_B) ein festgelegtes Kriterium nicht erfüllt.
  3. Vorrichtung, insbesondere Kommunikationsgerät, mit einer Recheneinheit (CPU2), die zur Durchführung eines Verfahrens nach Anspruch 1 oder 2 ausgebildet ist.
EP08008031.0A 2005-04-28 2006-04-12 Verfahren und Vorrichtung zur Geräuschsunterdrückung bei einem decodierten Signal Not-in-force EP1953739B1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102005019863A DE102005019863A1 (de) 2005-04-28 2005-04-28 Verfahren und Vorrichtung zur Geräuschunterdrückung
DE102005028182 2005-06-17
DE200510032079 DE102005032079A1 (de) 2005-07-08 2005-07-08 Verfahren und Vorrichtung zur Geräuschunterdrückung
EP06725716A EP1869671B1 (de) 2005-04-28 2006-04-12 Verfahren und vorrichtung zur geräuschunterdrückung

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
EP06725716A Division EP1869671B1 (de) 2005-04-28 2006-04-12 Verfahren und vorrichtung zur geräuschunterdrückung

Publications (3)

Publication Number Publication Date
EP1953739A2 EP1953739A2 (de) 2008-08-06
EP1953739A3 EP1953739A3 (de) 2008-10-08
EP1953739B1 true EP1953739B1 (de) 2014-06-04

Family

ID=36621841

Family Applications (2)

Application Number Title Priority Date Filing Date
EP08008031.0A Not-in-force EP1953739B1 (de) 2005-04-28 2006-04-12 Verfahren und Vorrichtung zur Geräuschsunterdrückung bei einem decodierten Signal
EP06725716A Not-in-force EP1869671B1 (de) 2005-04-28 2006-04-12 Verfahren und vorrichtung zur geräuschunterdrückung

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP06725716A Not-in-force EP1869671B1 (de) 2005-04-28 2006-04-12 Verfahren und vorrichtung zur geräuschunterdrückung

Country Status (11)

Country Link
US (1) US8612236B2 (de)
EP (2) EP1953739B1 (de)
JP (1) JP4819881B2 (de)
KR (1) KR100915726B1 (de)
AT (1) ATE435481T1 (de)
CA (1) CA2574468C (de)
DE (1) DE502006004136D1 (de)
DK (1) DK1869671T3 (de)
ES (1) ES2327566T3 (de)
PL (1) PL1869671T3 (de)
WO (1) WO2006114368A1 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2897733A1 (fr) * 2006-02-20 2007-08-24 France Telecom Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant
US20090006081A1 (en) * 2007-06-27 2009-01-01 Samsung Electronics Co., Ltd. Method, medium and apparatus for encoding and/or decoding signal
JP5295372B2 (ja) * 2008-09-17 2013-09-18 フランス・テレコム デジタルオーディオ信号におけるプリエコーの減衰
JP5243661B2 (ja) * 2009-10-20 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ オーディオ信号符号器、オーディオ信号復号器、オーディオコンテンツの符号化表現を供給するための方法、オーディオコンテンツの復号化表現を供給するための方法、および低遅延アプリケーションにおける使用のためのコンピュータ・プログラム
MY166169A (en) * 2009-10-20 2018-06-07 Fraunhofer Ges Forschung Audio signal encoder,audio signal decoder,method for encoding or decoding an audio signal using an aliasing-cancellation
US8977546B2 (en) 2009-10-20 2015-03-10 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device and method for both
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
CN101908342B (zh) * 2010-07-23 2012-09-26 北京理工大学 利用频域滤波后处理进行音频暂态信号预回声抑制的方法
US8615394B1 (en) * 2012-01-27 2013-12-24 Audience, Inc. Restoration of noise-reduced speech
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
WO2016040885A1 (en) 2014-09-12 2016-03-17 Audience, Inc. Systems and methods for restoration of speech components
CN107210824A (zh) 2015-01-30 2017-09-26 美商楼氏电子有限公司 麦克风的环境切换
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3317470B2 (ja) * 1995-03-28 2002-08-26 日本電信電話株式会社 音響信号符号化方法、音響信号復号化方法
US5825320A (en) * 1996-03-19 1998-10-20 Sony Corporation Gain control method for audio encoding device
DE19736669C1 (de) * 1997-08-22 1998-10-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erfassen eines Anschlags in einem zeitdiskreten Audiosignal sowie Vorrichtung und Verfahren zum Codieren eines Audiosignals
US6169971B1 (en) * 1997-12-03 2001-01-02 Glenayre Electronics, Inc. Method to suppress noise in digital voice processing
US6415253B1 (en) * 1998-02-20 2002-07-02 Meta-C Corporation Method and apparatus for enhancing noise-corrupted speech
US6453289B1 (en) * 1998-07-24 2002-09-17 Hughes Electronics Corporation Method of noise reduction for speech codecs
US6442275B1 (en) * 1998-09-17 2002-08-27 Lucent Technologies Inc. Echo canceler including subband echo suppressor
US6353808B1 (en) * 1998-10-22 2002-03-05 Sony Corporation Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal
AU1352999A (en) * 1998-12-07 2000-06-26 Mitsubishi Denki Kabushiki Kaisha Sound decoding device and sound decoding method
US6978236B1 (en) * 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
US6757395B1 (en) * 2000-01-12 2004-06-29 Sonic Innovations, Inc. Noise reduction apparatus and method
US7058572B1 (en) * 2000-01-28 2006-06-06 Nortel Networks Limited Reducing acoustic noise in wireless and landline based telephony
FR2813722B1 (fr) * 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
JP4282227B2 (ja) * 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
SE522553C2 (sv) * 2001-04-23 2004-02-17 Ericsson Telefon Ab L M Bandbreddsutsträckning av akustiska signaler
US6658383B2 (en) * 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
DE60204038T2 (de) 2001-11-02 2006-01-19 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum codieren bzw. decodieren eines audiosignals
JP4290917B2 (ja) * 2002-02-08 2009-07-08 株式会社エヌ・ティ・ティ・ドコモ 復号装置、符号化装置、復号方法、及び、符号化方法
US7146316B2 (en) * 2002-10-17 2006-12-05 Clarity Technologies, Inc. Noise reduction in subbanded speech signals
KR100547113B1 (ko) * 2003-02-15 2006-01-26 삼성전자주식회사 오디오 데이터 인코딩 장치 및 방법
JP4739023B2 (ja) * 2003-08-18 2011-08-03 ニュアンス コミュニケーションズ オーストリア ゲーエムベーハー デジタル音声信号におけるクリッキングノイズ検出
DE602004020765D1 (de) * 2004-09-17 2009-06-04 Harman Becker Automotive Sys Bandbreitenerweiterung von bandbegrenzten Tonsignalen
RU2376657C2 (ru) * 2005-04-01 2009-12-20 Квэлкомм Инкорпорейтед Системы, способы и устройства для высокополосного предыскажения шкалы времени

Also Published As

Publication number Publication date
WO2006114368A1 (de) 2006-11-02
US20070282604A1 (en) 2007-12-06
CA2574468A1 (en) 2006-11-02
KR20070062493A (ko) 2007-06-15
KR100915726B1 (ko) 2009-09-04
DE502006004136D1 (de) 2009-08-13
CA2574468C (en) 2014-01-14
EP1869671A1 (de) 2007-12-26
JP4819881B2 (ja) 2011-11-24
EP1953739A2 (de) 2008-08-06
DK1869671T3 (da) 2009-10-19
ATE435481T1 (de) 2009-07-15
ES2327566T3 (es) 2009-10-30
JP2008539456A (ja) 2008-11-13
PL1869671T3 (pl) 2009-12-31
US8612236B2 (en) 2013-12-17
EP1869671B1 (de) 2009-07-01
EP1953739A3 (de) 2008-10-08

Similar Documents

Publication Publication Date Title
EP1953739B1 (de) Verfahren und Vorrichtung zur Geräuschsunterdrückung bei einem decodierten Signal
EP1145227B1 (de) Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals
EP0954909B1 (de) Verfahren zum codieren eines audiosignals
DE60214027T2 (de) Kodiervorrichtung und dekodiervorrichtung
EP1697930B1 (de) Vorrichtung und verfahren zum verarbeiten eines multikanalsignals
DE60303209T2 (de) Parametrische audiocodierung
EP1825461A1 (de) Verfahren und vorrichtung zur künstlichen erweiterung der bandbreite von sprachsignalen
EP1386307B1 (de) Verfahren und vorrichtung zur bestimmung eines qualitätsmasses eines audiosignals
EP1230827B1 (de) Verfahren und vorrichtung zum verarbeiten eines stereoaudiosignals
EP0978172B1 (de) Verfahren zum verschleiern von fehlern in einem audiodatenstrom
EP1023777B1 (de) Verfahren und vorrichtung zur erzeugung eines bitratenskalierbaren audio-datenstroms
DE102007007627A1 (de) Steganographie in digitalen Signal-Codierern
DE60311619T2 (de) Datenreduktion in Audiokodierern unter Ausnutzung nichtharmonischer Effekte
DE4211945C1 (de)
DE102004009949A1 (de) Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
EP0658874A1 (de) Verfahren und Schaltungsanordnung zur Vergrösserung der Bandbreite von schmalbandigen Sprachsignalen
DE112008003153B4 (de) Frequenzband-Bestimmungsverfahren zum Formen von Quantisierungsrauschen
DE102005032079A1 (de) Verfahren und Vorrichtung zur Geräuschunterdrückung
DE102005019863A1 (de) Verfahren und Vorrichtung zur Geräuschunterdrückung
DE102005000830A1 (de) Verfahren zur Bandbreitenerweiterung
DE10065363B4 (de) Vorrichtung und Verfahren zum Decodieren eines codierten Datensignals
DE4239506A1 (de) Verfahren zur bitratenreduzierenden Quellcodierung für die Übertragung und Speicherung von digitalen Tonsignalen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AC Divisional application: reference to earlier application

Ref document number: 1869671

Country of ref document: EP

Kind code of ref document: P

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

17P Request for examination filed

Effective date: 20090121

17Q First examination report despatched

Effective date: 20090223

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502006013787

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G10L0019140000

Ipc: G10L0019025000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 19/24 20130101ALI20131031BHEP

Ipc: G10L 21/0364 20130101ALI20131031BHEP

Ipc: G10L 19/025 20130101AFI20131031BHEP

INTG Intention to grant announced

Effective date: 20131118

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AC Divisional application: reference to earlier application

Ref document number: 1869671

Country of ref document: EP

Kind code of ref document: P

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 671452

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140615

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502006013787

Country of ref document: DE

Effective date: 20140710

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140905

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141006

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141004

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502006013787

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

26N No opposition filed

Effective date: 20150305

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502006013787

Country of ref document: DE

Effective date: 20150305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20150619

Year of fee payment: 10

Ref country code: GB

Payment date: 20150414

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20150415

Year of fee payment: 10

Ref country code: IT

Payment date: 20150428

Year of fee payment: 10

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150412

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150412

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 671452

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150412

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150412

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502006013787

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20160412

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20161230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161101

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160412

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160502

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160412

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20060412

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140604