EP2380169A1 - Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens - Google Patents

Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens

Info

Publication number
EP2380169A1
EP2380169A1 EP09807441A EP09807441A EP2380169A1 EP 2380169 A1 EP2380169 A1 EP 2380169A1 EP 09807441 A EP09807441 A EP 09807441A EP 09807441 A EP09807441 A EP 09807441A EP 2380169 A1 EP2380169 A1 EP 2380169A1
Authority
EP
European Patent Office
Prior art keywords
signal
reference signals
error signal
pulses
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP09807441A
Other languages
English (en)
French (fr)
Other versions
EP2380169B1 (de
Inventor
Stefan Schandl
Panji Setiawan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unify GmbH and Co KG
Original Assignee
Siemens Enterprise Communications GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Enterprise Communications GmbH and Co KG filed Critical Siemens Enterprise Communications GmbH and Co KG
Publication of EP2380169A1 publication Critical patent/EP2380169A1/de
Application granted granted Critical
Publication of EP2380169B1 publication Critical patent/EP2380169B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the invention relates to a method for the scalable improvement of the quality of a signal coding method
  • the audio signals to be transmitted are compressed by means of coding methods and decompressed after the transmission.
  • Such a coding method which is intended for transmission of a speech signal in a frequency range of 300 to 3400 Hz with a data rate of 8 kbit / s, is known, for example, from ITU-T Recommendation G.729.
  • the transmission of an extended frequency range from 50 Hz to
  • a so-called broadband voice codec provided for this purpose is, for example, in ITU-T Recommendation G.722. EV described.
  • the method uses subband adaptive differential pulse code modulation (SB-ADPCM) to encode audio signals.
  • SB-ADPCM subband adaptive differential pulse code modulation
  • the invention has for its object to provide a method for scalable improvement of the quality of a coding method according to the Subband Adaptive Differential Pulse Code principle.
  • the information about the reference signal with the minimum error signal is transmitted.
  • FIG. 2 shows the structure of a codec according to the invention
  • FIG. 3 shows the structure of a decoder according to the invention.
  • the reference signal according to FIG. 1 comprises a number of N discrete pulses ⁇ ⁇ n).
  • the Dirac pulses may have a predetermined number of amplitude values L.
  • FIG. 2 shows the structural design of an encoder according to the invention which, in addition to a conventional coder ADPCM according to the Subband Adaptive Differential Pulse Code principle according to IT-U Recommendation G.722, comprises means for generating reference signals which each have one for each stage of the extension Signal generator EHDSl, ... EHDSS for generating the reference signals c (n) and a control unit CB 1, ... CB S has.
  • the reference signals c (n) are compared with a digital error signal e H over a predetermined time interval, a so-called frame, which in a conventional coding method corresponds to IT-U recommen- tion G.722 was determined from an input signal to be coded and a prognosis signal.
  • the reference signal c (n) with the lowest error amount E n is now determined and the information about this signal is transmitted as additional information I ⁇ imin f • ⁇ iHSmin and used in the receiver for decoding the useful signal ,
  • the starting point is a sampling rate of 8 KHz and thus a duration of a sampling interval of 125 ⁇ sec.
  • the duration of a comparison section is 5 msec, the number of possible amplitude values L for the Dirac pulses is 2.
  • Fig. 3 shows the structure of a decoder according to the invention in the received signal from the I H, Im, IH 2 - the audio signal is obtained I HS - -.
  • the received signal includes the recovered with the invention, additional information Inimm / • • • I HS ⁇ H ⁇ depending on the number of selected channels in the expansion stages.

Abstract

Die Erfindung betrifft ein Verfahren zur skalierbaren Verbesserung der Qualität eines Codierungsverfahrens gemäß IT-U Recommendation G.722 mit folgenden Verfahrensschritten, - in einem iterativen Prozess mit einer vom Umfang der Erweiterung abhängigen Anzahl von Wiederholungsschritten wird ein aus einem zu codierenden Eingangssignal und einem Prognosesignal ermitteltes digitales Fehlersignal (E) abschnittsweise mit einer Anzahl von M*LN unterschiedlichen Referenzsignalen verglichen und daraus das Referenzsignal mit einem minimalen Fehlersignal eines vorgegebenen Fehlerkriteriums ermittelt, - die Referenzsignale sind jeweils aus äquidistanten Dirac-Impulsen δ(n) gemäß (I) aufgebaut, wobei off = [0.. M-1], den Abstand des ersten Impulses von einem Νullzeitpunkt angibt, α P ∈{α 0 ,α 1 ,..,α L-1 } den Amplitudenwert, M den Abstand zwischen den einzelnen Pulsen, Ν die Anzahl der Pulse und L die Anzahl der unterschiedlichen Pegel - Die Information über das Referenzsignal mit dem minimalen Fehlersignal wird übertragen.

Description

Beschreibung
Verfahren und Mittel zur skalierbaren Verbesserung der Qualität eines Signalcodierverfahrens
Die Erfindung betrifft ein Verfahren zur skalierbaren Verbesserung der Qualität eines Signalcodierverfahrens
In digitalen Kommunikationssystemen werden zur Reduktion der benötigen Datenraten die zu übertragenden Audiosignale mittels Kodierungsverfahren komprimiert und nach der Übertragung dekomprimiert .
Ein derartiges Codierverfahren, welches für eine Übertragung eines Sprachsignals in einem Frequenzbereich von 300 bis 3400 Hz mit einer Datenrate von 8 kbit/s vorgesehen ist, ist beispielsweise aus der ITU-T-Empfehlung G.729 bekannt.
Für die Übertragung mit einer höheren Qualität ist die Über- tragung eines erweiterten Frequenzbereiches von 50 Hz bis
7000 Hz bekannt. Ein hierfür vorgesehener, sogenannter breit- bandiger Sprach-Codec ist beispielsweise in der ITU-T- Empfehlung G.722. EV beschrieben.
Das Verfahren nutzt die sogenannte Subband- Adaptive Differential Pulse Code Modulation (SB-ADPCM) zur Codierung von Audiosignalen .
Zur weiteren Erhöhung der Qualität des übertragenen Audiosig- nales besteht die Forderung nach einem skalierbaren Codierungsverfahren .
Die Skalierbarkeit gestattet einerseits eine empfängerseitige Abwärtskompatibilität mit herkömmlichen Dekodierungsverfahren und andererseits bietet sie eine einfache Möglichkeit, im Falle von eingeschränkten Datenübertragungskapazitäten im Übertragungskanal eine sender- und empfängerseitige Anpassung der Datenrate und der Größe von übertragenen Datenrahmen vor- zunehmen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur skalierbaren Verbesserung der Qualität eines Codierungsverfahrens nach dem Subband- Adaptive Differential Pulse Code Prinzip anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst mit einem Verfahren zur skalierbaren Verbesserung der Qualität eines Codierungsverfahrens gemäß IT-U Recommendation G.722 mit folgenden Ver- fahrensschritten, in einem iterativen Prozess mit einer vom Umfang der Erweiterung abhängigen Anzahl von Wiederholungsschritten wird ein aus einem zu codierenden Eingangssignal und einem Prognosesignal ermitteltes digitales Fehlersignal abschnittsweise mit einer Anzahl von M*LN unterschiedlichen Referenzsignalen verglichen und daraus das Referenzsignal mit einem minimalen Fehlersignal hinsichtlich eines vorgegebenen Fehlerkriteriums ermittelt, die Referenzsignale c(n) sind jeweils aus äquidistanten Di- rac-Impulsen O\Yl) gemäß p~ aufgebaut, wobei off = [0 .. M-I], den Abstand des ersten Impulses von dem
u Begi-nn *des wVergl1ei•cKhsabKscvh,ni•*t-+t■es angi-Kb+t-, apμE toθ ax '--'CCL-) den Amplitudenwert , M den Abstand zwischen zwei einzelnen Pulsen, N die Anzahl der Pulse und L die Anzahl der unterschiedlichen Pegel ά ;
Die Information über das Referenzsignal mit dem minimalen Fehlersignal wird übertragen.
Dabei ist es vorteilhaft, wenn als Fehlerkriterium ein erweitertes Fehlersignal eHi(n) gemäß eHi(n)= eH -c(n) ermittelt wird und wenn über den Zeitraum des Vergleichab- Schnittes gemäß w=0 ein Fehlerbetrag ermittelt und zur Bestimmung des minimalen Fehlersignales herangezogen wird.
Vorteilhaft ist auch eine Anordnung zur Durchführung des erfindungsgemäßen Verfahrens, bei dem neben einem herkömmlichen Kodierer (ADPCM) nach dem Subband Adaptive Differential Pulse Code Prinzip gemäß IT-U Recommendation G.722 Mittel zur Erstellung von Referenzsignalen vorgesehen sind, die für jede Stufe der Erweiterung jeweils einen Signalgenerator EHDSl ,... EHDSS zur Erzeugung der Referenzsignale c(n) und eine Steuereinheit CB 1, ...CB S aufweisen.
Im Folgenden wird eine Ausführungsform des erfindungsgemäßen
Verfahrens anhand der Figuren erläutert.
Es zeigen beispielhaft:
Fig.l den Aufbau eines erfindungsgemäßen Referenzsignales
Fig. 2 die Struktur eines erfindungsgemäßen Codecs und Fig. 3 die Struktur eines erfindungsgemäßen Decoders. Das Referenzsignal gemäß Fig. 1 umfasst eine Anzahl von N Di- rac-Impulsen δ{n) . Die Abstände zwischen den einzelnen Impulsen betragen jeweils M Abtastperioden, der Abstand des ersten Impulses δ(l) vom Beginn des Vergleichsabschnittes beträgt off = [0 .. M-I] Abtastperioden. Die Dirac-Impulse können eine vorgegebene Anzahl von Amplitudenwerten L aufweisen.
Die mathematische Definition eines Referenzsignales ist wie folgt:
Durch Variation der Parameter Amplitudenwert OC mit L unterschiedlichen Werten und des Offsets off = [0 .. M-l]wird nun eine Gruppe mit einer Anzahl M-LN von unterschiedlichen Re- ferenzsignalen erzeugt.
Der erfindungsgemäße Vergleich der solcherart erhaltenen Referenzsignale c(n) wird anhand der Figuren 2 und 3 näher erläutert. Fig. 2 zeigt den strukturellen Aufbau eines erfin- dungsgemäßen Kodierers, der neben einem herkömmlichen Kodierer ADPCM nach dem Subband Adaptive Differential Pulse Code Prinzip gemäß IT-U Recommendation G.722 Mittel zur Erstellung von Referenzsignalen umfasst, die für jede Stufe der Erweiterung jeweils einen Signalgenerator EHDSl ,... EHDSS zur Er- zeugung der Referenzsignale c(n) und eine Steuereinheit CB 1, ...CB S aufweist.
Erfindungsgemäß werden die Referenzsignale c(n) über einen vorgegebenen zeitlichen Abschnitt, , ein sogenanntes Frame, mit einem digitalen Fehlersignal eH verglichen, welches in einem herkömmlichen Codierungsverfahren gemäß IT-U Recommen- dation G.722 aus einem zu codierenden Eingangssignal und einem Prognosesignal ermittelt wurde.
Daraus ergibt sich gemäß eHi(n)= eH -c(n) ein erweitertes Fehlersignal eHi(n) zu dem über den Zeitraum des Vergleichabschnittes gemäß
H=O
ein Fehlerbetrag ermittelt wird.
Mittels Steuereinheit CB 1, ...CB S wird nun das Referenzsignal c(n) mit dem geringsten Fehlerbetrag En ermittelt un- die Information über dieses Signal als zusätzliche Information Iπiminf • ■ • iHSmin übertragen und im Empfänger zur Dekodierung des Nutzsignales herangezogen.
Dabei haben sich in der Praxis für den Aufbau des Referenzsignales c(n) folgende Parameter bewährt.
Ausgangspunkt ist eine Abtastrate von 8 KHz und damit eine Dauer eines Abtastintervalles von 125 μsec. Die Dauer eines Vergleichsabschnittes beträgt 5 msec, die Anzahl der möglichen Amplitudenwerte L für die Dirac-Impulse beträgt 2. Die Zahl der Dirac-Impulse selbst in einem Vergleichsabschnitt beträgt N = 5. Der Abstand zwischen jeweils 2 Dirac-Impulsen beträgt M= 8 Abtastintervalle.
Der oben beschriebene Vergleichsvorgang der Referenzsignale c(n) mit dem digitalen Fehlersignal eH wird nun in Abhängig- keit von der gewählten Skalierung iterativ mehrfach wiederholt, was in der Fig.2 für den S- ten Wiederholungsvorgang durch einen Funktionsblock mit Signalgenerator EHDSS, Steuer- einheit CB S und zusätzliche Informationssignal IHSΠHΠ dargestellt ist.
Das heißt für den ersten Wiederholungsschritt, dass die Refe- renzsignale c(n) mit dem erweiterten ersten Fehlersignal eHi(n) verglichen und daraus ein erweitertes zweites Fehlersignal EH2(n) generiert wird. Dieser Vorgang wird typisch viermal wiederholt.
Fig. 3 zeigt die Struktur eines erfindungsgemäßen Dekoders in dem aus dem empfangenen Signal IH, Im, IH2- - - IHS das Audiosignal gewonnen wird. Das empfangene Signal umfasst neben dem Ausgangssignal IH des herkömmlichen Kodierers ADPCM die mit der Erfindung gewonnene zusätzliche Information Inimm/ • • • IHSΠHΠ in Abhängigkeit von der Anzahl der im Sender gewählten Erweiterungsstufen.
Dabei besteht ein wesentlicher Vorteil auch darin, dass nicht alle Informationen, die im empfangenen Signal vorhanden sind, auch tatsächlich ausgewertet werden müssen. So is es möglich, dass ein Empfänger mit nur einem herkömmlichen Dekoder Core Decoder ein Signal empfängt, welches auch die Zusatzinformationen iHiπunj ••• iHSmin enthält, diese aber für die Gewinnung des Audiosignales nicht heranzieht
Diese Möglichkeit wird als Abwärtskompatibilität bezeichnet.
Bei einem Empfänger, der die erfindungsgemäßen Erweiterungsstufen EDSl, EDS2, ... EDSS zur Dekodierung der Zusatzinfor- mationen IHIΠHΠ/ ••• IHSΠUΠ umfasst, wird hingegen das Signal in voller Qualität dekodiert, sofern nicht aus anderen Gründen eine Einschränkung geboten ist.

Claims

Patentansprüche
1. Verfahren zur skalierbaren Verbesserung der Qualität eines Codierungsverfahrens gemäß IT-U Recommendation G.722 mit folgenden Verfahrensschritten,
- in einem iterativen Prozess mit einer vom Umfang der Erweiterung abhängigen Anzahl von Wiederholungsschritten wird ein aus einem zu codierenden Eingangssignal und einem Prognosesignal ermitteltes digitales Fehlersignal (eH) abschnittsweise mit einer Anzahl von M*LN unterschiedlichen Referenzsignalen c(n) verglichen und daraus das Referenzsignal mit einem minimalen Fehlersignal hin- sichtlich eines vorgegebenen Fehlerkriteriums ermittelt,
- die Referenzsignale c(n) sind jeweils aus äquidistanten
Dirac-Impulsen uyVl) gemäß
P~ aufgebaut, wobei off = [0 .. M-I], den Abstand des ersten Impulses von dem Beginn des Vergleichsabschnittes angibt,
IXp OCo'tXi'-'tXi-i den Amplitudenwert , M den Abstand zwischen zwei einzelnen Pulsen, Ν die Anzahl der Pulse und L die Anzahl der unterschiedlichen Pegel ά ;
- Die Information (Immin* • • • iHSmm) über das Referenzsignal mit dem minimalen Fehlersignal wird übertragen.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Fehlerkriterium ein erweitertes Fehlersignal eHi(n) gemäß eHi(n)= eH -c(n) ermittelt wird und dass über den Zeitraum des Vergleichabschnittes gemäß
H=O ein Fehlerbetrag ermittelt und zur Bestimmung des minimalen Fehlersignales herangezogen wird.
3. Anordnung zur Durchführung des erfindungsgemäßen Verfahrens nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass neben einem herkömmlichen Kodierer (ADPCM) nach dem Subband Adaptive Differential Pulse Code Prinzip gemäß IT-U
Recommendation G.722 Mittel zur Erstellung von Referenzsignalen vorgesehen sind, die für jede Stufe der Erweiterung jeweils einen Signalgenerator EHDSl , ... EHDSS zur Erzeugung der Referenzsignale c(n) und eine Steuereinheit CB 1, ...CB S aufweisen.
EP09807441.2A 2008-12-19 2009-12-10 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens Active EP2380169B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA1982/2008A AT509439B1 (de) 2008-12-19 2008-12-19 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens
PCT/EP2009/008853 WO2010069513A1 (de) 2008-12-19 2009-12-10 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens

Publications (2)

Publication Number Publication Date
EP2380169A1 true EP2380169A1 (de) 2011-10-26
EP2380169B1 EP2380169B1 (de) 2015-12-09

Family

ID=41812891

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09807441.2A Active EP2380169B1 (de) 2008-12-19 2009-12-10 Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens

Country Status (6)

Country Link
US (1) US8774312B2 (de)
EP (1) EP2380169B1 (de)
CN (1) CN102257565B (de)
AT (1) AT509439B1 (de)
BR (1) BRPI0922993A2 (de)
WO (1) WO2010069513A1 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2481026B1 (de) * 1980-04-21 1984-06-15 France Etat
JP2598159B2 (ja) * 1990-08-28 1997-04-09 三菱電機株式会社 音声信号処理装置
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
KR100711989B1 (ko) * 2002-03-12 2007-05-02 노키아 코포레이션 효율적으로 개선된 스케일러블 오디오 부호화
KR100467326B1 (ko) * 2002-12-09 2005-01-24 학교법인연세대학교 추가 비트 할당 기법을 이용한 음성 부호화 및 복호화를위한 송수신기

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010069513A1 *

Also Published As

Publication number Publication date
CN102257565B (zh) 2013-05-29
EP2380169B1 (de) 2015-12-09
AT509439A1 (de) 2011-08-15
CN102257565A (zh) 2011-11-23
US20120014474A1 (en) 2012-01-19
WO2010069513A1 (de) 2010-06-24
AT509439B1 (de) 2013-05-15
BRPI0922993A2 (pt) 2016-01-26
US8774312B2 (en) 2014-07-08

Similar Documents

Publication Publication Date Title
DE19604273C2 (de) Verfahren und Vorrichtung zum Durchführen einer Suche in einem Kodebuch im Hinblick auf das Kodieren eines Klangsignales, Zellkommunikationssystem, Zellnetzwerkelement und mobile Zell-Sender-/Empfänger-Einheit
DE60219351T2 (de) Signaländerungsverfahren zur effizienten kodierung von sprachsignalen
DE60133757T2 (de) Verfahren und vorrichtung zur kodierung von stimmloser sprache
DE69731588T2 (de) Coderienrichtung mit verringerter komplexität für ein signalübertragungssystem
DE102008042579B4 (de) Verfahren zur Fehlerverdeckung bei fehlerhafter Übertragung von Sprachdaten
EP1979901A1 (de) Verfahren und anordnungen zur audiosignalkodierung
WO1993008656A1 (de) Verfahren zum übertragen oder speichern eines aus einer folge von informationsblöcken bestehenden digitalisierten, encodierten tonsignals über störbehaftete kanäle
DE602005003358T2 (de) Audiokodierung
EP2385521A1 (de) Steganographie in digitalen Signal-Codierern
WO2009103608A1 (de) Verfahren und mittel zur enkodierung von hintergrundrauschinformationen
DE602004012600T2 (de) Transcodierung zwischen den indizes von mehrimpuls-wörterbüchern zur codierung bei der digitalen signalkomprimierung
EP1023777B1 (de) Verfahren und vorrichtung zur erzeugung eines bitratenskalierbaren audio-datenstroms
EP1080464A1 (de) Verfahren und anordnung zur sprachcodierung
EP0988728A2 (de) Quellengesteuerte kanaldecodierung durch verwendung der intra-rahmen-korrelation
DE69922388T2 (de) Linear-prädiktives Analyse-durch-Synthese-Kodierverfahren und Kodierer
DE2303497C2 (de) Verfahren zur Übertragung von Sprachsignalen
EP2380169B1 (de) Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens
DE4231918C1 (de) Verfahren für die Codierung von Sprachsignalen
WO2009103609A1 (de) Verfahren und mittel zur dekodierung von hintergrundrauschinformationen
DE19735675C2 (de) Verfahren zum Verschleiern von Fehlern in einem Audiodatenstrom
EP0697123A1 (de) Verfahren zur aufbereitung von daten, insbesondere von codierten sprachsignalparametern
DE4229372C2 (de) Verfahren zum Übertragen oder Speichern der Quantisierungsinformation bei einer bitratenreduzierenden Quellcodierung
EP1834322B1 (de) Verfahren zum codieren eines analogen signals
DE10102173A1 (de) Verfahren und Anordnung zum Umsetzen von parametrisch codier-ten Sprachsignalen verschiedener Bandbreite in Sprachsignale
EP0449043A2 (de) Verfahren und Vorrichtung zur Sprachdigitalisierung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110718

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SETIAWAN, PANJI

Inventor name: SCHANDL, STEFAN

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIFY GMBH & CO. KG

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502009011906

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G10L0019140000

Ipc: G10L0019240000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 19/24 20130101AFI20150330BHEP

INTG Intention to grant announced

Effective date: 20150429

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SETIAWAN, PANJI

Inventor name: SCHANDL, STEFAN

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150630

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 764877

Country of ref document: AT

Kind code of ref document: T

Effective date: 20151215

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009011906

Country of ref document: DE

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160309

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160409

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160411

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009011906

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502009011906

Country of ref document: DE

Representative=s name: SCHAAFHAUSEN PATENTANWAELTE PARTNERSCHAFTSGESE, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 502009011906

Country of ref document: DE

Representative=s name: FRITZSCHE PATENTANWAELTE, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502009011906

Country of ref document: DE

Owner name: UNIFY GMBH & CO. KG, DE

Free format text: FORMER OWNER: UNIFY GMBH & CO. KG, 81379 MUENCHEN, DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: UNIFY GMBH & CO. KG

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151210

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151231

26N No opposition filed

Effective date: 20160912

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 764877

Country of ref document: AT

Kind code of ref document: T

Effective date: 20151210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151210

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20091210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20151210

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151209

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502009011906

Country of ref document: DE

Representative=s name: SCHAAFHAUSEN PATENTANWAELTE PARTNERSCHAFTSGESE, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231220

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231219

Year of fee payment: 15

Ref country code: DE

Payment date: 20231214

Year of fee payment: 15