CN101668271A - 能够修改在电话呼叫中传送的语音的通信终端 - Google Patents

能够修改在电话呼叫中传送的语音的通信终端 Download PDF

Info

Publication number
CN101668271A
CN101668271A CN200910173079A CN200910173079A CN101668271A CN 101668271 A CN101668271 A CN 101668271A CN 200910173079 A CN200910173079 A CN 200910173079A CN 200910173079 A CN200910173079 A CN 200910173079A CN 101668271 A CN101668271 A CN 101668271A
Authority
CN
China
Prior art keywords
revising
parameter
terminal
reconstruction parameter
voice signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910173079A
Other languages
English (en)
Other versions
CN101668271B (zh
Inventor
皮埃尔·博纳尔
伊凡·布尔梅斯特
哈维尔·富尔坎
皮埃尔·拉杜斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCT Mobile Ltd
Original Assignee
TCT Mobile Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCT Mobile Ltd filed Critical TCT Mobile Ltd
Publication of CN101668271A publication Critical patent/CN101668271A/zh
Application granted granted Critical
Publication of CN101668271B publication Critical patent/CN101668271B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

通信终端从终端的用户接收模拟语音信号，并把模拟语音信号转换成数字信号。语音编码器对语音信号应用源编码，并从语音信号抽取重构参数。修改重构参数，以便修改与信号相联系的传送声音。

Description

能够修改在电话呼叫中传送的语音的通信终端
技术领域
本发明涉及一种能够修改在电话呼叫中传送的语音的通信终端，更具体地说适合于移动电话系统。
背景技术
虽然语音传输仍然是移动电话技术的核心，不过事实是制造商试图通过向消费者提供新的诱人并且有趣的服务，区分他们的产品。游戏、和语音识别相关的服务和铃声的多样性是这些新服务的一些例子。
这些新服务通常意味着与附加软件或硬件相关的电话机的附加成本。
本发明的目的是提供一种通信终端，它能够提供修改终端的用户在电话呼叫中传送的语音的诱人且有趣的服务，所述服务的实现方式简单并且经济。
发明内容
为此，本发明提出一种通信终端，包括由终端的用户输入模拟语音信号的装置，把模拟语音信号转换成数字信号的装置，对语音信号应用源编码并包括从语音信号抽取重构参数的装置的语音编码器，和修改重构参数从而修改与信号相联系的传送语音的装置。
本发明通过利用电话机中已有的用于语音编码的语音编码器，简单并且经济地实现修改移动电话机传送的语音的服务。重构参数代表要传送的语音，修改重构参数直接影响传送的语音的宏亮度。
修改重构参数的装置最好包括修改代表语音的基本频率的参数的装置。
在一个实施例中，语音信号的源编码是RPE-LTP编码(规则脉冲激励长期预测编码)。
修改重构参数的装置最好包括修改语音编码器的短期滤波器参数的装置。
短期滤波器参数是，例如在RPE-LTP编码内确定的称为对数域比率(LAR)系数的反射系数。
在一种变型中，修改重构参数的装置包括修改语音编码器的长期滤波器参数的装置。
一个长期滤波器参数是，例如与利用RPE-LTP编码的特定音调相关的基本频率。
修改重构参数的装置最好包括修改与编码器激励幅度相关的参数的装置。
与激励幅度相关的参数可以是，例如定义在RPE-LTP编码内确定的脉冲激发信号的参数。
在一个实施例中，修改重构参数的装置包括根据代表由其频率和相应的持续时间定义的一组律音的编码数据修改参数的装置。
终端最好包括选择要传送的声音的修改类型的装置。
终端最好包括手动配置语音信号的重构参数的修改的装置。
在一个实施例中，终端包括以测试模式执行修改的装置。
终端最好是移动电话机。
根据本发明的一个实施例的下述说明，本发明的其它特征和优点将是显而易见的，所述一个实施例是作为说明性和非限制性例子给出的。
附图说明
图1表示根据本发明的通信终端。
图2表示在根据本发明的通信终端中使用的，采用符合GSM标准06.10的RPE-LTP编码的语音编码和修改装置。
具体实施方式
附图中相同的部件由相同的附图标记表示。
图1表示根据本发明的通信终端8，例如移动电话机。
终端8包括麦克风9，模-数转换器10，语音编码器11，数据格式化器12，修改语音重构参数的装置13，选择要传送语音的修改类型的装置14，手动配置语音信号重构参数的修改的装置15，和以测试模式执行修改的装置16。
下面参考图2说明语音编码器11，数据格式化器12和修改语音重构参数的装置13。
图2表示执行符合GSM标准06.10的RPE-LTP编码的语音编码器11，数据流格式化器12和修改语音重构参数的装置13。用可编程处理器(未示出)执行的软件实现语音编码器11，格式化器12和装置13。
语音编码器11包括确定LAR反射系数的装置2，确定语音的基本频率的装置3，和根据采样信号S确定脉冲激发信号的装置4。
RPE-LTP编码把语音信号模拟为其参数随着时间而变化并且由脉冲信号激发的线性滤波器。于是显然这种编码的目的是确定脉冲激发信号、定义线性滤波器的参数、以及要传送的语音的基本频率。这种语音编码在300Hz-3400Hz的频带中在20ms帧内工作。线性滤波器分成两部分：第一部分考虑语音信号的短期相关性，第二部分考虑语音信号的长期相关性。下面把这两部分称为短期滤波器和长期滤波器。
信号S构成以8kHz采样的20ms语音帧。
装置2确定短期滤波器的LAR反射系数。为此，对滤波信号应用Durbin算法，以便从其获得线性预测。Durbin算法产生称为LAR系数并且以对数域比率(LAR)对数刻度表示的从-1到1的10个反射系数。
确定语音的基本频率的装置3使用5ms帧内与长期滤波器相关的预测方法，并再现与从56Hz到444Hz的音调P和扬声器的特性相关的基本频率，以及和基本频率相关的增益。
装置4确定脉冲激发信号I。
装置2、3和4供给的用于20ms帧的所有数据由产生编码语音信号C的数据流格式化器12格式化。
当确定了上述参数时，通过修改参数LAR、P和I，可对语音产生不同的效果。修改装置13可修改这些参数。
从而，修改装置13可以只修改与基本频率相关的音调的数值，以便把男声变成女声。为此，各帧的音调值P被修改成数值Min(P+Peffect，Max(P))，这里Peffect是预定值，例如90Hz，Max(P)是标准系统接受的最大音调值。男声具有约为120Hz的音调值，而女声具有约为210Hz的音调值。
修改装置13可按照类似的方式把女声变成男声。为此，把各帧的音调值P修改成数值Max(P-Peffect，Min(P))，这里Peffect是90Hz的预定值，Min(P)是标准系统接受的最小音调值。
如果装置13修改音调和增益，还可获得耳语效果。为此，修改装置13增大音调，并降低增益，从而通过降低声音和弦的振动效果，显著改变长期滤波器的输出信号。LAR参数保持不变。
如果装置13修改长期滤波器的参数，还可获得机器人语音效果。为此，音调被设置成相对较高的数值。就低语效果而论，“韵律”(即表征口语的声音元素的组合)完全被修改，并被转变成具有单一基本频率和未发生变化的LAR参数的单调声音。
语音编码器的参数的另一显著特性在于，由于LAR参数代表与语音的产生相关的发声道和鼻道，可借助“全极”共振滤波器模拟这两个管道，每极代表一个共振频率。由于语音的产生涉及发声道和鼻道，因此修改装置13可修改这些参数，从而元音如同鼻子堵塞的人的元音那样共振。
发声道和鼻道都可用一个全极滤波器模拟，但是这两个滤波器的总和并不具有全极特性。为了以一个全极滤波器的形式模拟这两个管道的组合，必须通过把这两极并排放置，构建零点。这零点代表鼻腔对声腔的影响。
通过把这两个并排电极移动到相互靠近，修改装置13降低鼻腔的影响，从而对声音赋予“鼻伤风”效果。
参数也可根据代表由其频率和其相应持续时间限定的一组律音的编码数据而被修改。从而，修改的声音可遵守以限定一组“频率，持续时间”对的编码格式定义的乐谱，从而具有歌唱效果。乐谱被提供给修改重构参数的装置13。乐谱可使用音乐编码格式，例如MIDI格式、
Figure G2009101730797D00051
SMAF格式、多音EMR R5格式、来自红外移动通信(IrMC)的IrDA iMelody格式，或者其它任意矢量描述音乐格式。如果需要，在预处理步骤中自动转录乐谱，从而律音的频率在[56Hz，444Hz]的范围中。
用持续时间和频率说明律音，并且每个律音对应于一个开始日期，一个终止日期和一个频率。修改装置13修改5ms语音帧，从而语音的音调等于同时的对应律音的频率。
一般借助数据流格式化器和修改参数的修改装置13之间的交换，修改参数。然而，也可设想在语音编码器11直接修改参数。
图1中，用户可通过选择修改类型的选择装置14，选择要传送的声音效果的所需类型。用户也可通过装置15手动配置语音信号重构参数的修改。例如，他可通过自己设置Peffect的数值，把修改后的音调的数值改变为Min(P+Peffect，Max(P))，以便把男声变成女声。他也可借助装置16，试验获得的效果，装置16使他能够执行利用他已设置的参数选择的修改。
在移动呼叫中，用户的语音首先被采样，并由装置9数字化。随后由语音编码器11编码，语音编码器11实现参考图1说明的步骤7。
随后格式化器12以借助语音编码器11获得的语音重构参数的形式，格式化编码语音。
在装置14、15和16的控制下，修改装置13随后修改格式化后的语音重构参数，以便获得用户所需的效果。修改后的参数随后被转发给装置12，随后通过通信网络被发送给另一方，或者以测试方式由用户执行。
也可设想由修改装置13直接在装置11直接修改重构参数。
当然，本发明并不局限于上面描述的实施例。
特别地，所述实施例涉及RPE-LTP源编码，但是也可设想其它任意形式的源编码，例如ETS 300 726 GSM EFR(增强全速率)编码和3GPP TS 26.071 AM(自适应多速率)编码。

Claims (18)

1.一种通信终端(8)，包括用于输入代表所述终端的用户语音的模拟语音信号的输入装置(9)，把所述模拟语音信号转换成数字语音信号(S)的转换装置(10)，对所述数字语音信号(S)应用源编码并包括用于从所述数字语音信号(S)抽取重构参数(LAR，P，I)的软件抽取装置(2，3，4)的语音编码器(11)，以及格式化器(12)，该格式化器根据所述修改的重构参数输出编码的语音信号(C)，其特征在于所述通信终端还包括用于修改所述重构参数以便修改与所述编码的语音信号(C)相联系的传送声音的软件装置(13)。
2.按照权利要求1所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改代表声音的基本频率的参数的装置。
3.按照权利要求1所述的终端(8)，其中所述语音信号的所述源编码是RPE-LTP编码。
4.按照权利要求2所述的终端(8)，其中所述语音信号的所述源编码是RPE-LTP编码。
5.按照权利要求1所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改所述语音编码器的短期滤波器参数的装置。
6.按照权利要求2-4的其中之一所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改所述语音编码器的短期滤波器参数的装置。
7.按照权利要求1所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改与激励幅度相关的参数的装置。
8.按照权利要求2-5的其中之一所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改与激励幅度相关的参数的装置。
9.按照权利要求6所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改与激励幅度相关的参数的装置。
10.按照权利要求1所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改所述语音编码器的长期滤波器参数的装置。
11.按照权利要求2，3，5，7的其中之一所述的终端(8)，其中修改所述重构参数的所述装置(13)包括修改所述语音编码器的长期滤波器参数的装置。
12.按照权利要求1所述的终端(8)，其中修改所述重构参数的所述装置(13)包括根据代表由其频率和其相应持续时间定义的一组律音的编码数据修改所述参数的装置。
13.按照权利要求2，3，5，7，10的其中之一所述的终端(8)，其中修改所述重构参数的所述装置(13)包括根据代表由其频率和其相应持续时间定义的一组律音的编码数据修改所述参数的装置。
14.按照权利要求1-3，5，7，10，12的其中之一所述的终端(8)，包括选择要传送的声音的修改类型的装置(14)。
15.按照权利要求1所述的终端(8)，包括手动配置语音信号的所述重构参数的修改的装置(15)。
16.按照权利要求2，3，5，12的其中之一所述的终端(8)，包括手动配置语音信号的所述重构参数的修改的装置(15)。
17.按照权利要求1-3，5，15的其中之一所述的终端(8)，包括以测试模式执行所述修改的装置(16)。
18.按照权利要求1所述的终端(8)，其中所述终端是移动电话机。
CN2009101730797A 2002-05-16 2003-05-15 能够修改在电话呼叫中传送的语音的通信终端 Expired - Fee Related CN101668271B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0206035 2002-05-16
FR0206035A FR2839836B1 (fr) 2002-05-16 2002-05-16 Terminal de telecommunication permettant de modifier la voix transmise lors d'une communication telephonique

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA031368166A Division CN1474622A (zh) 2002-05-16 2003-05-15 能够修改在电话呼叫中传送的语音的通信终端

Publications (2)

Publication Number Publication Date
CN101668271A true CN101668271A (zh) 2010-03-10
CN101668271B CN101668271B (zh) 2012-06-13

Family

ID=29266109

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2009101730797A Expired - Fee Related CN101668271B (zh) 2002-05-16 2003-05-15 能够修改在电话呼叫中传送的语音的通信终端
CNA031368166A Pending CN1474622A (zh) 2002-05-16 2003-05-15 能够修改在电话呼叫中传送的语音的通信终端

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNA031368166A Pending CN1474622A (zh) 2002-05-16 2003-05-15 能够修改在电话呼叫中传送的语音的通信终端

Country Status (8)

Country Link
US (1) US7796748B2 (zh)
EP (1) EP1363272B1 (zh)
CN (2) CN101668271B (zh)
AT (1) ATE370496T1 (zh)
DE (1) DE60315544T2 (zh)
ES (1) ES2292919T3 (zh)
FR (1) FR2839836B1 (zh)
PT (1) PT1363272E (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503965A (zh) * 2019-08-29 2019-11-26 珠海格力电器股份有限公司 一种调制解调器语音编解码器的选择方法和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2852778B1 (fr) * 2003-03-21 2005-07-22 Cit Alcatel Terminal de telecommunication
JP2006333057A (ja) * 2005-05-26 2006-12-07 Nec Corp ボイスチェンジャ付電話機およびその制御方法並びに制御プログラム
JP4445536B2 (ja) * 2007-09-21 2010-04-07 株式会社東芝 移動無線端末装置、音声変換方法およびプログラム
EP2345352A1 (en) * 2010-01-19 2011-07-20 Nestec S.A. Method for providing information to a user from a capsule for the preparation of a beverage using a code
CN103903627B (zh) * 2012-12-27 2018-06-19 中兴通讯股份有限公司 一种语音数据的传输方法及装置
US20140195222A1 (en) * 2013-01-07 2014-07-10 Microsoft Corporation Speech Modification for Distributed Story Reading
US9613620B2 (en) * 2014-07-03 2017-04-04 Google Inc. Methods and systems for voice conversion

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4823380A (en) * 1987-03-27 1989-04-18 Chaim Kohen Voice changer
US4868867A (en) * 1987-04-06 1989-09-19 Voicecraft Inc. Vector excitation speech or audio coder for transmission or storage
US5255339A (en) * 1991-07-19 1993-10-19 Motorola, Inc. Low bit rate vocoder means and method
US5526464A (en) * 1993-04-29 1996-06-11 Northern Telecom Limited Reducing search complexity for code-excited linear prediction (CELP) coding
US5956685A (en) * 1994-09-12 1999-09-21 Arcadia, Inc. Sound characteristic converter, sound-label association apparatus and method therefor
US5567901A (en) * 1995-01-18 1996-10-22 Ivl Technologies Ltd. Method and apparatus for changing the timbre and/or pitch of audio signals
US5692101A (en) * 1995-11-20 1997-11-25 Motorola, Inc. Speech coding method and apparatus using mean squared error modifier for selected speech coder parameters using VSELP techniques
JP3357795B2 (ja) * 1996-08-16 2002-12-16 株式会社東芝 音声符号化方法および装置
JP3707153B2 (ja) * 1996-09-24 2005-10-19 ソニー株式会社 ベクトル量子化方法、音声符号化方法及び装置
JPH10153998A (ja) * 1996-09-24 1998-06-09 Nippon Telegr & Teleph Corp <Ntt> 補助情報利用型音声合成方法、この方法を実施する手順を記録した記録媒体、およびこの方法を実施する装置
ATE277405T1 (de) * 1997-01-27 2004-10-15 Microsoft Corp Stimmumwandlung
SE516595C2 (sv) * 1998-03-13 2002-02-05 Ericsson Telefon Ab L M Kommunikationsanordning och arbetssätt för behandling av röstmeddelanden
JPH11289361A (ja) * 1998-04-03 1999-10-19 Nec Corp 携帯電話装置
FI981508A (fi) * 1998-06-30 1999-12-31 Nokia Mobile Phones Ltd Menetelmä, laite ja järjestelmä käyttäjän tilan arvioimiseksi
US6463128B1 (en) * 1999-09-29 2002-10-08 Denso Corporation Adjustable coding detection in a portable telephone
KR20010065803A (ko) * 1999-12-30 2001-07-11 윤종용 휴대 전화 단말 장치의 통화중 음색 변환 방법
US20030028380A1 (en) * 2000-02-02 2003-02-06 Freeland Warwick Peter Speech system
US7006787B1 (en) * 2000-02-14 2006-02-28 Lucent Technologies Inc. Mobile to mobile digital wireless connection having enhanced voice quality
US20030135374A1 (en) * 2002-01-16 2003-07-17 Hardwick John C. Speech synthesizer

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503965A (zh) * 2019-08-29 2019-11-26 珠海格力电器股份有限公司 一种调制解调器语音编解码器的选择方法和存储介质
CN110503965B (zh) * 2019-08-29 2021-09-14 珠海格力电器股份有限公司 一种调制解调器语音编解码器的选择方法和存储介质

Also Published As

Publication number Publication date
PT1363272E (pt) 2007-11-05
EP1363272A1 (fr) 2003-11-19
CN101668271B (zh) 2012-06-13
DE60315544D1 (de) 2007-09-27
FR2839836A1 (fr) 2003-11-21
FR2839836B1 (fr) 2004-09-10
ATE370496T1 (de) 2007-09-15
ES2292919T3 (es) 2008-03-16
DE60315544T2 (de) 2008-05-15
US20030215085A1 (en) 2003-11-20
EP1363272B1 (fr) 2007-08-15
CN1474622A (zh) 2004-02-11
US7796748B2 (en) 2010-09-14

Similar Documents

Publication Publication Date Title
Chu Speech coding algorithms: foundation and evolution of standardized coders
US6615169B1 (en) High frequency enhancement layer coding in wideband speech codec
CN1912994B (zh) 语音的声调校正
CN1742321B (zh) 韵律模仿合成方法和装置
CN110085245B (zh) 一种基于声学特征转换的语音清晰度增强方法
CN103903627A (zh) 一种语音数据的传输方法及装置
US6516298B1 (en) System and method for synthesizing multiplexed speech and text at a receiving terminal
GB2480538A (en) Real time correction of mispronunciation of a non-native speaker
US20040138879A1 (en) Voice modulation apparatus and method
CN101668271B (zh) 能够修改在电话呼叫中传送的语音的通信终端
US6738457B1 (en) Voice processing system
CN109599094A (zh) 声音美容与情感修饰的方法
JPH07509077A (ja) スピーチを変換する方法
CN1262577A (zh) 无线语音信道上发送数据的方法
CN100490454C (zh) 音频装置和电信终端
JP2000356995A (ja) 音声通信システム
Westall et al. Speech technology for telecommunications
EP1271469A1 (en) Method for generating personality patterns and for synthesizing speech
Laaksonen Artificial bandwidth extension of narrowband speech-enhanced speech quality and intelligibility in mobile devices
CN111194545A (zh) 一种移动通讯设备通话时改变原始声音的方法和系统
WO2001059758A1 (en) Electrolaryngeal speech enhancement for telephony
Flanagan Parametric representation of speech signals [dsp history]
WO2007015319A1 (ja) 音声出力装置、音声通信装置および音声出力方法
CN114863942B (zh) 音质转换的模型训练方法、提升语音音质的方法及装置
Juang et al. Deployable automatic speech recognition systems: Advances and challenges

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120613

Termination date: 20170515

CF01 Termination of patent right due to non-payment of annual fee