CN1936889A - 动画生成系统以及方法 - Google Patents

动画生成系统以及方法 Download PDF

Info

Publication number
CN1936889A
CN1936889A CN 200510103170 CN200510103170A CN1936889A CN 1936889 A CN1936889 A CN 1936889A CN 200510103170 CN200510103170 CN 200510103170 CN 200510103170 A CN200510103170 A CN 200510103170A CN 1936889 A CN1936889 A CN 1936889A
Authority
CN
China
Prior art keywords
sound
bag unit
sound signal
pronunciation
cartoon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200510103170
Other languages
English (en)
Other versions
CN100386760C (zh
Inventor
沈红莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Culture com Technology Macau Ltd
Original Assignee
Culture com Technology Macau Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Culture com Technology Macau Ltd filed Critical Culture com Technology Macau Ltd
Priority to CNB2005101031703A priority Critical patent/CN100386760C/zh
Publication of CN1936889A publication Critical patent/CN1936889A/zh
Application granted granted Critical
Publication of CN100386760C publication Critical patent/CN100386760C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种动画生成系统以及方法,应用在动画制作应用程序中,该系统包括数据库、解析模块、识别模块以及输出模块;数据库预先储存音频解析规则、音包单元与发音对应表以及发音与动画口型参数对应表,通过解析机制将音频信号解析成至少一个音包单元,再识别该音包单元所代表的发音,接着撷取出对应该发音的口型参数并输出到该动画制作应用程序;本发明的动画生成系统以及方法通过数据库、解析、识别与输出机制,动画制作应用程序的口型动画的形成是依据相对应的音频信号,能大幅提高口型动画与音频信号的结合度与准确性,降低配音技术门槛,提高配音效率,降低配音成本。

Description

动画生成系统以及方法
技术领域
本发明是关于一种动画生成系统以及方法,特别是关于一种应用在动画制作应用程序中的动画生成系统与方法。
背景技术
随着信息科技与网络通信等多媒体传播、制作技术的提高,以往仅能通过纸笔才能产生著作物的时代已不复存在。利用信息科技与网络通信进行文字、音乐、图画或电影等著作物的创作,早已成为一股无法抵挡的潮流,其中又以利用如工作站、个人计算机等数据处理装置辅助创作最为普遍。
以动画创作为例,早期动画是用实体的纸笔作画,通过摄影技术将一张张图片以每秒数十页的方式呈现。现今利用数据处理装置并通过动画制作应用程序制作出的计算机动画,则不需要通过实体的纸笔即能产生二维或三维的动画。但无论是传统动画或计算机动画,若要使其中的角色能够「发声」,都必须通过配音员在动画制作完成后以「对口型」的方式,依据剧本内容搭配动画角色的口型说话或发声。
具体而言,在现有动画制作过程中,制作者必须预先设想动画角色在某一时间点必须说出什么话或发出什么声音,之后在制作动画角色时画出对应的口型。最后再通过配音员的对口型配音,才能赋与动画角色自己的「声音」。
上述现有动画配音方式,存在着许多缺点。例如,配音员必须先熟记动画角色嘴巴的口型,再配合该动画角色嘴巴的口型说话或发出声音。一旦配音内容无法与口型配合,即会产生动作与声音不协调的结果,必须重新配音,进而造成动画制作进度的落后及成本增加。此外,用配音员配合动画角色口型的配音方式,要求配音员具有相当的配音经验与技巧,因为一方面要表现出动画角色的情感另一方面又要对口配音并非易事,增加了一般人执行配音工作的难度。再者,在动画制作的过程中,动画制作者创作的口型相当单调,通常是依据说话的字数控制动画角色的口型闭合次数,最多配合动画角色特别的发音,例如大叫、大笑等画出特别的口型,因而欠缺动画角色表现的精细度。
综上所述,现有动画生成技术,特别是动画角色口型的生成以及后制配音模式的结合,存在动画角色口型不精确、配音技术门槛过高以及配音效率与成本过高等缺点。
因此,如何能够提供一种可以增进动画角色口型精确度、降低配音技术门槛以及提高配音效率并降低配音成本的动画生成技术,成为目前需要解决的课题。
发明内容
为解决上述现有技术的种种缺点,本发明的主要目的在于提供一种能增进动画角色口型精确度的动画生成系统以及方法。
本发明的另一目的在于提供一种能降低配音技术门槛的动画生成系统以及方法。
本发明的又一目的在于提供一种能提高配音效率的动画生成系统以及方法。
本发明的再一目的在于提供一种能降低配音成本的动画生成系统以及方法。
为达成上述以及其它目的,本发明的动画生成系统应用在动画制作应用程序中,该动画生成系统包括:数据库,储存音频信号解析规则、音包单元与发音对应表以及发音与动画口型参数对应表;解析模块,依据该音频信号解析规则,将接收到的音频信号解析成至少一个音包单元;识别模块,依据该音包单元与发音对应表,识别该音包单元所代表的发音;以及输出模块,依据该发音与动画口型参数对应表,撷取出对应该发音的口型参数并输出到该动画制作应用程序。
在本发明中,该解析模块是依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,再将该原始波形解析成至少一个音包单元。该解析模块是依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,也可以是先将该原始波形分段切割成多个波形段落,再将各该波形段落分别解析成至少一个音包单元。
通过上述动画生成系统,执行本发明的动画生成方法包括:建立至少包括音频信号解析规则、音包单元与发音对应表以及发音与动画口型参数对应表的数据库;依据该音频信号解析规则,将接收到的音频信号解析成至少一个音包单元;依据该音包单元与发音对应表,识别该音包单元所代表的发音;以及依据该发音与动画口型参数对应表,撷取出对应该发音的口型参数并输出到该动画制作应用程序。
在本发明中,上述依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元的步骤,是将该接收到的音频信号转换成该音频信号的原始波形后,再将该原始波形解析成至少一个音包单元。上述依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元的步骤,是依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,也可以是先将该原始波形分段切割成多个波形段落,再将各该波形段落分别解析成至少一个音包单元。
与现有技术相比,本发明的动画生成系统以及方法通过数据库、解析、识别与输出机制,动画制作应用程序的口型动画的形成是依据相对应的音频信号,能大幅提高口型动画与音频信号的结合度与准确性,降低配音技术门槛,提高配音效率,降低配音成本。
附图说明
图1是本发明动画生成系统的应用结构示意图;
图2A是音频转换后的原始波形示意图;
图2B是原始波形切割成不同段落的示意图;
图2C是原始波形切割成音包单元的示意图;
图3是音包单元与发音对应表的示意图;
图4是发音与动画口型参数对应表的示意图;以及
图5是通过本发明的动画生成系统执行本发明的动画生成方法时的流程图。
具体实施方式
实施例
请参阅图1,它是本发明的动画生成系统的应用结构示意图。如图所示,本发明的动画生成系统1包括:数据库10、解析模块12、识别模块14以及输出模块16。
在本实施例中,本发明的动画生成系统1应用在动画制作应用程序2中。该动画制作应用程序2至少可接受使用者以输入参数的方式设计动画角色局部或全部特征。更具体而言,该局部或全部特征是动画角色的口型。
此外,该动画制作应用程序2是在数据处理装置3中执行,该数据处理装置3可以是工作站、个人计算机、笔记本型计算机、个人数字助理等具有数据处理功能的装置。
该数据库10储存有音频信号解析规则、音包单元与发音对应表以及发音与动画口型参数对应表。在本实施例中,该音频信号解析规则包括:将音频信号转换成原始波形的规则、将该原始波形分段切割成多个波形段落的规则以及将该原始波形解析成相对应的音包单元的规则。该音包单元与发音对应表包括各种型态的音包单元及其相对应的文字。须特别说明的是,在本实施例中,该音包单元是指一段原始波形中能够切割出的最小且有意义的单元。例如,该原始波形是一句话「动画生成系统以及方法」,则该原始波形分别包括「动」、「画」、「生」、「成」、「系」、「统」、「以」、「及」、「方」及「法」等音包单元。
另一方面,在本实施例中,相同波形段落具有相同的音包单元型态,换言之,同音字具有相同型态的音包单元。例如,「动」、「栋」、「洞」、「冻」与「恫」具有相同型态的音包单元。因此,该发音与动画口型参数对应表中,同音字由于具有相同型态的音包单元,所以也共享相同的动画口型参数。
该解析模块12依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元。在本实施例中,该解析模块12依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,将该原始波形分段切割成多个波形段落,再将各该波形段落分别解析成至少一个音包单元。承前所述,在本实施例中,该音频信号解析规则包括:将音频信号转换成原始波形的规则、将该原始波形分段切割成多个波形段落的规则以及将该原始波形解析成相对应的音包单元的规则。
因此,若使用者通过与该数据处理装置3相连接的音频输入装置30,例如麦克风等,输入一个句子「这是我生平第一次喝到这么好的东西,可惜不知道是什么」。该解析模块12即会依据该将音频信号转换成原始波形的规则,将该句子「这是我生平第一次喝到这么好的东西,可惜不知道是什么」转换成如图2A所示的原始波形示意图。其次,该解析模块12再依据该将该原始波形分段切割成多个波形段落的规则,将该原始波形切割成如图2B所示的四段落I、II、III与IV。接着,该解析模块12还依据该将该原始波形解析成相对应的音包单元的规则,将有原始波形的段落I与III中的该原始波形切割成如图2C所示的多个音包单元i、ii、iii、iv…。
该识别模块14依据该音包单元与发音对应表,识别该音包单元所代表的发音。请参阅图3,它是该音包单元与发音对应表的示意图。承前所述,在本实施例中,该识别模块14依据该音包单元与发音对应表,将该音包单元i、ii、iii、iv…所对应的发音「这」、「是」、「我」、「生」…一一识别出来。
该输出模块16依据该发音与动画口型参数对应表,撷取出对应该发音的口型参数并输出到该动画制作应用程序2。请参阅图4,它是该发音与动画口型参数对应表的示意图。承前所述,在本实施例中,该输出模块16依据该发音与动画口型参数对应表,分别将对应该发音「这」、「是」、「我」、「生」…的一系列口型参数输出到该动画制作应用程序2,供该动画制作应用程序2生成口型动画。
请参阅图5,它是通过本发明的动画生成系统执行本发明的动画生成方法时的流程图。
如图所示,在步骤S501中,建立至少包括有音频信号解析规则、音包单元与发音对应表以及发音与动画口型参数对应表的数据库。接着进行步骤S502。
在步骤S502中,依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元。接着进行步骤S503。
在步骤S503中,依据该音包单元与发音对应表,识别该音包单元所代表的发音。接着进行步骤S504。
在步骤S504中,依据该发音与动画口型参数对应表,撷取出对应该发音的口型参数并输出到该动画制作应用程序。
在本发明的其它实施方式中,上述依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元的步骤,是将该接收到的音频信号转换成该音频信号的原始波形后,再将该原始波形解析成至少一个音包单元。
上述依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元的步骤,是依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,也可以将该原始波形分段切割成多个波形段落,再将各该波形段落分别解析成至少一个音包单元。
综上所述,通过本发明的动画生成系统以及方法提供的数据库、解析、识别与输出机制,动画制作应用程序的口型动画的形成是依据相对应的音频信号,所以能大幅提高口型动画与音频信号的结合度与准确性,降低配音技术门槛,提高配音效率,降低配音成本。

Claims (14)

1.一种动画生成系统,应用在动画制作应用程序中,其特征在于,该动画生成系统包括:
数据库,储存音频信号解析规则、音包单元与发音对应表以及发音与动画口型参数对应表;
解析模块,依据该音频信号解析规则,将接收到的音频信号解析成至少一个音包单元;
识别模块,依据该音包单元与发音对应表,识别该音包单元所代表的发音;以及
输出模块,依据该发音与动画口型参数对应表,撷取出对应该发音的口型参数并输出到该动画制作应用程序。
2.如权利要求1所述的动画生成系统,其特征在于,该音频信号解析规则包括将音频信号转换成原始波形的规则、将该原始波形分段切割成多个波形段落的规则以及将该原始波形解析成相对应的音包单元的规则。
3.如权利要求1所述的动画生成系统,其特征在于,该音包单元与发音对应表包括各种型态的音包单元及其相对应的文字。
4.如权利要求1所述的动画生成系统,其特征在于,该音包单元是一段原始波形中所能够切割出的最小且有意义的单元。
5.如权利要求1所述的动画生成系统,其特征在于,该发音与动画口型参数对应表中,同音字具有相同型态的音包单元,并共享相同的动画口型参数。
6.如权利要求1所述的动画生成系统,其特征在于,该解析模块是依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,再将该原始波形解析成至少一个音包单元。
7.如权利要求1所述的动画生成系统,其特征在于,该解析模块是依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,将该原始波形分段切割成多个波形段落,再将各该波形段落分别解析成至少一个音包单元。
8.一种动画生成方法,应用在动画制作应用程序中,其特征在于,该动画生成方法包括:
建立至少包括音频信号解析规则、音包单元与发音对应表以及发音与动画口型参数对应表的数据库;
依据该音频信号解析规则,将接收到的音频信号解析成至少一个音包单元;
依据该音包单元与发音对应表,识别该音包单元所代表的发音;以及
依据该发音与动画口型参数对应表,撷取出对应该发音的口型参数并输出到该动画制作应用程序。
9.如权利要求8所述的动画生成方法,其特征在于,该音频信号解析规则包括将音频信号转换成原始波形的规则、将该原始波形分段切割成多个波形段落的规则以及将该原始波形解析成相对应的音包单元的规则。
10.如权利要求8所述的动画生成方法,其特征在于,该音包单元与发音对应表包括各种型态的音包单元及其相对应的文字。
11.如权利要求8所述的动画生成方法,其特征在于,该音包单元是一段原始波形中所能够切割出的最小且有意义的单元。
12.如权利要求8所述的动画生成方法,其特征在于,该发音与动画口型参数对应表中,同音字具有相同型态的音包单元,并共享相同的动画口型参数。
13.如权利要求8所述的动画生成方法,其特征在于,该依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元的步骤,是将该接收到的音频信号转换成该音频信号的原始波形后,再将该原始波形解析成至少一个音包单元。
14.如权利要求8所述的动画生成方法,其特征在于,该依据该音频信号解析规则将接收到的音频信号解析成至少一个音包单元的步骤,是依据该音频信号解析规则,将该接收到的音频信号转换成该音频信号的原始波形后,将该原始波形分段切割成多个波形段落,再将各该波形段落分别解析成至少一个音包单元。
CNB2005101031703A 2005-09-20 2005-09-20 动画生成系统以及方法 Expired - Fee Related CN100386760C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005101031703A CN100386760C (zh) 2005-09-20 2005-09-20 动画生成系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005101031703A CN100386760C (zh) 2005-09-20 2005-09-20 动画生成系统以及方法

Publications (2)

Publication Number Publication Date
CN1936889A true CN1936889A (zh) 2007-03-28
CN100386760C CN100386760C (zh) 2008-05-07

Family

ID=37954394

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101031703A Expired - Fee Related CN100386760C (zh) 2005-09-20 2005-09-20 动画生成系统以及方法

Country Status (1)

Country Link
CN (1) CN100386760C (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010081395A1 (zh) * 2009-01-19 2010-07-22 腾讯科技(深圳)有限公司 语音驱动动画中嘴唇形状变化、获取嘴唇动画的方法及装置
CN101826216A (zh) * 2010-03-31 2010-09-08 中国科学院自动化研究所 一个角色汉语口型动画自动生成系统
CN101520903B (zh) * 2009-04-23 2011-09-28 北京水晶石数字科技股份有限公司 一种动画角色汉语口型匹配的方法
WO2014086216A1 (zh) * 2012-12-04 2014-06-12 腾讯科技(深圳)有限公司 即时通讯方法、系统、通讯信息处理方法、终端及存储介质
CN104574477A (zh) * 2014-12-22 2015-04-29 北京像素软件科技股份有限公司 动画角色汉语口型生成的方法及装置
CN105096366A (zh) * 2015-07-23 2015-11-25 文化传信科技(澳门)有限公司 3d虚拟服务公开平台系统
CN106297792A (zh) * 2016-09-14 2017-01-04 厦门幻世网络科技有限公司 一种语音口型动画的识别方法及装置
CN107766438A (zh) * 2017-09-20 2018-03-06 珠海金山网络游戏科技有限公司 基于html5将网页输入音频生成口型gif的方法、装置和系统
CN107766437A (zh) * 2017-09-20 2018-03-06 珠海金山网络游戏科技有限公司 基于html5将网页输入文字生成口型gif的方法、装置和系统
CN107845123A (zh) * 2017-09-20 2018-03-27 珠海金山网络游戏科技有限公司 基于html5将网页输入文字生成口型动画的方法、装置和系统
CN109064532A (zh) * 2018-06-11 2018-12-21 上海咔咖文化传播有限公司 动画角色自动口型生成方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4260229A (en) * 1978-01-23 1981-04-07 Bloomstein Richard W Creating visual images of lip movements
US4569026A (en) * 1979-02-05 1986-02-04 Best Robert M TV Movies that talk back
US6067095A (en) * 1997-02-04 2000-05-23 Microsoft Corporation Method for generating mouth features of an animated or physical character
DE60117969D1 (de) * 2000-05-24 2006-05-11 Virtual Video Uk Ltd Animationsverfahren und -vorrichtung mit audiosynchronisierung
US7046300B2 (en) * 2002-11-29 2006-05-16 International Business Machines Corporation Assessing consistency between facial motion and speech signals in video

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350859B2 (en) 2009-01-19 2013-01-08 Tencent Technology (Shenzhen) Company Limited Method and apparatus for changing lip shape and obtaining lip animation in voice-driven animation
RU2487411C2 (ru) * 2009-01-19 2013-07-10 Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед Способ и устройство для изменения формы губ и получения анимации губ в управляемой голосом анимации
WO2010081395A1 (zh) * 2009-01-19 2010-07-22 腾讯科技(深圳)有限公司 语音驱动动画中嘴唇形状变化、获取嘴唇动画的方法及装置
CN101520903B (zh) * 2009-04-23 2011-09-28 北京水晶石数字科技股份有限公司 一种动画角色汉语口型匹配的方法
CN101826216A (zh) * 2010-03-31 2010-09-08 中国科学院自动化研究所 一个角色汉语口型动画自动生成系统
CN101826216B (zh) * 2010-03-31 2011-12-07 中国科学院自动化研究所 一个角色汉语口型动画自动生成系统
US9626984B2 (en) 2012-12-04 2017-04-18 Tencent Technology (Shenzhen) Company Limited Instant messaging method and system, communication information processing method, terminal, and storage medium
WO2014086216A1 (zh) * 2012-12-04 2014-06-12 腾讯科技(深圳)有限公司 即时通讯方法、系统、通讯信息处理方法、终端及存储介质
CN103856390B (zh) * 2012-12-04 2017-05-17 腾讯科技(深圳)有限公司 即时通讯方法及系统、通讯信息处理方法、终端
CN104574477B (zh) * 2014-12-22 2017-08-08 北京像素软件科技股份有限公司 动画角色汉语口型生成的方法及装置
CN104574477A (zh) * 2014-12-22 2015-04-29 北京像素软件科技股份有限公司 动画角色汉语口型生成的方法及装置
CN105096366A (zh) * 2015-07-23 2015-11-25 文化传信科技(澳门)有限公司 3d虚拟服务公开平台系统
CN106297792A (zh) * 2016-09-14 2017-01-04 厦门幻世网络科技有限公司 一种语音口型动画的识别方法及装置
CN107766438A (zh) * 2017-09-20 2018-03-06 珠海金山网络游戏科技有限公司 基于html5将网页输入音频生成口型gif的方法、装置和系统
CN107766437A (zh) * 2017-09-20 2018-03-06 珠海金山网络游戏科技有限公司 基于html5将网页输入文字生成口型gif的方法、装置和系统
CN107845123A (zh) * 2017-09-20 2018-03-27 珠海金山网络游戏科技有限公司 基于html5将网页输入文字生成口型动画的方法、装置和系统
CN109064532A (zh) * 2018-06-11 2018-12-21 上海咔咖文化传播有限公司 动画角色自动口型生成方法及装置
CN109064532B (zh) * 2018-06-11 2024-01-12 深圳市卡扑动漫设计有限公司 动画角色自动口型生成方法及装置

Also Published As

Publication number Publication date
CN100386760C (zh) 2008-05-07

Similar Documents

Publication Publication Date Title
CN100386760C (zh) 动画生成系统以及方法
US8886537B2 (en) Method and system for text-to-speech synthesis with personalized voice
US9196241B2 (en) Asynchronous communications using messages recorded on handheld devices
US9318100B2 (en) Supplementing audio recorded in a media file
KR101628050B1 (ko) 텍스트 기반 데이터를 애니메이션으로 재생하는 애니메이션 시스템
CN101894547A (zh) 一种语音合成方法和系统
CN111460213A (zh) 一种基于多模态学习的音乐情感分类方法
US20080162559A1 (en) Asynchronous communications regarding the subject matter of a media file stored on a handheld recording device
Kumar et al. Mylipper: A personalized system for speech reconstruction using multi-view visual feeds
CN106550268B (zh) 视频处理方法和视频处理装置
CN103631780B (zh) 多媒体记录系统及方法
Nguyen et al. A method for Vietnamese Text Normalization to improve the quality of speech synthesis
CN116631434A (zh) 基于转换系统的视频语音同步方法、装置、电子设备
Bear et al. Some observations on computer lip-reading: moving from the dream to the reality
KR20050080671A (ko) 티티에스 시스템의 이모티콘 처리 방법
Reddy et al. Indian sign language generation from live audio or text for tamil
Sim et al. Emotion recognition based on frequency analysis of speech signal
TWM611494U (zh) 語音合成配音系統
Kadam et al. A Survey of Audio Synthesis and Lip-syncing for Synthetic Video Generation
JPH08272587A (ja) 電子メール音声変換装置
Whetten et al. Evaluating Automatic Speech Recognition and Natural Language Understanding in an Incremental Setting
TWI272511B (en) Animation generation system and method
Reddy et al. Automatic pitch accent contour transcription for Indian languages
Sonawane et al. Review on Speech Synthesis from Lip Movements using Deep Neural Network.
TWI765541B (zh) 語音合成配音系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080507

Termination date: 20180920

CF01 Termination of patent right due to non-payment of annual fee