CN103324760B - 使用解说词文档自动生成营养健康教育视频的方法及系统 - Google Patents

使用解说词文档自动生成营养健康教育视频的方法及系统 Download PDF

Info

Publication number
CN103324760B
CN103324760B CN201310291597.5A CN201310291597A CN103324760B CN 103324760 B CN103324760 B CN 103324760B CN 201310291597 A CN201310291597 A CN 201310291597A CN 103324760 B CN103324760 B CN 103324760B
Authority
CN
China
Prior art keywords
picture
commentary
word
automatically
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310291597.5A
Other languages
English (en)
Other versions
CN103324760A (zh
Inventor
杨颖�
陈瑛
高万林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201310291597.5A priority Critical patent/CN103324760B/zh
Publication of CN103324760A publication Critical patent/CN103324760A/zh
Application granted granted Critical
Publication of CN103324760B publication Critical patent/CN103324760B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了使用解说词文档自动生成营养健康教育视频的方法,该方法通过分别采用基于词频统计和知识库搜索的方法自动提取解说词文档中的关键词,然后利用元搜索技术通过调用各大搜索引擎获取与关键词相关的图片及采用文本搜索技术搜索本地图片库中的相关图片,并采用分词技术自动截取解说词文档形成行文本字幕,本发明公开了使用解说词文档自动生成营养健康教育视频的系统,该系统包含以下模块:关键词自动提取模块,用于提取一段解说词文本中的所有关键词;图片自动搜索模块,用于自动搜索与关键词相关的图片;营养健康教育视频字幕背景生成模块,用于将每行文本、相关的对应图片生成营养健康教育视频。

Description

使用解说词文档自动生成营养健康教育视频的方法及系统
技术领域
本发明涉及多媒体技术领域,特别涉及一种使用解说词文档自动提取关键词并搜索相关图片生成营养健康教育视频的方法及系统。
背景技术
根据解说词全自动生成视频的方法和系统是根据文本中相对应的词,主要是名词进行网络或/和本地的相关图片搜索,但是汉语本身的语言特性决定了其词性的复杂性,从而导致词性的划分不准确,所寻找到的图片也不准确,因此对于根据解说词全自动生成视频的方法和系统的研究也少有涉及。经研究表明,在营养健康教育领域,语句的复杂度较低,词性相对确定,具备了机器自动识别词性,自动寻找关键词及获取相关图片,自动生成多媒体视频的先决条件。
营养健康教育多媒体视频的编制需要经过选材、编辑和制作等过程,其中选材过程是其中工作量最大,最耗费人力物力的过程。选材具体包括针对一个待制作的营养健康教育多媒体视频确定该期内容的主题,如“儿童咳嗽护理方法”,然后根据该主题内容撰写介绍这方面知识的配套解说词,然后根据解说词内容选择合适的展示图片,主要根据每句话中出现的关键词,如“儿童”、“咳嗽”,“糖浆”等,基本每句解说词就要搭配5、6张展示图片。选材完成之后,就可以通过视频制作软件将上述解说词、图片、背景音乐等内容合成一部介绍营养健康知识的视频。对于一段15分钟的左右的视频来说,大约有1000~2000字的解说词文档,需要搭配几百张展示图片。
现有的选材办法大多通过手工的方法,即人工依次截取每句解说词中的多个关键词,然后采用基于文本检索的方法在网络或者现有图片库中通过人工依次键入关键词来搜索与该关键词相匹配的图片。因此,一段15分钟左右的视频大约需要人工提取几百次关键词,并人工搜索几百次以上,不仅费时费力,而且很多工作是重复性的,如某个关键词反复出现,要重复搜索多次。据统计,整个选材的过程占据了视频制作的70%的时间。因此,发明一种快速、自动方法来制作营养健康教育多媒体视频的方法及系统是有必要的。
发明内容
(一)要解决的技术问题
本发明的目的在于解决传统营养健康教育多媒体视频的编制中选材时,需要大量的人工进行手动操作进行搜索,费时费力的问题。
(二)技术方案
本发明采用如下技术方案:
一种使用解说词文档自动生成营养健康教育视频的方法,采用以下步骤:
1)使用关键词自动提取模块,用于提取一段解说词文本中的所有关键词;
2)使用图片自动搜索模块,用于使用元搜索技术在互联网上搜索与关键词相关的图片和关键词匹配的文本检索方法在本地图片库上自动搜索与关键词相关的图片;
3)使用营养健康教育视频字幕背景生成模块,用于对搜索到的图片与原文本中的句子或/和词进行匹配,生成教育视频。
优选的,步骤1)中的关键词自动提取的方法为:基于词频统计的关键词提取方法;基于知识库搜索的关键词提取方法。
优选的,基于词频统计的关键词提取方法为:
首先使用自动分词法,即对文档使用模式匹配的方法进行分句,然后对句子使用全监督式分词模型进行分词,最后对每个词使用全监督式模型进行词性标注;
然后使用词频统计法,即在已经标注过词性的词中筛选出名词,对每一个名词统计其在解说文档中的词频,最后把排名靠前的名词作为该解说文档的关键词。
优选的,基于知识库搜索的关键词提取方法为:
采用爬虫技术下载网络百科词典,获取相应的百科词条;
对于每一个解说词文档,使用模式匹配的方法进行分句;
对于每一个句子,使用模式匹配的方法提取出其中出现的百科词条。
优选的,步骤2)中的互联网图片自动搜索法为:
首先将每个关键词设置为查询词,并调用搜索引擎,检索相关高画质图片;
然后将搜索引擎搜索到的图片进行整合,存储在以该关键词命名的图片存储目录下。
优选的,步骤2)中的本地图片自动搜索法为:将每个关键词设置为查询词,依次搜索本地各级文件存储目录,查找文件名包含关键词的图片,找到之后存储在以该关键词命名的图片存储目录下。
优选的,步骤3)中的营养健康教育视频字幕背景生成方法为:首先使用解说词自动换行截取法,然后使用解说词文本和图像的对齐匹配法进行营养健康教育视频字幕背景的生成。
优选的,使用解说词自动换行截取法为:
首先采用模式匹配的方法将解说词文档分句,并将解说词中的标点符号全部去掉,对于每一个句子,通过采用全监督式分词模型进行分词,获取任意相邻两个词的分割位置;
然后对于每个句子,统计每句话的长度:如果小于20字就不做修改;而如果大于20字,则需对该句子进行分行处理,即从该句首字位置算起,直到句子长度达到17字的位置处进行自动截断换行,如果截断位置不是两个词的分割位置,则对截断位置进行适当的调整,保证截断位置为两个词的分割位置,即保证不把一个完整的词分到两行;如果截断后的后面句子的长度还是大于20字,继续重复本条权利要求中大于20字的操作方法,直到截取后的每行文本长度都在17字左右。
优选的,使用解说词文本和图像的对齐匹配法为:对解说词中截取后的每行文本匹配相关的对应图片,并采用视频制作软件合成解说词行文本和相关的对应图片,其中该相关的对应图片的查找目录为该行文本中包含的关键词对应的图片目录,其中该目录下的图片为上述图片自动搜索模块所获得的图片。
一种使用解说词文档自动生成营养健康教育视频的装置,包含以下模块:
关键词自动提取模块,该模块采用基于词频统计的关键词提取方法和基于知识库搜索的关键词提取方法提取一段解说词文本中的所有关键词;
图片自动搜索模块,该模块采用元搜索技术在互联网上搜索与关键词相关的图片,采用关键词匹配的文本检索方法在本地图片库上自动搜索与关键词相关的图片;
营养健康教育视频字幕背景生成模块,该模块对解说词文本自动断行,形成行文本作为每张视频画面显示的字幕,并自动匹配搜索到的相关的对应图片,利用视频合成工具将每行文本、相关的对应图片生成营养健康教育视频。
(三)有益效果
本发明通过采用文本自动划分,自动识别词性,然后自动检索关键名词相关图片,并把名称和图片联系在一起自动生成视频的方法,解决了传统营养健康教育多媒体视频的编制中选材时,需要大量的人工进行手动操作进行搜索,费时费力的问题。
附图说明
图1是本发明的一种使用解说词文档自动生成营养健康教育视频方法的流程图;
图2是本发明的一种使用解说词文档自动生成营养健康教育视频系统的示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式做进一步描述。以下实施例仅用于说明本发明,但不用来限制本发明的范围。
图1是本发明的一种使用解说词文档自动生成营养健康教育视频方法的流程图。下面结合附图对本发明进行进一步的说明。
实施例
本实施例的方法,如图1所示,包含:关键词自动提取;图片自动搜索模块及营养健康教育视频字幕背景生成步骤,解说词文档自动生成营养健康教育视频系统,如图2所示,结合本发明的一种使用解说词文档自动生成营养健康教育视频方法,进行操作。
首先,对于给定的解说词文档,利用关键词自动提取模块获取解说词文档中的所有关键词。该部分采用如下两种策略方法分别自动提取每篇解说词文档中的关键词,然后整合在一起,形成该文档的关键词。
1)使用关键词自动提取模块,利用自然语言处理技术进行关键词的提取。其大致分为如下两个步骤:
首先,通过自动分词模块将解说词文档自动分词,并标注各词的词性。具体为三个步骤:(a)对于每一篇解说词文档,用基于标点符号的模式匹配方法进行分句;(b)对于每一个句子,用全监督式分词模型进行分词;(c)对每个词,用现有的比较成熟的全监督式词性标注模型进行词性标注,如:
原文:
某些药物会影响儿童的智力,如长期服用抗癫痫药物可使智商偏低,当停药若干年后,智商便会有所提高。
经过分句后的结果:
分句1:某些药物会影响儿童的智力
分句2:如长期服用抗癫痫药物可使智商偏低
分句3:当停药若干年后
分句4:智商便会有所提高
分词和词性标注后的结果:
分句1:药物-NN 某些-DT 药物-NN 会-VV 影响-VV 儿童-NN 的-DEG 智力-NN
分句2:如-AD 长期-AD 服用-VV 抗-VV 癫痫-NN 药物-NN 可-VV 使-VV 智商-NN 偏-AD 低-VA
分句3:当-P 停-VV 药-NN 若干-CD 年-M 后-LC
分句4:智商-NN 便-AD 会-VV 有所-VV 提高-VV
其中NN:名词;DT:副词;DEG:副词;AD:副形词;VV:动词;VA:动形词;P:介词;CD:连副词;M:数词;LC:习连词。
其次,通过关键词的词频统计模块统计词性标注为名词的各词在解说词文档中出现的词频,将词频大小排前20的名词作为该解说词文档的关键词。
2)使用图片自动搜索模块,利用百科类词典,如百度百科,维基百科等进行关键词的提取。具体为三个步骤:(a)采用爬虫技术下载百科词典,收集大约2,400,000个百度百科词条;(b)对于每一个解说词文档,用模式匹配的方法进行分句;(c)对于每一个句子,用模式匹配的方法提取出其中出现的百度百科词条。
对于提取出来的关键词,将其作为图片搜索查询词,首先,采用元搜索技术在网络上搜索与该关键词相匹配的图片,分别调用如google、搜狗、百度等图片搜索引擎,检索相关的图片,如果图片分辨率过小则舍弃,其余的整合存储到以该关键词命名的图片存储目录下;其次,以该关键词作为查询词,查找本地各级文件目录下的图片文件,如果文件名包含查询词,则将搜索到的图片存储到以该关键词命名的图片存储目录下。
3)使用营养健康教育视频字幕背景生成模块,用于对于解说词文档进行分行处理,以形成便于视频显示的字幕,具体分为两个步骤:(a)采用基于标点符号的模式匹配方法将解说词分句,并将解说词中的标点符号全部去掉,对于每一个句子,通过采用现有的比较成熟的全监督式分词模型进行分词,获取任意相邻两个词的分割位置;(b)对于每句话,首先统计每句话的长度,如果小于20字就不做修改;而如果大于20字,则需对该句子进行分行处理,从该句首字位置算起,直到句子长度达到17字的位置处进行自动截断换行,如果截断位置不是两个词的分割位置,则对截断位置进行适当的调整,保证截断位置为两个词的分割位置,即保证不把一个完整的词分到两行。如果截断后的后面句子的长度如果还是大于20字,继续重复上述操作,直到截取后的每行文本长度都在17字左右。
最后,将解说词中截取后的每行文本匹配相关的对应图片,并采用视频制作软件合成解说词行文本和相关的对应图片,其中该相关的对应图片的查找目录应为该行文本中包含的关键词对应的图片目录,其中该目录下的图片应为上述图片自动搜索模块所获得的图片。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的保护范畴。

Claims (10)

1.一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述方法包含以下步骤:
1)关键词自动提取,提取一段解说词文本中的所有关键词;
2)图片自动搜索,采用元搜索技术在互联网上搜索与关键词相关的图片,采用关键词匹配的文本检索方法在本地图片库上自动搜索与关键词相关的图片;
3)营养健康教育视频字幕背景生成,对搜索到的图片与原文本中的句子或/和词进行匹配,生成教育视频。
2.根据权利要求1所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述步骤1)的关键词自动提取的方法为:基于词频统计的关键词提取方法;基于知识库搜索的关键词提取方法。
3.根据权利要求2所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述的基于词频统计的关键词提取方法为:
首先使用自动分词法,即对文档使用模式匹配的方法进行分句,然后对句子使用全监督式分词模型进行分词,最后对每个词使用全监督式模型进行词性标注;
然后使用词频统计法,即在已经标注过词性的词中筛选出名词,对每一个名词统计其在解说文档中的词频,最后把排名靠前的名词作为该解说文档的关键词。
4.根据权利要求2所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述的基于知识库搜索的关键词提取方法为:
采用爬虫技术下载网络百科词典,获取相应的百科词条;
对于每一个解说词文档,使用模式匹配的方法进行分句;
对于每一个句子,使用模式匹配的方法提取出其中出现的百科词条。
5.根据权利要求1所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述步骤2)的互联网图片自动搜索法为:
首先将每个关键词设置为查询词,并调用搜索引擎,检索相关高画质图片;
然后将搜索引擎搜索到的图片进行整合,存储在以该关键词命名的图片存储目录下。
6.根据权利要求1所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述步骤2)的本地图片自动搜索法为:将每个关键词设置为查询词,依次搜索本地各级文件存储目录,查找文件名包含关键词的图片,找到之后存储在以该关键词命名的图片存储目录下。
7.根据权利要求1所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述步骤3)的营养健康教育视频字幕背景生成方法为:首先使用解说词自动换行截取法,然后使用解说词文本和图像的对齐匹配法进行营养健康教育视频字幕背景的生成。
8.根据权利要求7所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述的使用解说词自动换行截取法为:
首先采用模式匹配的方法将解说词文档分句,并将解说词中的标点符号全部去掉,对于每一个句子,通过采用全监督式分词模型进行分词,获取任意相邻两个词的分割位置;
然后对于每个句子,统计每句话的长度:如果小于20字就不做修改;而如果大于20字,则需对该句子进行分行处理,即从该句首字位置算起,直到句子长度达到17字的位置处进行自动截断换行,如果截断位置不是两个词的分割位置,则对截断位置进行适当的调整,保证截断位置为两个词的分割位置,即保证不把一个完整的词分到两行;如果截断后的后面句子的长度还是大于20字,继续重复本条权利要求中大于20字的操作方法,直到截取后的每行文本长度都在17字左右。
9.根据权利要求8所述的一种使用解说词文档自动生成营养健康教育视频的方法,其特征在于,所述的使用解说词文本和图像的对齐匹配法为:对解说词中截取后的每行文本匹配相关的对应图片,并采用视频制作软件合成解说词行文本和相关的对应图片,其中该相关的对应图片的查找目录为该行文本中包含的关键词对应的图片目录,其中该目录下的图片为上述图片自动搜索模块所获得的图片。
10.一种使用解说词文档自动生成营养健康教育视频的装置,其特征在于,该装置包含以下模块:
关键词自动提取模块,该模块采用基于词频统计的关键词提取方法和基于知识库搜索的关键词提取方法提取一段解说词文本中的所有关键词;
图片自动搜索模块,该模块采用元搜索技术在互联网上搜索与关键词相关的图片,采用关键词匹配的文本检索方法在本地图片库上自动搜索与关键词相关的图片;
营养健康教育视频字幕背景生成模块,该模块对解说词文本自动断行,形成行文本作为每张视频画面显示的字幕,并自动匹配搜索到的相关的对应图片,利用视频合成工具将每行文本、相关的对应图片生成营养健康教育视频。
CN201310291597.5A 2013-07-11 2013-07-11 使用解说词文档自动生成营养健康教育视频的方法及系统 Expired - Fee Related CN103324760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310291597.5A CN103324760B (zh) 2013-07-11 2013-07-11 使用解说词文档自动生成营养健康教育视频的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310291597.5A CN103324760B (zh) 2013-07-11 2013-07-11 使用解说词文档自动生成营养健康教育视频的方法及系统

Publications (2)

Publication Number Publication Date
CN103324760A CN103324760A (zh) 2013-09-25
CN103324760B true CN103324760B (zh) 2016-08-17

Family

ID=49193503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310291597.5A Expired - Fee Related CN103324760B (zh) 2013-07-11 2013-07-11 使用解说词文档自动生成营养健康教育视频的方法及系统

Country Status (1)

Country Link
CN (1) CN103324760B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559214B (zh) * 2013-10-11 2017-02-08 中国农业大学 视频自动生成方法及装置
CN104679755A (zh) * 2013-11-27 2015-06-03 中兴通讯股份有限公司 一种音频搜索方法及装置、终端
CN104731959B (zh) * 2015-04-03 2017-10-17 北京威扬科技有限公司 基于文本的网页内容生成视频摘要的方法、装置及系统
CN104731960B (zh) * 2015-04-03 2018-03-09 北京威扬科技有限公司 基于电子商务网页内容生成视频摘要的方法、装置及系统
CN106339206A (zh) * 2015-07-10 2017-01-18 联想(北京)有限公司 一种控制方法及装置
CN106055583A (zh) * 2016-05-21 2016-10-26 乐视控股(北京)有限公司 热搜词的显示方法及装置
CN107402949B (zh) * 2017-04-28 2021-03-26 西安电子科技大学 一种药品视频说明书及说明书生成方法
CN109756751B (zh) * 2017-11-07 2023-02-03 腾讯科技(深圳)有限公司 多媒体数据处理方法及装置、电子设备、存储介质
CN109992754B (zh) * 2017-12-29 2023-06-16 阿里巴巴(中国)有限公司 文档处理方法及装置
CN110807126B (zh) * 2018-08-01 2023-05-26 腾讯科技(深圳)有限公司 文章转换成视频的方法、装置、存储介质及设备
CN110263182A (zh) * 2019-06-18 2019-09-20 京东方科技集团股份有限公司 画作推荐方法及系统、终端设备、计算机设备及介质
CN111526431A (zh) * 2020-04-20 2020-08-11 北京甲骨今声科技有限公司 为视音频节目实时添加字幕的设备
CN113423010B (zh) * 2021-06-22 2022-08-16 深圳市大头兄弟科技有限公司 基于文档的视频转换方法、装置、设备及存储介质
CN114401377A (zh) * 2021-12-30 2022-04-26 杭州摸象大数据科技有限公司 金融营销视频生成方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741004A (zh) * 2004-08-23 2006-03-01 微软公司 关联便携式通信设备中的内容类型的系统和方法
CN101246502A (zh) * 2008-03-27 2008-08-20 腾讯科技(深圳)有限公司 一种在网络上搜索图片的方法及系统
CN103069414A (zh) * 2010-08-11 2013-04-24 索尼公司 信息处理设备、信息处理方法和程序
CN103164471A (zh) * 2011-12-15 2013-06-19 盛乐信息技术(上海)有限公司 视频文本标签的推荐方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100760301B1 (ko) * 2006-02-23 2007-09-19 삼성전자주식회사 부분 검색어 추출을 통한 미디어 파일 검색 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741004A (zh) * 2004-08-23 2006-03-01 微软公司 关联便携式通信设备中的内容类型的系统和方法
CN101246502A (zh) * 2008-03-27 2008-08-20 腾讯科技(深圳)有限公司 一种在网络上搜索图片的方法及系统
CN103069414A (zh) * 2010-08-11 2013-04-24 索尼公司 信息处理设备、信息处理方法和程序
CN103164471A (zh) * 2011-12-15 2013-06-19 盛乐信息技术(上海)有限公司 视频文本标签的推荐方法及系统

Also Published As

Publication number Publication date
CN103324760A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
CN103324760B (zh) 使用解说词文档自动生成营养健康教育视频的方法及系统
CN110941692B (zh) 互联网政治外交类新闻事件抽取方法
CN103559214B (zh) 视频自动生成方法及装置
CN102053991B (zh) 用于多语言文档检索的方法及系统
CN100418086C (zh) 一种文字的可变数据排版的方法
CN105913072A (zh) 视频分类模型的训练方法和视频分类方法
CN101404036B (zh) PowerPoint电子演示文稿的关键词抽取方法
CN110753269B (zh) 视频摘要生成方法、智能终端及存储介质
CN103106227A (zh) 一种基于网页文本的新词查找系统及方法
CN110781328A (zh) 基于语音识别的视频生成方法、系统、装置和存储介质
CN109582945A (zh) 文章生成方法、装置及存储介质
CN101620738B (zh) 一种生成多媒体概念图的方法
Barbaresi Ad hoc and general-purpose corpus construction from web sources
CN103514289A (zh) 一种兴趣本体库构建方法及装置
CN103186633A (zh) 一种结构化信息抽取方法、搜索方法和装置
JP2005063432A (ja) マルチメディアオブジェクト検索装置およびマルチメディアオブジェクト検索方法
CN105989058A (zh) 一种汉语新闻摘要生成系统及方法
CN107220250A (zh) 一种模板配置方法及系统
CN1410918A (zh) 基于信息抽取技术的搜索引擎
CN105404677A (zh) 一种基于树形结构的检索方法
CN110659310A (zh) 一种车辆信息的智能搜索方法
Vembu et al. Towards bridging the semantic gap in multimedia annotation and retrieval
Roy et al. Combining local and global word embeddings for microblog stemming
CN111753042A (zh) 一种基于人工智能辅助写作系统
Liu et al. Event representation and visualization from social media

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

Termination date: 20190711

CF01 Termination of patent right due to non-payment of annual fee