CN102314513A - 基于gpu的图像文本语义提取方法 - Google Patents
基于gpu的图像文本语义提取方法 Download PDFInfo
- Publication number
- CN102314513A CN102314513A CN201110276585A CN201110276585A CN102314513A CN 102314513 A CN102314513 A CN 102314513A CN 201110276585 A CN201110276585 A CN 201110276585A CN 201110276585 A CN201110276585 A CN 201110276585A CN 102314513 A CN102314513 A CN 102314513A
- Authority
- CN
- China
- Prior art keywords
- node
- text
- image
- image links
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
一种基于GPU的图像文本语义提取方法,包括以下步骤:获取网页集合;根据网页集合建立文档对象模型集合,其包括多个文本节点、图像链接节点;根据图像链接节点的标签确定图像链接节点的集合以及图像链接节点的数量;判断图像链接节点的数量是否为0;如果图像链接节点的数量不为0,则取出一个图像链接节点,并设置计数器i=0;根据经验规则查找图像链接节点周围是否存在文本节点。本发明解决了现有图像文本语义提取方法中存在的效率和精度不可兼得、图像的文字性描述的精度不高、图像搜索系统后台数据更新的周期长的问题。
Description
技术领域
本发明涉及一种基于GPU的图像文本语义提取方法。
背景技术
随着网络多媒体的丰富,网络上每天产生大量的图像数据和视频信息,而图像作为最基本的、最重要的多媒体信息形式之一,凭借其直观、内容丰富、无语言限制的优势,已越来越广泛的应用于各个领域。图像搜索引擎通过收集、组织、索引网络中的图像,用户通过输入关键词或者示例图片,系统便以结果集的形式返回用户感兴趣的图像。
目前主流的商业图像搜索引擎主要是基于文本的,基于文本的图像检索技术主要采用人工标注或从网页中提取文本关键词来实现文本对图像的描述。图像搜索系统中图像文本语义提取就是一种从网页中提取出图像的文字性语义描述的方法,图像文本语义提取的精度和效率直接影响到图像搜索系统的后台数据处理速度和更新周期。
然而,目前的图像文本语义提取方法主要存在效率和精度不可兼得的情况,同时,图像的文字性描述的精度不高,图像搜索系统后台数据更新的周期长。
发明内容
有鉴于此,本发明的目的在于提供一种基于GPU的图像文本语义提取方法,其解决了现有图像文本语义提取方法中存在的效率和精度不可兼得、图像的文字性描述的精度不高、图像搜索系统后台数据更新的周期长的问题。
一种基于GPU的图像文本语义提取方法,包括以下步骤:
获取网页集合;
根据网页集合建立文档对象模型集合,其包括多个文本节点、图像链接节点;
根据图像链接节点的标签确定图像链接节点的集合以及图像链接节点的数量;
判断图像链接节点的数量是否为0;
如果图像链接节点的数量不为0,则取出一个图像链接节点,并设置计数器i=0;
根据经验规则查找图像链接节点周围是否存在文本节点;
如果不存在文本节点,则设置计数器i=i+1;
判断i是否等于4;
若i等于4,则组合图像链接节点与文本节点,以形成一主题块;
累加主题块,以形成主题块集合;
判断是否存在下一个图像链接节点;
若不存在下一个图像链接节点,则转换主题块集合的存储方式,以使其可被GPU读取;
GPU对转换后的主题快集合进行语义分析,以得到语义块集合;
GPU对语义块集合进行处理,以得到所有图像链接节点的语义描述信息。
本发明的方法还包括步骤:
如果图像链接节点的数量为0,则转换文本节点的存储方式,以使其可被GPU读取;
GPU对转换后的文本节点进行语义分析,以得到语义块集合;
GPU对语义块集合进行处理,以得到所有文本节点的语义描述信息;
GPU将语义描述信息传送到CPU;
CPU输出语义描述信息。
本发明的方法还包括步骤:
如果存在文本节点,则组合图像链接节点与文本节点,以形成一主题块;
累加主题块,以形成主题块集合;
判断是否存在下一个图像链接节点;
若不存在下一个图像链接节点,则转换主题块集合的存储方式,以使其可被GPU读取;
GPU对转换后的主题快集合进行语义分析,以得到语义块集合;
GPU对语义块集合进行处理,以得到所有图像链接节点的语义描述信息;
GPU将语义描述信息传送到CPU;
CPU输出语义描述信息。
本发明的方法还包括步骤:若i不等于4,则跳转根据经验规则查找图像链接节点周围是否存在文本节点的步骤。
本发明的方法还包括步骤:
若存在下一个图像链接节点,则跳转下一个图像链接节点;
跳转取出一个图像链接节点,并设置计数器i=0的步骤。
本发明的方法还包括步骤:
GPU将语义描述信息传送到CPU;
CPU输出语义描述信息。
根据经验规则查找图像链接节点周围是否存在文本节点的步骤包括:
设置遍历层数计数器等于0;
判断当前图像链接节点是否为文本节点;
如果图像链接节点为文本节点,则存储文本节点;
判断图像链接节点是否只有一个子节点,如果只有一个子节点,则判断子节点是否是文本节点;
若子节点是文本节点,则存储文本节点;
判断图像链接节点是否是根节点,如果是根节点,则判断根节点是否只有一个相关的子文档对象模型;
如果根节点只有一个相关的子文档对象模型,则遍历层数计数器加1;
判断遍历层数计数器是否等于4;
如果遍历层数计数器等于4,则组合存储的所有文本节点,以形成文本节点集合。
根据经验规则查找图像链接节点周围是否存在文本节点的步骤进一步包括:
如果图像链接节点不是文本节点,则判断图像链接节点的子节点是否是文本节点或虚拟文本节点;
若图像链接节点的子节点是文本节点或虚拟文本节点,则组合存储的所有文本节点,以形成文本节点集合;
若图像链接节点的子节点不是文本节点或虚拟文本节点,则判断图像链接节点的子节点是否包括换行节点;
若图像链接节点的子节点包括换行节点,则组合存储的所有文本节点,以形成文本节点集合;
若图像链接节点的子节点不包括换行节点,则判断图像链接节点的子节点是否包括标签为HR的节点;
若图像链接节点的子节点包括标签为HR的节点,则组合存储的所有文本节点,以形成文本节点集合;
若图像链接节点的子节点不包括标签为HR的节点,则判断图像链接节点的背景色与其子节点的背景色是否相同;
若图像链接节点的背景色与其子节点的背景色相同,则组合存储的所有文本节点,以形成文本节点集合;
若图像链接节点的背景色与其子节点的背景色不相同,则返回遍历层数计数器加1的步骤。
根据经验规则查找图像链接节点周围是否存在文本节点的步骤进一步包括:
若不是只有一个子节点,则返回判断图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤;
若子节点不是文本节点,则返回判断图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤;
若图像链接节点不是根节点,则返回判断图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤;
如果根节点不是只有一个相关的子文档对象模型,则返回判断图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤。
根据经验规则查找图像链接节点周围是否存在文本节点的步骤进一步包括:若遍历层数计数器不等于4,则跳转下一个图像链接节点,并重复判断当前图像链接节点是否为文本节点的步骤。
本发明的有益效果在于:
(1)精确性:本发明针对网页中存在多主题情况,通过经验规则对网页的不同主题进行分块处理,和其他方法相比,可以更加完整并精确的获得到图像的结构化信息。
(2)高效性:本发明首先对网页建立文档对象模型,通过前序遍历找到图像链接节点,从图像链接节点出发获得图像的主题块,这样避免对纯文字性网页的冗余解析。同时,通过把核心的耗时的步骤放到GPU上来执行,可以大大提高算法的执行效率。
(3)可扩展和可移植性:本发明针对GPU的编程特点设计基于GPU的并行编程框架,向上提供了一套接口,提高GPU并行编程的可扩展性。本发明通过配置文件来设置数据处理格式,使得可以应用于不同的信息检索系统中,使得本算法具有很高的可移植性。
附图说明
图1为本发明基于GPU的图像文本语义提取方法的流程图。
图2为本发明根据经验规则查找图像链接节点周围是否存在文本节点的步骤的细化流程图。
具体实施方式
下面结合附图对本发明进行进一步描述。
如图1所示,本发明基于GPU的图像文本语义提取方法包括以下步骤:
(1)获取网页集合;
(2)根据网页集合建立文档对象模型(document object model,简称DOM)集合,其包括多个文本节点、图像链接节点;
(3)根据图像链接节点的标签确定图像链接节点的集合以及图像链接节点的数量;
(4)判断图像链接节点的数量是否为0;如果不为0,则转入步骤(5),如果为0,则转入步骤(17);
(5)取出一个图像链接节点,并设置计数器i=0;
(6)根据经验规则查找图像链接节点周围是否存在文本节点;如果不存在,则转入步骤(7),如果存在,则转入步骤(18);
(7)设置计数器i=i+1;
(8)判断i是否等于4;若i等于4,则转入步骤(9),若i不等于4,则转入步骤(6);
(9)组合图像链接节点与文本节点,以形成一主题块;
(10)累加主题块,以形成主题块集合;
(11)判断是否存在下一个图像链接节点,若不存在下一个图像链接节点,则转入步骤(12),若存在下一个图像链接节点,则转入步骤(19);
(12)转换主题块集合的存储方式,以使其可被GPU读取;
(13)GPU对转换后的主题快集合进行语义分析,以得到语义块集合;
(14)GPU对语义块集合进行处理,以得到所有图像链接节点的语义描述信息;
(15)GPU将语义描述信息传送到CPU;
(16)CPU输出语义描述信息;
(17)则转换文本节点的存储方式,以使其可被GPU读取,然后转到步骤(13);
(18)组合图像链接节点与文本节点,以形成一主题块,然后转到步骤(10);
(19)跳转下一个图像链接节点,然后转到步骤(5)。
如图2所示,图1中的步骤(6)包括以下子步骤:
(6-1)设置遍历层数计数器等于0;
(6-2)判断当前图像链接节点是否为文本节点,如果当前图像链接节点为文本节点,则转入步骤(6-3),否则转入步骤(6-12);
(6-3)存储文本节点;
(6-4)判断图像链接节点是否只有一个子节点,如果图像链接节点只有一个子节点,则转入步骤(6-4),否则转入步骤(6-12);
(6-5)判断子节点是否是文本节点,如果是则转入步骤(6-6),否则转入步骤(6-12);
(6-6)存储文本节点;
(6-7)判断图像链接节点是否是根节点,如果是,则转入步骤(6-8),否则转入步骤(6-12);
(6-8)判断根节点是否只有一个相关的子文档对象模型,如果根节点只有一个相关的子文档对象模型,则转入步骤(6-9),否则转入步骤(6-12);
(6-9)遍历层数计数器加1;
(6-10)判断遍历层数计数器是否等于4,如果遍历层数计数器等于4,则转入步骤(6-11),否则转入步骤(6-16);
(6-11)组合存储的所有文本节点,以形成文本节点集合;
(6-12)判断图像链接节点的子节点是否是文本节点或虚拟文本节点,如果是文本节点或虚拟文本节点,则返回步骤(6-11),否则转入步骤(6-13);
(6-13)判断图像链接节点的子节点是否包括换行节点,若包括换行节点,则返回步骤(6-11),否则转入步骤(6-14);
(6-14)判断图像链接节点的子节点是否包括标签为HR的节点,若敖阔标签为HR的节点,则返回步骤(6-11),否则转入步骤(6-15);
(6-15)若图像链接节点的子节点不包括标签为HR的节点,则判断图像链接节点的背景色与其子节点的背景色是否相同,若相同,则返回步骤(6-11),否则返回步骤(6-9);
(6-16)跳转下一个图像链接节点,然后返回步骤(6-2)。
以上,仅为本发明最佳的具体实现方式,本发明的实现方法并不局限于此,任何在本发明领域内不脱离本发明精神下的改变,都应涵盖在本发明范围内。
Claims (10)
1.一种基于GPU的图像文本语义提取方法,其特征在于,包括以下步骤:
获取网页集合;
根据所述网页集合建立文档对象模型集合,其包括多个文本节点、图像链接节点;
根据所述图像链接节点的标签确定所述图像链接节点的集合以及所述图像链接节点的数量;
判断所述图像链接节点的数量是否为0;
如果所述图像链接节点的数量不为0,则取出一个图像链接节点,并设置计数器i=0;
根据经验规则查找所述图像链接节点周围是否存在文本节点;
如果不存在文本节点,则设置计数器i=i+1;
判断i是否等于4;
若i等于4,则组合所述图像链接节点与所述文本节点,以形成一主题块;
累加所述主题块,以形成主题块集合;
判断是否存在下一个图像链接节点;
若不存在下一个图像链接节点,则转换所述主题块集合的存储方式,以使其可被GPU读取;
GPU对所述转换后的主题快集合进行语义分析,以得到语义块集合;
GPU对所述语义块集合进行处理,以得到所有图像链接节点的语义描述信息。
2.根据权利要求1所述的图像文本语义提取方法,其特征在于,还包括步骤:
如果所述图像链接节点的数量为0,则转换所述文本节点的存储方式,以使其可被GPU读取;
GPU对所述转换后的文本节点进行语义分析,以得到语义块集合;
GPU对所述语义块集合进行处理,以得到所有文本节点的语义描述信息;GPU将所述语义描述信息传送到CPU;
CPU输出所述语义描述信息。
3.根据权利要求1所述的图像文本语义提取方法,其特征在于,还包括步骤:
如果存在文本节点,则组合所述图像链接节点与所述文本节点,以形成一主题块;
累加所述主题块,以形成主题块集合;
判断是否存在下一个图像链接节点;
若不存在下一个图像链接节点,则转换所述主题块集合的存储方式,以使其可被GPU读取;
GPU对所述转换后的主题快集合进行语义分析,以得到语义块集合;
GPU对所述语义块集合进行处理,以得到所有图像链接节点的语义描述信息;
GPU将所述语义描述信息传送到CPU;
CPU输出所述语义描述信息。
4.根据权利要求1所述的图像文本语义提取方法,其特征在于,还包括步骤:
若i不等于4,则跳转所述根据经验规则查找所述图像链接节点周围是否存在文本节点的步骤。
5.根据权利要求1所述的图像文本语义提取方法,其特征在于,还包括步骤:
若存在下一个图像链接节点,则跳转下一个图像链接节点;
跳转所述取出一个图像链接节点,并设置计数器i=0的步骤。
6.根据权利要求1所述的图像文本语义读取方法,其特征在于,还包括步骤:
GPU将所述语义描述信息传送到CPU;
CPU输出所述语义描述信息。
7.根据权利要求1所述的图像文本语义读取方法,其特征在于,所述根据经验规则查找所述图像链接节点周围是否存在文本节点的步骤包括:
设置遍历层数计数器等于0;
判断当前图像链接节点是否为文本节点;
如果所述图像链接节点为文本节点,则存储所述文本节点;
判断所述图像链接节点是否只有一个子节点,如果只有一个子节点,则判断所述子节点是否是文本节点;
若所述子节点是文本节点,则存储所述文本节点;
判断所述图像链接节点是否是根节点,如果是根节点,则判断所述根节点是否只有一个相关的子文档对象模型;
如果所述根节点只有一个相关的子文档对象模型,则所述遍历层数计数器加1;
判断所述遍历层数计数器是否等于4;
如果所述遍历层数计数器等于4,则组合存储的所有文本节点,以形成文本节点集合。
8.根据权利要求7所述的图像文本语义读取方法,其特征在于,所述根据经验规则查找所述图像链接节点周围是否存在文本节点的步骤进一步包括:
如果所述图像链接节点不是文本节点,则判断所述图像链接节点的子节点是否是文本节点或虚拟文本节点;
若所述图像链接节点的子节点是文本节点或虚拟文本节点,则组合存储的所有文本节点,以形成文本节点集合;
若所述图像链接节点的子节点不是文本节点或虚拟文本节点,则判断所述图像链接节点的子节点是否包括换行节点;
若所述图像链接节点的子节点包括换行节点,则组合存储的所有文本节点,以形成文本节点集合;
若所述图像链接节点的子节点不包括换行节点,则判断所述图像链接节点的子节点是否包括标签为HR的节点;
若所述图像链接节点的子节点包括标签为HR的节点,则组合存储的所有文本节点,以形成文本节点集合;
若所述图像链接节点的子节点不包括标签为HR的节点,则判断所述图像链接节点的背景色与其子节点的背景色是否相同;
若所述图像链接节点的背景色与其子节点的背景色相同,则组合存储的所有文本节点,以形成文本节点集合;
若所述图像链接节点的背景色与其子节点的背景色不相同,则返回所述遍历层数计数器加1的步骤。
9.根据权利要求8所述的图像文本语义读取方法,其特征在于,所述根据经验规则查找所述图像链接节点周围是否存在文本节点的步骤进一步包括:
若不是只有一个子节点,则返回所述判断所述图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤;
若所述子节点不是文本节点,则返回所述判断所述图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤;
若所述图像链接节点不是根节点,则返回所述判断所述图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤;
如果所述根节点不是只有一个相关的子文档对象模型,则返回所述判断所述图像链接节点的子节点是否是文本节点或虚拟文本节点的步骤。
10.根据权利要求8所述的图像文本语义读取方法,其特征在于,所述根据经验规则查找所述图像链接节点周围是否存在文本节点的步骤进一步包括:若所述遍历层数计数器不等于4,则跳转下一个图像链接节点,并重复所述判断当前图像链接节点是否为文本节点的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110276585 CN102314513B (zh) | 2011-09-16 | 2011-09-16 | 基于gpu的图像文本语义提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110276585 CN102314513B (zh) | 2011-09-16 | 2011-09-16 | 基于gpu的图像文本语义提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102314513A true CN102314513A (zh) | 2012-01-11 |
CN102314513B CN102314513B (zh) | 2013-01-02 |
Family
ID=45427678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110276585 Expired - Fee Related CN102314513B (zh) | 2011-09-16 | 2011-09-16 | 基于gpu的图像文本语义提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102314513B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102737122A (zh) * | 2012-06-08 | 2012-10-17 | 浙江大学 | 一种提取网页中验证码图片的方法 |
CN106682204A (zh) * | 2016-12-30 | 2017-05-17 | 中南大学 | 一种基于众包的语义提取方法 |
CN106855859A (zh) * | 2015-12-08 | 2017-06-16 | 北京搜狗科技发展有限公司 | 一种网页正文提取方法及装置 |
CN110390100A (zh) * | 2019-07-16 | 2019-10-29 | 广州小鹏汽车科技有限公司 | 处理方法、第一电子终端、第二电子终端和处理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073710A (zh) * | 2010-12-31 | 2011-05-25 | 中国科学院计算技术研究所 | 一种网页分割方法 |
US20110161071A1 (en) * | 2009-12-24 | 2011-06-30 | Metavana, Inc. | System and method for determining sentiment expressed in documents |
CN102184189A (zh) * | 2011-04-18 | 2011-09-14 | 北京理工大学 | 基于dom节点文本密度的网页核心块确定方法 |
-
2011
- 2011-09-16 CN CN 201110276585 patent/CN102314513B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110161071A1 (en) * | 2009-12-24 | 2011-06-30 | Metavana, Inc. | System and method for determining sentiment expressed in documents |
CN102073710A (zh) * | 2010-12-31 | 2011-05-25 | 中国科学院计算技术研究所 | 一种网页分割方法 |
CN102184189A (zh) * | 2011-04-18 | 2011-09-14 | 北京理工大学 | 基于dom节点文本密度的网页核心块确定方法 |
Non-Patent Citations (2)
Title |
---|
姜文超等: "Web 图像搜索系统中用户交互及反馈系统模型", 《华中科技大学学报》 * |
章勤等: "图像搜索中基于网页分块的图像分类研究", 《计算机工程与科学》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102737122A (zh) * | 2012-06-08 | 2012-10-17 | 浙江大学 | 一种提取网页中验证码图片的方法 |
CN102737122B (zh) * | 2012-06-08 | 2014-12-10 | 浙江大学 | 一种提取网页中验证码图片的方法 |
CN106855859A (zh) * | 2015-12-08 | 2017-06-16 | 北京搜狗科技发展有限公司 | 一种网页正文提取方法及装置 |
CN106682204A (zh) * | 2016-12-30 | 2017-05-17 | 中南大学 | 一种基于众包的语义提取方法 |
CN106682204B (zh) * | 2016-12-30 | 2020-08-07 | 中南大学 | 一种基于众包的语义提取方法 |
CN110390100A (zh) * | 2019-07-16 | 2019-10-29 | 广州小鹏汽车科技有限公司 | 处理方法、第一电子终端、第二电子终端和处理系统 |
CN110390100B (zh) * | 2019-07-16 | 2023-10-31 | 广州小鹏汽车科技有限公司 | 处理方法、第一电子终端、第二电子终端和处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102314513B (zh) | 2013-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103365924B (zh) | 一种互联网信息搜索的方法、装置和终端 | |
CN100458795C (zh) | 一种智能组词输入的方法和一种输入法系统及其更新方法 | |
CN103123618B (zh) | 文本相似度获取方法和装置 | |
CN100595760C (zh) | 一种获取口语词条的方法、装置以及一种输入法系统 | |
US11853352B2 (en) | Method and apparatus for establishing image set for image recognition, network device, and storage medium | |
CN109902302B (zh) | 一种适用于文本分析或数据挖掘的主题图谱生成方法、装置、设备以及计算机存储介质 | |
CN110020189A (zh) | 一种基于中文相似性计算的文章推荐方法 | |
CN101246494B (zh) | 一种互联网网页转换方法、系统及设备 | |
JP5930496B2 (ja) | レイアウトファイルにおける構造化情報の取得方法及び装置 | |
CN102314513B (zh) | 基于gpu的图像文本语义提取方法 | |
CN112380385B (zh) | 一种基于多模态关系图的视频时刻定位方法及设备 | |
CN107193843A (zh) | 一种基于ac自动机和后缀表达式的字符串筛选方法及装置 | |
CN109992766A (zh) | 提取目标词的方法和装置 | |
CN109830231B (zh) | 会话处理方法、装置和存储介质 | |
JP2005063432A (ja) | マルチメディアオブジェクト検索装置およびマルチメディアオブジェクト検索方法 | |
CN101556596A (zh) | 一种输入法系统及智能组词的方法 | |
CN105005616A (zh) | 基于文本图片特征交互扩充的文本图解方法及系统 | |
CN106874240A (zh) | 数字出版方法及系统 | |
CN108491381A (zh) | 一种汉语二分结构的句法分析方法 | |
CN101216836B (zh) | 一种网页锚文本去噪系统及方法 | |
CN114707487A (zh) | 文本处理方法、装置、存储介质及电子装置 | |
WO2024078105A1 (zh) | 专利文献中的技术问题抽取方法及相关设备 | |
CN116523041A (zh) | 装备领域知识图谱构建方法、检索方法、系统及电子设备 | |
CN101089841B (zh) | 基于知识编码的精确搜索方法和系统 | |
Gao et al. | ICST Math Retrieval System for NTCIR-11 Math-2 Task. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20150916 |
|
EXPY | Termination of patent right or utility model |