CN101963995A - 基于特征场景的图像标注方法 - Google Patents

基于特征场景的图像标注方法 Download PDF

Info

Publication number
CN101963995A
CN101963995A CN 201010517074 CN201010517074A CN101963995A CN 101963995 A CN101963995 A CN 101963995A CN 201010517074 CN201010517074 CN 201010517074 CN 201010517074 A CN201010517074 A CN 201010517074A CN 101963995 A CN101963995 A CN 101963995A
Authority
CN
China
Prior art keywords
image
semantic
scene
mark
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010517074
Other languages
English (en)
Other versions
CN101963995B (zh
Inventor
刘咏梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN2010105170744A priority Critical patent/CN101963995B/zh
Publication of CN101963995A publication Critical patent/CN101963995A/zh
Application granted granted Critical
Publication of CN101963995B publication Critical patent/CN101963995B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供的是一种基于特征场景的图像标注方法。1、采用图像分割算法对用于学习的标注图像进行分割,获得图像区域的视觉描述;2、对用于学习的标注图像进行自动的语义场景聚类;3、对每个场景语义类别生成特征场景空间;4、对每个特征场景空间建立相应的语义树;5、对待标注图像向各个特征场景空间投影,并采用投影后的视觉特征对混合模型的拟合程度确定待标注图像的语义类别;对确定语义内容的图像,通过语义树,获得图像的最终标注。本发明充分利用了学习图像的标注字信息,对学习用的标注图像库进行自动的特征场景分类,确保在特定场景下的获得比较完善的视觉描述,从而提高通过图像视觉特征进行自动语义标注的可靠性。

Description

基于特征场景的图像标注方法
技术领域
本发明涉及的是一种自动图像标注方法。
背景技术
图像标注是一项具有挑战性的工作,它对于图像分析理解和图像检索都有着重要的意义。通过对已标注图像集的学习,建立语义概念空间与视觉特征空间之间的关系模型,并用这个模型对未标注的图像集进行标注。由于低高级语义之间的错综复杂的对应关系,致使自动标注的精度较低。而在场景约束条件下可以简化标注与视觉特征之间的映射关系,提高自动标注的可靠性。
对学习图像进行场景分类,仅依赖于图像的视觉特征显然无法保证语义内容的一致性。而图像的标注字作为一种非常宝贵的资源,较好地反映了图像的语义信息。如何更好更加充分地利用标注字信息是值得关注的。图像所能表达的语义内容十分丰富,一幅图像放在不同的环境下,可能呈现出不同层面的信息。可以采用一组图像来突出所要传递的语义内容,这样的一组图像就可以用来构建一个语义场景。语义场景可由视觉和语义上都彼此相似的一组图像来确定。
发明内容
本发明的目的在于提供一种能确保在特定场景下获得比较完善的图像视觉描述,提高通过图像视觉特征进行自动语义标注的可靠性的基于特征场景的图像标注方法。
步骤1,采用图像分割算法对用于学习的标注图像进行分割,获得图像区域的视觉描述;
步骤2,对用于学习的标注图像进行自动的语义场景聚类;
步骤3,对每个场景语义类别生成特征场景空间;
步骤4,对每个特征场景空间建立相应的语义树;
步骤5,对待标注图像向各个特征场景空间投影,并采用投影后的视觉特征对混合模型的拟合程度确定待标注图像的语义类别;对确定语义内容的图像,通过语义树,获得图像的最终标注。
所述对用于学习的标注图像进行自动的语义场景聚类的具体方法为:
在用于学习的标注图像集中,选择高密度区域作为语义场景聚类中心;采用共享最近邻聚类的方法先构造样本相似度矩阵,每个样本的近邻采用其视觉近邻和语义标注近邻的交集;接着再进行k最近邻的稀疏处理,并以此构造出最近邻图;通过统计出所有样本点的链接力度,以此确立聚类中心;最后依据确定的聚类中心和剩下的最近邻图来进行聚类处理,只要语义场景聚类中心选取的足够稠密,就避免漏掉具有明显场景的语义类别;图像间的视觉距离采用多区域集成匹配的相似性测度-推土机距离;图像间的语义距离度量采用潜在语义分析对图像标注字压缩处理,通过压缩后的标注向量之间的距离。
所述对每个场景语义类别生成特征场景空间的具体方法为:
视觉相似并且标注类似的图像聚集在一起构成了一个语义场景;视觉和语义内容的重点也就随之凸显出来,与之相应的图像区域和标注字就获得较高的权值;对每个语义类别按照视觉特征进行主元提取,形成特征场景空间,对每个特征场景空间采用混合模型方法对特征空间进行描述。
所述对每个特征场景空间建立相应的语义树的方法为:
对特征场景中的标注字,首先采用潜在语义分析方法,降低标注字的维数,将降维后的图像标注字向量之间的距离作为图像间的语义相似度;并通过计算图像间语义距离建立特征场景下的语义图,进一步采用规格化切分的二分算法将特定场景下的语义图转换为相应的语义二叉树,树的顶点对应场景中所有图像,出现频度较低的标注字的图像对应树的底端叶子节点。
本发明利用图像的视觉和语义(标注字)两个方面的信息对图像的场景进行聚类,用一组图像来突出一个特定的场景,增加标注的语义内容一致性。对于特定的场景,建立一个与之对应的语义树,其中根节点对应该场景出现频率最高的常用标注字,而叶子节点对应该场景内一些较为特别标注字。随着树的生长,相应叶子节点的标注字的出现频率逐渐降低。则在根节点处聚集了该场景的所有的训练图像,在树的不同的叶子节点处,训练图像会相应的减少。本发明充分利用了学习图像的标注字信息,对学习用的标注图像库进行自动的特征场景(eigen scenes)分类,确保在特定场景下的获得比较完善的视觉描述,从而提高通过图像视觉特征进行自动语义标注的可靠性。
一般来说,具有相似场景的图像之间应该存在较好的区域对应关系,因此我们利用图像区域匹配程度来检测图像是否具有一致的场景。但由于描述能力的不足,图像视觉特征存在更加明显的歧义性,视觉相似的图像无法保证语义内容的一致性。而图像的视觉特征和标注字之间却存在良好的互补性。两幅图像如果在视觉上呈现出一定的相似性,而且在所表达语义的标注字上也呈现出相关性,则说明这两幅图像的语义内容应该是一致的。
综上所述,本发明利用标注字和视觉信息对标注图像自动场景分类,提出了一个特征场景(eigen scenes)的概念,通过图像的视觉和语义(标注字)两方面的信息对场景进行聚类,每个场景得到一组图像,由于标注字的存在能够保证聚类结果的语义一致性。而对特定的场景,通过建立语义树,对待标注图像,通过判别其场景归属,再从该场景语义树的根部到叶子节点,得到相应的标注信息。
附图说明
图1是本发明的基于特征场景的图像标注算法流程图。
具体实施方式
下面结合图1对本发明的基于特征场景的图像标注方法做更详细的描述:
步骤1,采用图像分割算法对用于学习的标注图像进行分割,获得图像区域的视觉描述。
步骤2,对用于学习的标注图像进行自动的语义场景聚类。具体方法如下。
在用于学习的标注图像集中,选择高密度区域作为语义场景聚类中心。本发明采用共享最近邻聚类(Shared Nearest Neighbor,SNN)的方法先构造样本相似度矩阵,每个样本的近邻可以采用其视觉近邻和语义标注近邻的交集。接着再进行k最近邻的稀疏处理,并以此构造出最近邻图。通过统计出所有样本点的链接力度,以此确立聚类中心。最后依据确定的聚类中心和剩下的最近邻图来进行聚类处理,只要语义场景聚类中心选取的足够稠密,就可以避免漏掉具有明显场景的语义类别。图像间的视觉距离采用多区域集成匹配的相似性测度-推土机距离(Earth Mover’s Distance,EMD)。图像间的语义距离度量采用潜在语义分析对图像标注字压缩处理,通过压缩后的标注向量之间的距离,对于也可以采取类似的集成匹配方法,拟采用由美国Princeton大学的科研人员设计的英语词典WordNet(单词的网络)来衡量。
步骤3,对每个场景语义类别生成特征场景空间。具体方法如下。
通过步骤2,视觉相似并且标注类似的图像聚集在一起,就构成了一个语义场景。视觉和语义内容的重点也就随之凸显出来,与之相应的图像区域和标注字就可以获得较高的权值。对每个语义类别按照视觉特征进行PCA(Principal Component Analysis,主成分分析)主元提取,形成特征场景空间,对每个特征场景空间采用混合模型方法对特征空间进行描述。
步骤4,对每个特征场景空间建立相应的语义树。
对特征场景中的标注字,首先采用潜在语义分析方法,降低标注字的维数,将降维后的图像标注字向量之间的距离作为图像间的语义相似度;并通过计算图像间语义距离建立特征场景下的语义图,进一步采用N-Cut(Normalized Cut,规格化切分)的二分算法将特定场景下的语义图转换为相应的语义二叉树,树的顶点对应场景中所有图像,出现频度较低的标注字的图像对应树的底端叶子节点。
步骤5,对待标注图像向各个特征场景空间投影,并采用投影后的视觉特征对混合模型的拟合程度确定待标注图像的语义类别。对确定语义内容的图像,通过语义树,获得图像的最终标注。

Claims (5)

1.一种基于特征场景的图像标注方法,其特征是包括如下步骤:
步骤1,采用图像分割算法对用于学习的标注图像进行分割,获得图像区域的视觉描述;
步骤2,对用于学习的标注图像进行自动的语义场景聚类;
步骤3,对每个场景语义类别生成特征场景空间;
步骤4,对每个特征场景空间建立相应的语义树;
步骤5,对待标注图像向各个特征场景空间投影,并采用投影后的视觉特征对混合模型的拟合程度确定待标注图像的语义类别;对确定语义内容的图像,通过语义树,获得图像的最终标注。
2.根据权利要求1所述的基于特征场景的图像标注方法,其特征是所述对用于学习的标注图像进行自动的语义场景聚类的具体方法为:在用于学习的标注图像集中,选择高密度区域作为语义场景聚类中心;采用共享最近邻聚类的方法先构造样本相似度矩阵,每个样本的近邻采用其视觉近邻和语义标注近邻的交集;接着再进行k最近邻的稀疏处理,并以此构造出最近邻图;通过统计出所有样本点的链接力度,以此确立聚类中心;最后依据确定的聚类中心和剩下的最近邻图来进行聚类处理,只要语义场景聚类中心选取的足够稠密,就避免漏掉具有明显场景的语义类别;图像间的视觉距离采用多区域集成匹配的相似性测度-推土机距离;图像间的语义距离度量采用潜在语义分析对图像标注字压缩处理,通过压缩后的标注向量之间的距离。
3.根据权利要求1或2所述的基于特征场景的图像标注方法,其特征是所述对每个场景语义类别生成特征场景空间的具体方法为:视觉相似并且标注类似的图像聚集在一起构成了一个语义场景;视觉和语义内容的重点也就随之凸显出来,与之相应的图像区域和标注字就获得较高的权值;对每个语义类别按照视觉特征进行主元提取,形成特征场景空间,对每个特征场景空间采用混合模型方法对特征空间进行描述。
4.根据权利要求1或2所述的基于特征场景的图像标注方法,其特征是所述对每个特征场景空间建立相应的语义树的方法为:对特征场景中的标注字,首先采用潜在语义分析方法,降低标注字的维数,将降维后的图像标注字向量之间的距离作为图像间的语义相似度;并通过计算图像间语义距离建立特征场景下的语义图,进一步采用规格化切分的二分算法将特定场景下的语义图转换为相应的语义二叉树,树的顶点对应场景中所有图像,出现频度较低的标注字的图像对应树的底端叶子节点。
5.根据权利要求3所述的基于特征场景的图像标注方法,其特征是所述对每个特征场景空间建立相应的语义树的方法为:对特征场景中的标注字,首先采用潜在语义分析方法,降低标注字的维数,将降维后的图像标注字向量之间的距离作为图像间的语义相似度;并通过计算图像间语义距离建立特征场景下的语义图,进一步采用规格化切分的二分算法将特定场景下的语义图转换为相应的语义二叉树,树的顶点对应场景中所有图像,出现频度较低的标注字的图像对应树的底端叶子节点。
CN2010105170744A 2010-10-25 2010-10-25 基于特征场景的图像标注方法 Expired - Fee Related CN101963995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105170744A CN101963995B (zh) 2010-10-25 2010-10-25 基于特征场景的图像标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105170744A CN101963995B (zh) 2010-10-25 2010-10-25 基于特征场景的图像标注方法

Publications (2)

Publication Number Publication Date
CN101963995A true CN101963995A (zh) 2011-02-02
CN101963995B CN101963995B (zh) 2012-02-01

Family

ID=43516868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105170744A Expired - Fee Related CN101963995B (zh) 2010-10-25 2010-10-25 基于特征场景的图像标注方法

Country Status (1)

Country Link
CN (1) CN101963995B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298605A (zh) * 2011-06-01 2011-12-28 清华大学 基于有向图非等概率随机搜索的图像自动标注方法及装置
CN102436583A (zh) * 2011-09-26 2012-05-02 哈尔滨工程大学 基于对标注图像学习的图像分割方法
CN102637199A (zh) * 2012-02-29 2012-08-15 浙江大学 一种基于半监督主题建模的图像标注方法
CN102737244A (zh) * 2012-06-06 2012-10-17 哈尔滨工程大学 标注图像中区域与标注对应关系的确定方法
CN103268635A (zh) * 2013-05-15 2013-08-28 北京交通大学 一种几何网格场景模型的分割及语义标注方法
CN103365850A (zh) * 2012-03-27 2013-10-23 富士通株式会社 图像标注方法和图像标注装置
CN104217015A (zh) * 2014-09-22 2014-12-17 西安理工大学 基于互为共享最近邻的层次聚类方法
CN104252616A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸标注方法、装置及设备
CN105184307A (zh) * 2015-07-27 2015-12-23 蚌埠医学院 一种医学领域图像语义相似度矩阵的生成方法
CN106021406A (zh) * 2016-05-12 2016-10-12 南京大学 一种数据驱动的迭代式图像在线标注方法
CN106570910A (zh) * 2016-11-02 2017-04-19 南阳理工学院 基于自编码特征和近邻模型的图像自动标注方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN108304848A (zh) * 2018-01-10 2018-07-20 链家网(北京)科技有限公司 户型特征的自动提取方法、系统、电子设备和存储介质
CN108511073A (zh) * 2017-12-28 2018-09-07 王秀丽 一种基于网格技术的新生儿出生缺陷预警方法
CN109074487A (zh) * 2016-05-11 2018-12-21 微软技术许可有限责任公司 使用神经学读数将场景分割成语义分量
CN109857884A (zh) * 2018-12-20 2019-06-07 郑州轻工业学院 一种自动图像语义描述方法
CN110199525A (zh) * 2017-01-18 2019-09-03 Pcms控股公司 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
CN112883875A (zh) * 2021-02-22 2021-06-01 北京三快在线科技有限公司 图像聚类方法、装置、服务器及存储介质
CN115170449A (zh) * 2022-06-30 2022-10-11 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059872A1 (en) * 2006-09-05 2008-03-06 National Cheng Kung University Video annotation method by integrating visual features and frequent patterns
CA2726037A1 (en) * 2008-06-06 2009-12-10 Thomson Licensing System and method for similarity search of images
CN101620615A (zh) * 2009-08-04 2010-01-06 西南交通大学 一种基于决策树学习的自动图像标注与翻译的方法
CN101315663B (zh) * 2008-06-25 2010-06-09 中国人民解放军国防科学技术大学 一种基于区域潜在语义特征的自然场景图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059872A1 (en) * 2006-09-05 2008-03-06 National Cheng Kung University Video annotation method by integrating visual features and frequent patterns
CA2726037A1 (en) * 2008-06-06 2009-12-10 Thomson Licensing System and method for similarity search of images
CN101315663B (zh) * 2008-06-25 2010-06-09 中国人民解放军国防科学技术大学 一种基于区域潜在语义特征的自然场景图像分类方法
CN101620615A (zh) * 2009-08-04 2010-01-06 西南交通大学 一种基于决策树学习的自动图像标注与翻译的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《中国优秀硕士学位论文全文数据库信息科技辑》 20090831 魏昕路 自然图像语义标注的方法研究与应用 第1-73页 1-5 , 2 *
《中国博士学位论文全文数据库信息科技辑》 20091031 荚济民 基于互联网数据集的图像标注技术研究 第1-94页 1-5 , 2 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298605B (zh) * 2011-06-01 2013-04-17 清华大学 基于有向图非等概率随机搜索的图像自动标注方法及装置
CN102298605A (zh) * 2011-06-01 2011-12-28 清华大学 基于有向图非等概率随机搜索的图像自动标注方法及装置
CN102436583A (zh) * 2011-09-26 2012-05-02 哈尔滨工程大学 基于对标注图像学习的图像分割方法
CN102637199A (zh) * 2012-02-29 2012-08-15 浙江大学 一种基于半监督主题建模的图像标注方法
CN102637199B (zh) * 2012-02-29 2014-01-29 浙江大学 一种基于半监督主题建模的图像标注方法
CN103365850B (zh) * 2012-03-27 2017-07-14 富士通株式会社 图像标注方法和图像标注装置
CN103365850A (zh) * 2012-03-27 2013-10-23 富士通株式会社 图像标注方法和图像标注装置
CN102737244A (zh) * 2012-06-06 2012-10-17 哈尔滨工程大学 标注图像中区域与标注对应关系的确定方法
CN103268635A (zh) * 2013-05-15 2013-08-28 北京交通大学 一种几何网格场景模型的分割及语义标注方法
CN103268635B (zh) * 2013-05-15 2016-08-10 北京交通大学 一种几何网格场景模型的分割及语义标注方法
CN104252616B (zh) * 2013-06-28 2018-01-23 广州华多网络科技有限公司 人脸标注方法、装置及设备
CN104252616A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸标注方法、装置及设备
CN104217015B (zh) * 2014-09-22 2017-11-03 西安理工大学 基于互为共享最近邻的层次聚类方法
CN104217015A (zh) * 2014-09-22 2014-12-17 西安理工大学 基于互为共享最近邻的层次聚类方法
CN105184307A (zh) * 2015-07-27 2015-12-23 蚌埠医学院 一种医学领域图像语义相似度矩阵的生成方法
CN105184307B (zh) * 2015-07-27 2018-10-30 蚌埠医学院 一种医学领域图像语义相似度矩阵的生成方法
CN109074487A (zh) * 2016-05-11 2018-12-21 微软技术许可有限责任公司 使用神经学读数将场景分割成语义分量
CN106021406A (zh) * 2016-05-12 2016-10-12 南京大学 一种数据驱动的迭代式图像在线标注方法
CN106021406B (zh) * 2016-05-12 2019-06-25 南京大学 一种数据驱动的迭代式图像在线标注方法
CN106570910B (zh) * 2016-11-02 2019-08-20 南阳理工学院 基于自编码特征和近邻模型的图像自动标注方法
CN106570910A (zh) * 2016-11-02 2017-04-19 南阳理工学院 基于自编码特征和近邻模型的图像自动标注方法
US11663751B2 (en) 2017-01-18 2023-05-30 Interdigital Vc Holdings, Inc. System and method for selecting scenes for browsing histories in augmented reality interfaces
CN110199525B (zh) * 2017-01-18 2021-12-14 Pcms控股公司 用于在增强现实界面中浏览历史记录的系统和方法
CN110199525A (zh) * 2017-01-18 2019-09-03 Pcms控股公司 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN108511073A (zh) * 2017-12-28 2018-09-07 王秀丽 一种基于网格技术的新生儿出生缺陷预警方法
CN108304848A (zh) * 2018-01-10 2018-07-20 链家网(北京)科技有限公司 户型特征的自动提取方法、系统、电子设备和存储介质
CN109857884B (zh) * 2018-12-20 2023-02-07 郑州轻工业学院 一种自动图像语义描述方法
CN109857884A (zh) * 2018-12-20 2019-06-07 郑州轻工业学院 一种自动图像语义描述方法
CN112883875A (zh) * 2021-02-22 2021-06-01 北京三快在线科技有限公司 图像聚类方法、装置、服务器及存储介质
CN112883875B (zh) * 2021-02-22 2022-09-16 北京三快在线科技有限公司 图像聚类方法、装置、服务器及存储介质
CN115170449A (zh) * 2022-06-30 2022-10-11 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质
CN115170449B (zh) * 2022-06-30 2023-09-22 陕西科技大学 一种多模态融合场景图生成方法、系统、设备和介质

Also Published As

Publication number Publication date
CN101963995B (zh) 2012-02-01

Similar Documents

Publication Publication Date Title
CN101963995B (zh) 基于特征场景的图像标注方法
CN102254192B (zh) 基于模糊k近邻的三维模型半自动标注方法及系统
CN101923653B (zh) 一种基于多层次内容描述的图像分类方法
Wang et al. Combining global, regional and contextual features for automatic image annotation
Su et al. Visual word disambiguation by semantic contexts
CN102142089B (zh) 一种基于语义二叉树的图像标注方法
JP2012226744A (ja) 画質評価
CN103425757A (zh) 融合多模态信息的跨媒体人物新闻检索方法与系统
Weyand et al. Visual landmark recognition from internet photo collections: A large-scale evaluation
Cheng et al. Semantic modeling of natural scenes based on contextual Bayesian networks
CN103810303A (zh) 一种基于焦点对象识别和主题语义的图像搜索方法及系统
Papadopoulos et al. Image clustering through community detection on hybrid image similarity graphs
Yu et al. Leveraging probabilistic season and location context models for scene understanding
Zhao et al. Hybrid generative/discriminative scene classification strategy based on latent Dirichlet allocation for high spatial resolution remote sensing imagery
Sun et al. Support vector description of clusters for content-based image annotation
Lonn et al. Smartphone picture organization: A hierarchical approach
CN104778272A (zh) 一种基于区域挖掘和空间编码的图像位置估计方法
CN112632950A (zh) Ppt生成方法、装置、设备及计算机可读存储介质
Li et al. An Object Co-occurrence Assisted Hierarchical Model for Scene Understanding.
CN107423294A (zh) 一种社群图像检索方法及系统
Zemin et al. Image classification optimization algorithm based on SVM
Yu et al. Automatic image captioning system using integration of N-cut and color-based segmentation method
Ri et al. Bayesian network based semantic image classification with attributed relational graph
Liu et al. Multimodal Wireless Situational Awareness-Based Tourism Service Scene
Luo et al. Natural object detection in outdoor scenes based on probabilistic spatial context models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120201

Termination date: 20171025

CF01 Termination of patent right due to non-payment of annual fee