CN102122350B - 基于骨架化和模板匹配的交警手势识别方法 - Google Patents

基于骨架化和模板匹配的交警手势识别方法 Download PDF

Info

Publication number
CN102122350B
CN102122350B CN2011100452096A CN201110045209A CN102122350B CN 102122350 B CN102122350 B CN 102122350B CN 2011100452096 A CN2011100452096 A CN 2011100452096A CN 201110045209 A CN201110045209 A CN 201110045209A CN 102122350 B CN102122350 B CN 102122350B
Authority
CN
China
Prior art keywords
point
gesture
skeleton
traffic police
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011100452096A
Other languages
English (en)
Other versions
CN102122350A (zh
Inventor
方路平
曹平
李文杰
陈上万
李国鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN2011100452096A priority Critical patent/CN102122350B/zh
Publication of CN102122350A publication Critical patent/CN102122350A/zh
Application granted granted Critical
Publication of CN102122350B publication Critical patent/CN102122350B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种基于骨架化和模板匹配的交警手势识别方法,包括以下步骤:(1)提取交警关键手势,将手势序列图像进行二值化处理,并进行二值图像大小归一;(2)提取所述交警的关键手势的图像轮廓,采用轮廓删减进行骨架化处理,得到交警的关键手势图像的骨架,将各种交警关键手势对应的骨架存入模板库;(3)提取当前交警手势序列的关键图像,采用轮廓删减进行骨架化处理得到当前手势骨架,将当前手势骨架与所述模板库内的各个骨架进行匹配,找到最相似的骨架为当前交警手势骨架,得出交警手指的识别结果。本发明能在较低计算复杂度下保证识别结果的较高可靠性。

Description

基于骨架化和模板匹配的交警手势识别方法
技术领域
本发明涉及模式识别领域,特别涉及基于机器视觉的交警手势识别方法。
背景技术
随着社会经济的快速发展,城市交通拥挤已日趋全球化,日益恶劣的交通拥堵现象严重影响人们的日常生活,阻碍经济的发展。单单依靠交通指示灯的协调已经不能很好的满足现今交通的需要,利用交通警察手势控制的方式,将很好的弥补红绿灯在某些大型路口控制方面的不足。特别是在因为天气原因引起交通堵塞时,交警能根据现场的交通状况并通过交通手势来控制车流,使交通要道畅通、减少环境污染、节约能源、提高驾驶安全性等。伴随着计算机技术的不断进步,交警手势识别技术所依赖的机器视觉,模式识别,人机交互等相关技术日益成熟,交警手势识别技术越来越引起人们的重视。
目前,人体的动作识别技术大致可以分为两类:基于动作捕捉设备和基于视觉。基于动作捕捉设备需要在使用者身上安放一些传感器来捕捉空间和运动信息,传感器能快速并且准确地获得人体的动作数据用于实现手势的识别;基于视觉的动作识别是随着计算机视觉和图像处理技术的发展应运而生的,由于其对用户的运动限制少而日益受到重视。
现有的基于视觉的交警手势识别方法存在的技术缺陷是:不能兼顾计算的复杂度和结果可靠性;
发明内容
为了克服已有于视觉的交警手势识别方法的不能兼顾计算的复杂度和结果可靠性的不足,本发明提供一种能在较低计算复杂度下保证识别结果的较高可靠性的基于骨架化和模板匹配的交警手势识别方法。
本发明解决其技术问题所采用的技术方案是:
一种基于骨架化和模板匹配的交警手势识别方法,所述交警手势识别方法包括以下步骤:
(1)提取交警关键手势,将手势序列图像进行二值化处理,并进行二值图像大小归一,提取过程如下:
(1.1)根据交警手势的周期性,对手势序列图像采样并进行周期性检测;
(1.2)在一个周期内,计算各个目标图像轮廓中的像素点数;
(1.3)根据轮廓点数集合得到对应的波形图,找到波峰及波谷;
(1.4)找出波峰波谷所对应的二值图像即为交警的关键手势;
(2)采用轮廓删减进行骨架化处理,提取所述交警的关键手势的图像轮廓,将候选删除点范围缩小到轮廓点集合内;然后删除轮廓点集中的非骨架点,保留骨架点;重复上述过程,直到提取的轮廓中没有可以删除的点为止,剩下的不可删除的像素点集合即为交警的关键手势图像的骨架,将各种交警关键手势对应的骨架存入模板库;
(3)提取当前交警手势序列的关键图像,采用轮廓删减进行骨架化处理得到当前手势骨架,将当前手势骨架与所述模板库内的各个骨架进行匹配,找到最相似的骨架为当前交警手势骨架,得出交警手指的识别结果。
作为优选的一种方案:所述步骤(2)中,采用轮廓删减进行骨架化处理的过程如下:
(2.1)提取图像轮廓,将候选删除点范围缩小到轮廓点集合内,获取轮廓步骤如下:
(2.1.1)设置当前点P为空;
(2.1.2)按自左向右、从上到下的顺序搜索,直至找到一个目标像,设为当前点P,定义一个方向变量dir,存储从当前边界像素出发,相对于当前边界像素,沿着边界搜索下一个边界像素的开始方向,起始方向:dir=5;
(2.1.3)从P的dir方向开始按逆时针方向搜索其8-邻域,直至找到一个目标像素,设为当前点P;
(2.1.4)若P不是起始点,设置P点像素值为2,并将P插入轮廓向量V;
(2.1.5)从P的dir方向开始按逆时针方向搜索其8-邻域,直至找到一个目标像素并设为当前点P,若P为起始点,转到第(2.1.8)步;
(2.1.6)更新dir,若当前dir为斜角方向,则更新dir=(dir+4+2)%8;否则,更新dir=(dir+4+3)%8;
(2.1.7)若P点像素值为2,则转到第(2.1.5)步,否则转到第(2.1.4)步,搜索下一边界像素;
(2.1.8)轮廓提取结束;
(2.2)在得到目标图像轮廓以后,在轮廓点集合范围按8-领域及如下删除规则循环判断轮廓点集合内各个点是否是可删除的非骨架点;若有可删除的非骨架点,执行(2.3);若没有,则骨架化结束;删除规则如下:
a.内部点不能删除
b.孤立点不能删除,所述孤立点为8-领域内没有目标图像的像素点;
c.直线端点不能删除,所述直线端点为8-领域内只有1个目标图像的像素点;
d.边界点,若去除后增加连通分量,则不可以删除;所述边界点8-领域内只有2个或者3个目标图像的像素点;
(2.3)删除轮廓点集合内所有可删除的非骨架点,跳回(2.1)重新执行下一次细化。
进一步,所述步骤(3)中,所述匹配方法采用基于加权的Hausdorff距离的模板匹配,即计算当前骨架像素点集与模板库骨架像素点集之间的Hausdorff距离,距离最小者为匹配的模板。
本发明的技术构思为:骨架又称中轴,是一种性能优良的形状描述符,最初的骨架定义由Blum提出,包括烧草模型和最大圆盘圆心模型。与烧草模型对应的骨架化算法称为细化算法,该算法属于迭代类算法,能产生具有良好连通性的骨架,但具有较高复杂度。例如:Hilditch算法;与最大内切圆模型对应的骨架化算法称为距离变换算法,该算法属于非迭代类算法,能一次产生骨架,但是连通性没有保障。
本发明提出的基于轮廓删减的骨架化属于细化算法的一种,算法针对传统的细化算法如Hilditch算法在迭代过程中反复计算非候选删除点的弊端,提出了基于轮廓的删减法,即将当前删除点范围缩小到预先提取的轮廓中,避免了对轮廓内部点的比较判断,提高了细化效率。
模板匹配方法是实现离散输入模式分类的有效途径之一,其实质是度量输入模式与样本之间的某种相似性,取相似性最大者为输入模式所属类别。
本发明以交通指挥手势的骨架图像作为研究对象,通过计算关键帧与各模板帧之间的Hausdorff距离值,找到具有最小距离值的模板即为匹配的模板,进而找到该关键帧所属的手势类别,若一个手势序列中2/3或以上的关键帧都匹配于同一个手势类别,则认为该手势匹配与这一手势。
本发明的有益效果主要表现在:能在较低计算复杂度下保证识别结果的较高可靠性。
附图说明
图1是基于骨架化和模板匹配的交警手势识别算法框图,包括关键手势提取,骨架化以及识别三个过程;
图2是交警手势提取过程中从背景差分到大小归一这几个步骤的流程图;
图3是目标图像轮廓中点数量的波形图;
图4是左转弯手势序列中提取的关键手势图;
图5是8-领域标识图;
图6是骨架化效果图;
图7是交警手势分类及区域划分和权值设置。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图7,一种基于骨架化以及模板匹配的交通警察手势识别方法,包括交警关键手势提取,骨架化和识别三个过程:
(1)交警手势提取过程如下:
对当前帧和背景帧进行基于灰度的差分提取出运动物体并二值化,进行数字形态学闭运算,填充图像中可能存在的空洞,二值图像大小归一(每个图像帧高度为100像素),避免因图像帧大小而对后续交通指挥手势识别产生影响。例图2为左转弯手势图像从背景差分到大小归一示例。
关键手势提取过程:交通指挥手势具有明显的周期性,但各手势所花费的时间却是不固定的,为了去掉对手势识别无用的冗余帧的影响,在进行骨架化之前需要进行关键帧的筛选过程。对每个视频序列,每6帧取1帧连续取30帧做周期检测(也可以选取其他的周期)。然后计算每个样本图像轮廓点的数量,利用轮廓点数量的分布可以得到手势信号的波形,例图3为左转弯手势的轮廓点波形图。在手势波形图中,寻找波峰以及波谷作为关键样本,找出关键样本所对应的手势图像即为此交警手势动作的关键手势。例图4为提取的左转弯手势中的关键手势。
(2)基于轮廓删减的骨架化属于细化算法的一种,具体过程为:
(2.1)提取图像轮廓,将候选删除点范围缩小到轮廓点集合内,获取轮廓步骤如下:
(2.1.1).设置当前点P为空
(2.1.2).按自左向右、从上到下的顺序搜索,直至找到一个目标像,设为当前点P,定义一个方向变量dir,存储从当前边界像素出发,相对于当前边界像素,沿着边界搜索下一个边界像素的开始方向。起始方向:dir=5。
(2.1.3).从P的dir方向开始按逆时针方向搜索其8-邻域,直至找到一个目标像素,设为当前点P;
(2.1.4).若P不是起始点,设置P点像素值为2,并将P插入轮廓向量V;
(2.1.5).从P的dir方向开始按逆时针方向搜索其8-邻域,直至找到一个目标像素并设为当前点P,若P为起始点,转到第8步;
(2.1.6).更新dir,若当前dir为斜角方向,则更新dir=(dir+4+2)%8;否则,更新dir=(dir+4+3)%8;
(2.1.7).若P点像素值为2,则转到第5步,否则转到第4步,搜索下一边界像素;
(2.1.8).轮廓提取算法结束.
(2.2)在得到目标图像轮廓以后,在轮廓点集合范围按8-领域(如图5所示)及如下删除规则循环判断轮廓点集合内各个点是否是可删除的非骨架点。若有可删除的非骨架点,执行(2.3);若没有,则骨架化结束。删除规则如下:
a.内部点不能删除;
b.孤立点不能删除,所述孤立点为8-领域内没有目标图像的像素点;
c.直线端点不能删除,所述直线端点为8-领域内只有1个目标图像的像素点;
d.边界点,若去除后增加连通分量,则不可以删除;所述边界点8-领域内只有2个或者3个目标图像的像素点;
(2.3)删除轮廓点集合内所有可删除的非骨架点(设置像素点像素值为255)。跳回(2.1)重新执行下一次细化。
左转弯手势骨架化结果如例图6所示。
本实施例以交通指挥手势的骨架图像作为研究对象,通过计算关键帧与各模板帧之间的Hausdorff距离值,找到具有最小距离值的模板即为匹配的模板,进而找到该关键帧所属的手势类别,若一个手势序列中2/3或以上的关键帧都匹配于同一个手势类别,则认为该手势匹配与这一手势。
通过分析各交通指挥手势可以发现,不同的手势的区别集中于手臂的分布,以此本发明根据手势信息的主次即手臂信息将手势区域分成若干区域,并对不同的区域设置不同的权值,例如例图4中三个手势的区别集中于中间偏左的手臂区域,该区域在识别时至关重要,因为需对次区域设置比较重的权值。根据各交通指挥手势骨架的相似性,本实施例将交警手势其分为4类并为不同的区域设置不同的权重,如例图7所示。
本实施例采用基于骨架化结合Hausdorff距离匹配的方法实现了基于视觉的交通指挥手势识别。首先从视频序列中提取出交警的关键手势,然后将关键手势骨架化,最后使用加权的Hausdorff距离方法计算当前骨架像素点集与模板库骨架像素点集之间的Hausdorff距离,距离最小者为匹配的模板;最后通过统计所有关键图像匹配的结果,得出交警手势的识别结果。

Claims (2)

1.一种基于骨架化和模板匹配的交警手势识别方法,其特征在于:所述交警手势识别方法包括以下步骤:
(1)提取交警关键手势,将手势序列图像进行二值化处理,并进行二值图像大小归一,提取过程如下:
(1.1)根据交警手势的周期性,对手势序列图像采样并进行周期性检测;
(1.2)在一个周期内,计算各个目标图像轮廓中的像素点数;
(1.3)根据轮廓点数集合得到对应的波形图,找到波峰及波谷;
(1.4)找出波峰波谷所对应的二值图像即为交警的关键手势;
(2)采用轮廓删减进行骨架化处理,提取所述交警的关键手势的图像轮廓,将候选删除点范围缩小到轮廓点集合内;然后删除轮廓点集中的非骨架点,保留骨架点;重复上述过程,直到提取的轮廓中没有可以删除的点为止,剩下的不可删除的像素点集合即为交警的关键手势图像的骨架,将各种交警关键手势对应的骨架存入模板库;
(3)提取当前交警手势序列的关键图像,采用轮廓删减进行骨架化处理得到当前手势骨架,将当前手势骨架与所述模板库内的各个骨架进行匹配,找到最相似的骨架为当前交警手势骨架,得出交警手指的识别结果;
所述步骤(2)中,采用轮廓删减进行骨架化处理的过程如下:
(2.1)提取图像轮廓,将候选删除点范围缩小到轮廓点集合内,获取轮廓步骤如下:
(2.1.1)设置当前点P为空;
(2.1.2)按自左向右、从上到下的顺序搜索,直至找到一个目标像,设为当前点P,定义一个方向变量dir,存储从当前边界像素出发,相对于当前边界像素,沿着边界搜索下一个边界像素的开始方向,起始方向:dir=5;
(2.1.3)从P的dir方向开始按逆时针方向搜索其8-邻域,直至找到一个目标像素,设为当前点P;
(2.1.4)若P不是起始点,设置P点像素值为2,并将P插入轮廓向量V;
(2.1.5)从P的dir方向开始按逆时针方向搜索其8-邻域,直至找到一个目标像素并设为当前点P,若P为起始点,转到第(2.1.8)步;
(2.1.6)更新dir,若当前dir为斜角方向,则更新dir=(dir+4+2)%8;否则,更新dir=(dir+4+3)%8;
(2.1.7)若P点像素值为2,则转到第(2.1.5)步,否则转到第(2.1.4)步,搜索下一边界像素;
(2.1.8)轮廓提取结束;
(2.2)在得到目标图像轮廓以后,在轮廓点集合范围按8-领域及如下删除规则循环判断轮廓点集合内各个点是否是可删除的非骨架点,若有可删除的非骨架点,执行(2.3);若没有,则骨架化结束;删除规则如下:
a.内部点不能删除;
b.孤立点不能删除,所述孤立点为8-领域内没有目标图像的像素点;
c.直线端点不能删除,所述直线端点为8-领域内只有1个目标图像的像素点;
d.边界点,若去除后增加连通分量,则不可以删除;所述边界点8-领域内只有2个或者3个目标图像的像素点;
(2.3)删除轮廓点集合内所有可删除的非骨架点,跳回(2.1)重新执行下一次细化。
2.如权利要求1所述的基于骨架化和模板匹配的交警手势识别方法,其特征在于:所述步骤(3)中,所述匹配方法采用基于加权的Hausdorff距离的模板匹配,即计算当前骨架像素点集与模板库骨架像素点集之间的Hausdorff距离,距离最小者为匹配的模板。
CN2011100452096A 2011-02-24 2011-02-24 基于骨架化和模板匹配的交警手势识别方法 Expired - Fee Related CN102122350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100452096A CN102122350B (zh) 2011-02-24 2011-02-24 基于骨架化和模板匹配的交警手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100452096A CN102122350B (zh) 2011-02-24 2011-02-24 基于骨架化和模板匹配的交警手势识别方法

Publications (2)

Publication Number Publication Date
CN102122350A CN102122350A (zh) 2011-07-13
CN102122350B true CN102122350B (zh) 2012-08-22

Family

ID=44250904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100452096A Expired - Fee Related CN102122350B (zh) 2011-02-24 2011-02-24 基于骨架化和模板匹配的交警手势识别方法

Country Status (1)

Country Link
CN (1) CN102122350B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718908B (zh) * 2016-01-25 2018-11-16 大连楼兰科技股份有限公司 一种基于衣帽特征与姿态检测的交警检测方法和系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI448918B (zh) 2011-09-09 2014-08-11 Pixart Imaging Inc 光學觸控系統
CN103019457A (zh) * 2011-09-23 2013-04-03 原相科技股份有限公司 光学触控系统
CN102528811B (zh) * 2011-12-19 2014-06-18 上海交通大学 托克马克腔内的机械臂定位与避障系统
CN103577793B (zh) * 2012-07-27 2017-04-05 中兴通讯股份有限公司 手势识别方法及装置
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
DE102013219038A1 (de) * 2013-09-23 2015-03-26 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung eines Verkehrspolizisten durch ein Fahrerassistenzsystem eines Kraftfahrzeugs sowie ein Fahrerassistenzsystem
CN104123007B (zh) * 2014-07-29 2017-01-11 电子科技大学 一种多维加权的3d动态手势识别方法
CN106527674A (zh) * 2015-09-14 2017-03-22 上海羽视澄蓝信息科技有限公司 一种车载单目摄像机人机交互方法、设备及系统
CN105389586B (zh) * 2015-10-20 2019-01-29 浙江大学 一种基于计算机视觉自动检测虾体完整性的方法
CN105740776B (zh) * 2016-01-25 2019-02-12 大连楼兰科技股份有限公司 基于衣帽特征与姿态检测的交警检测方法和系统
CN105893951B (zh) * 2016-03-29 2020-04-10 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统
CN106843472B (zh) * 2016-12-28 2020-01-03 歌尔科技有限公司 手势识别方法和装置、虚拟现实设备、可编程设备
CN106886751A (zh) * 2017-01-09 2017-06-23 深圳数字电视国家工程实验室股份有限公司 一种手势识别方法和系统
CN107194402B (zh) * 2017-04-02 2020-07-03 南京汇川图像视觉技术有限公司 一种并行细化骨架提取方法
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术(北京)有限公司 应用于视频直播的交互方法和装置
CN108334880B (zh) * 2018-01-12 2021-11-26 东南大学 一种搭建针对手势检测的深度学习网络结构的方法及系统
CN108520205B (zh) * 2018-03-21 2022-04-12 安徽大学 一种基于Citation-KNN的人体动作识别方法
CN108491820B (zh) 2018-04-02 2022-04-12 京东方科技集团股份有限公司 图像中肢体表示信息的识别方法、装置及设备、存储介质
CN108830148A (zh) * 2018-05-04 2018-11-16 北京汽车集团有限公司 交通手势识别方法、装置、计算机可读存储介质及车辆
CN108846387B (zh) * 2018-07-12 2021-08-20 北京航空航天大学 一种交警手势识别方法及装置
CN109508659A (zh) * 2018-10-31 2019-03-22 绍兴文理学院 一种用于人行横道的人脸识别系统及方法
CN111382723A (zh) * 2020-03-30 2020-07-07 北京云住养科技有限公司 求救识别的方法、装置及系统
CN113297893A (zh) * 2021-02-05 2021-08-24 深圳高通半导体有限公司 笔画轮廓点集的提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201230341Y (zh) * 2008-05-13 2009-04-29 梁斌 一种手持终端
CN101739834A (zh) * 2008-11-13 2010-06-16 黑龙江大学 基于手势识别的多功能无线交警手势识别系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201230341Y (zh) * 2008-05-13 2009-04-29 梁斌 一种手持终端
CN101739834A (zh) * 2008-11-13 2010-06-16 黑龙江大学 基于手势识别的多功能无线交警手势识别系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718908B (zh) * 2016-01-25 2018-11-16 大连楼兰科技股份有限公司 一种基于衣帽特征与姿态检测的交警检测方法和系统

Also Published As

Publication number Publication date
CN102122350A (zh) 2011-07-13

Similar Documents

Publication Publication Date Title
CN102122350B (zh) 基于骨架化和模板匹配的交警手势识别方法
Kim et al. Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs
Zhang et al. Robust visual tracking based on online learning sparse representation
CN107038424B (zh) 一种手势识别方法
CN102831404B (zh) 手势检测方法及系统
CN102855461B (zh) 在图像中检测手指的方法及设备
Min et al. Traffic sign recognition based on semantic scene understanding and structural traffic sign location
CN103310466A (zh) 一种单目标跟踪方法及其实现装置
CN103295016A (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
Gao et al. Extended compressed tracking via random projection based on MSERs and online LS-SVM learning
CN102402289A (zh) 一种基于机器视觉的手势鼠标识别方法
Xu et al. Recognition of handwritten Chinese characters based on concept learning
CN110135237B (zh) 一种手势识别方法
CN103870071A (zh) 一种触摸源识别方法及系统
CN104504381A (zh) 非刚体目标检测方法及其系统
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
He et al. Fast online multi-pedestrian tracking via integrating motion model and deep appearance model
CN109583294A (zh) 一种基于运动生物力学的多模式人体行为识别方法
CN104021372A (zh) 一种人脸识别方法及装置
Choudhury et al. A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition
Sarma et al. Hand gesture recognition using deep network through trajectory-to-contour based images
Zheng et al. Dim target detection method based on deep learning in complex traffic environment
Jingtian et al. 2D human pose estimation from monocular images: a survey
Zhu et al. An adaptive superpixel based hand gesture tracking and recognition system
CN116615666A (zh) 针对具有丢帧的数据集的序列处理

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120822

CF01 Termination of patent right due to non-payment of annual fee