CN202512439U - 一种网络摄像头与可穿戴式传感器的人机协作系统 - Google Patents

一种网络摄像头与可穿戴式传感器的人机协作系统 Download PDF

Info

Publication number
CN202512439U
CN202512439U CN2012200659265U CN201220065926U CN202512439U CN 202512439 U CN202512439 U CN 202512439U CN 2012200659265 U CN2012200659265 U CN 2012200659265U CN 201220065926 U CN201220065926 U CN 201220065926U CN 202512439 U CN202512439 U CN 202512439U
Authority
CN
China
Prior art keywords
microcomputer
wearable
fitpc2
pioneer
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2012200659265U
Other languages
English (en)
Inventor
陶重犇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN2012200659265U priority Critical patent/CN202512439U/zh
Application granted granted Critical
Publication of CN202512439U publication Critical patent/CN202512439U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

该实用新型涉及一种网络摄像头与可穿戴式传感器的人机协作系统，该装置主要包括Kinect摄像头(1)、三脚架(2)、URG-04LX激光测距仪(3)、Pioneer3DX移动机器人(7)、电池(8)和微型计算机FitPC2(9)。实验者将可穿戴式方向传感器(36)固定在手腕上，进入Kinect摄像头(1)的扫描范围，做出设定好的动作。Kinect摄像头(1)检测到实验者手势后，将手势图像送入微型计算机中作为一个输入量；同时可穿戴式方向传感器(36)不断将获取到的手势方向信息送到微型计算机中作为另一个输入量。微型计算机首先利用神经网络和隐马尔可夫模型融合图像和方向信息这两种输入量，接着将融合以后的结果与微型计算机数据库中的模板数据进行匹配，得到相应的手势命令，并根据手势命令控制移动机器人(7)进行相应的运动。

Description

一种网络摄像头与可穿戴式传感器的人机协作系统
技术领域
该实用新型涉及一种网络摄像头与可穿戴式传感器的人机协作系统，属于电子技术、传感技术和计算机技术等领域。 
背景技术
随着社会的老龄化趋势越来越明显，对于利用机器人辅助人类日常生活的需要也越来越迫切。机器人只有接收到人发出的指令才能在日常生活中完成许多任务，包括房屋清洗、安全保卫、护理、娱乐等。然而，目前常见的人机交互方式是通过一些遥控设备，比如键盘、操纵杆等，来实现对机器人的控制。这类传统方法的缺点是需要使用外部计算机来辅助人实现对机器人的操控。因此，需要一种更为简单有效的方式进行人机交互。目前向机器人传达控制命令的方式有两大类，一类是语音方式，另一类是人体动作方式。其中基于计算机视觉来识别某种动作，称之为基于视觉的人体动作识别。 
发明内容
针对现有技术的缺点，本实用新型的目的是提出一种结构简单、模块化的网络摄像头与可穿戴式传感器的人机协作系统。本系统主要有两大模块组成，第一个模块是安装有Kinect三目摄像头的Pioneer 3DX移动机器人模块，如附图1所示。第二个模块是可穿戴式传感器系统模块，如附图8所示。 
一种网络摄像头与可穿戴式传感器的人机协作系统硬件主要包括Kinect三目摄像头(1)、三脚架(2)、URG-04LX激光测距仪(3)、上层有机玻璃板(4)、右横梁(5)、下层有机玻璃板(6)、Pioneer 3DX移动机器人(7)、电池(8)、微型计算机FitPC2(9)、左横梁(10)、迷你冷却风扇(11)、控制面板(12)、前部环形声纳(13)、驱动轮(14)、尾轮(15)、蓄电池检修门(16)、后部环形声纳(17)、插口(18)、电源开关(19)、SD存储卡卡槽(20)、RS232接口(21)、USB接口(22)、电源(23)、WiFi无线局域网(24)、语音输出(25)、网口(26)、语音输入(27)、USB口(28)、重置键(29)、数字视频系统(30)、3D深度传感器(31)、RGB摄像头(32)、多声道麦克风(33)、可移动底座(34)、微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)、ZigBee接收器(40)、USB接口(41)、可穿戴式方向传感器(42)。移动机器车Pioneer 3DX (7)上部有一个两层的有机玻璃支撑台。利用左右两根钢铁支撑架(10)(5)将上层玻璃挡板(4)和下层玻璃挡板(6)垂直连接并固定在移动机器车Pioneer 3DX (7)上。固定在上层有机玻璃挡板(4)上的是URG-04LX激光测距仪(3)，它的测量范围在20mm到4094mm之间，扫描范围2400,扫描速率100 ms/scan，距离精确度±3%，角分辨率为0.360；固定在下层玻璃挡板(6)和移动机器车Pioneer 3DX (7)之间的是微型计算机FitPC2 (9)，它是一台轻巧的微处理计算机；固定在上层有机玻璃挡板(4)和下层玻璃挡板(6)之间的是微型计算机FitPC2(9)的供电电源；由于微型计算机FitPC2 (9)内部没有散热风扇，无法散热。因此为其配备一台冷却风扇(11)，使其能长时间工作。冷却风扇(11)固定在移动机器车Pioneer 3DX (7)上；移动机器人Pioneer 3DX (7)是一种商业化的移动平台。它通过串口读取传感器数据和发送对移动机器人马达的控制命令；另外，将Kinect三目摄像头(1)固定在三脚架(2)的顶端。Kinect三目摄像头(1)是一种网络型的摄像头，它是微软公司一款游戏设备Xbox 360 操控台的一个外部设备，通过USB口与计算机相连。它具有三项功能，包括3-D成像、音频处理和马达控制。本系统只用到Kinect摄像头(1)部分，包括RGB摄像头和深度传感器。它的有效感应范围在0.4米到4米之内，视角垂直范围是±430，水平范围±570，帧频(深度及色彩)30fps。 
可穿戴式传感器系统主要由可穿戴式方向传感器VN-100(42)和ZigBee接收器(40)组成，其中可穿戴式方向传感器(42)由微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)五部分组成。可穿戴式方向传感器VN-100(42)是一种用于高精度方向测量的传感器，它是航天工业中姿态航向参考系统的一部分。它能提供三个不同的角度测量值(俯、仰、滚)，这三个角度测量值在本系统中用来判断是哪种类型的动作。 
一种网络摄像头与可穿戴式传感器的人机协作系统软件部分由机器人操作系统(Robot Operating System, ROS)构成。这是一种开源的元操作系统，它提供的服务类似于真实操作系统，包括硬件抽象、低端设备控制、常用函数实现、进程之间的信息传输以及软件包管理。 
ROS有两个基本的部分，一部分是ROS的核心部分，它的作用相当于一个“操作系统”。这部分的基本功能是可以跟一台带有无线通信功能并运行ROS操作系统的电脑进行无线通信，并能远程遥控移动机器人运动。另一个部分的程序包是为整个ROS社区服务。ROS社区指的是所有使用ROS操作系统的个人、研究团体和科研院所都可以将开源的代码共享到ROS社区中。并且这些代码可以很容易的下载并移植到其他移动机器人平台或传感器平台上。利用这些代码就能在这个平台上实现目标检测、目标追踪、目标识别、定位、建图以及自动导航等功能。 
该装置的有益之处是设计一种模块化的网络摄像头与可穿戴式传感器的人机协作系统，为移动机器人和人相互协作进行远程遥控、目标检测识别、目标追踪、自动导航等提供了一种新的研究平台。 
附图说明
下面结合附图对本实用新型做进一步描述。 
图1安装有Kinect摄像头的Pioneer 3DX移动机器人结构实意图；图2移动机器人Pioneer 3DX主视图(1)和底部俯视图(2)；图3微型计算机FitPC2的主视图和背面的主视图；图4 Kinect 摄像头主视图；图5可穿戴式方向传感器主视图和背面的主视图；图6 ZigBee接收器主视图；图7 URG-04LX激光测距仪主视图；图8可穿戴式传感器系统示意图；图9 Kinect摄像头与可穿戴式传感器的人机协作系统示意图；图10 手势示意图。 
图中：1是 Kinect摄像头，2是三脚架，3是URG-04LX激光测距仪、4是上层有机玻璃板、5是右横梁、6是下层有机玻璃板、7是Pioneer 3DX移动机器人、8是电池，9是微型计算机FitPC2，10是左横梁，11是迷你冷却风扇，12是控制面板，13是前部环形声纳，14是驱动轮，15是尾轮，16是蓄电池检修门，17是后部环形声纳，18是插口，19是电源开关，20是SD存储卡卡槽，21是RS232接口，22是USB接口，23是电源，24是WiFi无线局域网，25是语音输出，26是网口，27是语音输入，28是USB口，29是重置键，30是数字视频系统，31是3D深度传感器，32是RGB摄像头，33是多声道麦克风，34是可移动底座，35是微型控制器，36是电池，37是基于ZigBee技术的无线传输模块，38是微型加速度传感器，39是微型方向传感器，40是ZigBee接收器，41是USB接口，42是可穿戴式方向传感器，43是手臂佩戴有方向传感器的实验者，44是获取姿态，45是Kinect摄像头获取的人体骨架图，46是将人体动作图像送入到微型计算机进行动作识别，47是通过可穿戴式方向传感器获取动作数据，48是俯、仰、滚三个方向的数据，49是通过ZigBee网络送入人体动作角度数据到计算机进行动作识别，50是发送指令控制移动机器人进行相应的动作，51是装有Kinect 摄像头的Pioneer 3DX移动机器人，52是向后运动手势，53是向前运动手势，54是停止运动手势。 
具体实施方式
参见附图，包括安装有Kinect摄像头的Pioneer 3DX移动机器人(51)包括Kinect摄像头(1)、三脚架(2)、URG-04LX激光测距仪(3)、上层有机玻璃板(4)、右横梁(5)、下层有机玻璃板(6)、Pioneer 3DX移动机器人(7)、电池(8)、微型计算机FitPC2(9)、左横梁(10)、迷你冷却风扇(11)；微型计算机FitPC2 (9)包括电源开关(19)、SD存储卡卡槽(20)、RS232接口(21)、USB接口(22)、电源(23)、WiFi无线局域网(24)、语音输出(25)、网口(26)、语音输入(27)、USB口(28)、重置键(29)、数字视频系统(30)；Kinect摄像头(1)包括 3D深度传感器(31)、RGB摄像头(32)、多声道麦克风(33)、可移动底座(34)；可穿戴式传感器系统包括微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)、ZigBee接收器(40)；URG-04LX激光测距仪(3)包括USB接口(41)； 
启动微型计算机FitPC2 (9)，启动移动机器人Pioneer 3DX (7)，开启Kinect摄像头(1)，开启URG-04LX激光测距仪(3)，开启可穿戴式方向传感器(42)。首先在已经开启的微型计算机FitPC2 (9)上运行机器人操作系统ROS，并启动Kinect摄像头(1)人体骨架检测程序、ZigBee接收器(40)信号接受程序、人体手势识别程序、移动机器人运动控制程序和障碍物检测避障程序。通过USB口与微型计算机FitPC2 (9)相连的Kinect摄像头(1)、URG-04LX激光测距仪(3)和ZigBee接收器(40)都可以在ROS系统中使用。实验者将可穿戴式方向传感器(42)固定在左手手腕上，同时进入Kinect摄像头(1)的视觉范围，做出已经设定好的动作。本系统为实验设定了三种类型的手势动作，如附图10所示。分别是向后运动手势(手臂向后摆动)(52)、向前运动手势(手臂向前摆动) (53)和停止运动手势(手臂左右摆动) (54)。这三种类型的手势动态信息(包括图像和方向信息)作为模板储存在微型计算机FitPC2 (9)的数据库中。Kinect摄像头(1)检测到实验者相应手势以后，将人体手势动作图像送入微型计算机FitPC2 (9)中作为一个输入量；同时可穿戴式方向传感器(42)不断获取手势的俯、仰、滚三个方向信息，它将这些方向信息通过ZigBee无线通信网络发送到连接在微型计算机FitPC2 (9)上的ZigBee接收器(40)，ZigBee接收器(40)将收到的信息作为另一个输入量不间断的送入微型计算机FitPC2 (9)。微型计算机FitPC2 (9)首先利用神经网络和隐马尔可夫模型融合图像和方向信息这两种输入量，接着将融合以后的结果与微型计算机FitPC2 (9)数据库中的模板数据进行匹配，得到相应的手势命令。最后根据手势命令，微型计算机FitPC2 (9)控制移动机器人Pioneer 3DX (7)进行相应的运动。另外，使用URG-04LX激光测距仪(3)进行障碍物检测，当前方有障碍物时，移动机器人Pioneer 3DX (7)采取避障运动。Kinect摄像头与可穿戴式传感器的人机协作系统示意图如附图9所示。 
本实施例中，上层挡板(4)和下层挡板(6)均为有机玻璃制成，具有坚固和重量轻的特点。根据需要可以不断增加挡板的数量，以便放置更多的硬件设备。使用商用的三脚架作为摄像头的支撑架，不但价格便宜、重量轻、利于装卸，而且该种类型的三脚架具有伸缩功能，能根据实际需要升高或降低摄像头的测量高度。 
本实施例中，Kinect摄像头(1)采用Microsoft 公司生产的三摄像头。 
本实施例中，微型计算机(9)采用CompuLab公司生产的FitPC2微型计算机，该型计算机能运行Windows和Linux两类操作系统。这里用到了Linux版本的FitPC2微型计算机(9)运行机器人操作系统ROS。 
本实施例中，可穿戴式方向传感器VN-100(42)采用Vectornav公司生产的VN-100型方向传感器。 
本实施例中，URG-04LX激光测距仪(3)采用Hokuyo公司的LRF URG-04LX型激光测距仪。 
本实施例中，FitPC2微型计算机(9)采用12V直流电源供电；可穿戴式方向传感器VN-100(42)采用5V直流电源供电；Kinect摄像头(1)、URG-04LX激光测距仪(3)和ZigBee接收器(40)采用USB接口供电。 

Claims (1)

1.一种网络摄像头与可穿戴式传感器的人机协作系统，其特征是该装置包括Kinect三目摄像头(1)、三脚架(2)、URG-04LX激光测距仪(3)、上层有机玻璃板(4)、右横梁(5)、下层有机玻璃板(6)、Pioneer 3DX移动机器人(7)、电池(8)、微型计算机FitPC2(9)、左横梁(10)、迷你冷却风扇(11)、控制面板(12)、前部环形声纳(13)、驱动轮(14)、尾轮(15)、蓄电池检修门(16)、后部环形声纳(17)、插口(18)、电源开关(19)、SD存储卡卡槽(20)、RS232接口(21)、USB接口(22)、电源(23)、WiFi无线局域网(24)、语音输出(25)、网口(26)、语音输入(27)、USB口(28)、重置键(29)、数字视频系统(30)、3D深度传感器(31)、RGB摄像头(32)、多声道麦克风(33)、可移动底座(34)、微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)、ZigBee接收器(40)、USB接口(41)、可穿戴式方向传感器(42)；移动机器车Pioneer 3DX (7)上部有一个两层的有机玻璃支撑台；利用左右两根钢铁支撑架(10、5)将上层玻璃挡板(4)和下层玻璃挡板(6)垂直连接并固定在移动机器车Pioneer 3DX (7)上；固定在上层有机玻璃挡板(4)上的是URG-04LX激光测距仪(3)；固定在下层玻璃挡板(6)和移动机器车Pioneer 3DX (7)之间的是微型计算机FitPC2 (9)，它是一台轻巧的微处理计算机；固定在上层有机玻璃挡板(4)和下层玻璃挡板(6)之间的是微型计算机FitPC2(9)的供电电源；由于微型计算机FitPC2 (9)内部没有散热风扇，无法散热；因此为其配备一台冷却风扇(11)，使其能长时间工作；冷却风扇(11)固定在移动机器车Pioneer 3DX (7)上；另外，将Kinect摄像头(1)固定在三脚架(2)的顶端；可穿戴式传感器系统主要由可穿戴式方向传感器VN-100(42)和ZigBee接收器(40)组成，其中可穿戴式方向传感器(42)由微型控制器(35)、电池(36)、基于ZigBee技术的无线传输模块(37)、微型加速度传感器(38)、微型方向传感器(39)五部分组成。
CN2012200659265U 2012-02-28 2012-02-28 一种网络摄像头与可穿戴式传感器的人机协作系统 Expired - Fee Related CN202512439U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012200659265U CN202512439U (zh) 2012-02-28 2012-02-28 一种网络摄像头与可穿戴式传感器的人机协作系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012200659265U CN202512439U (zh) 2012-02-28 2012-02-28 一种网络摄像头与可穿戴式传感器的人机协作系统

Publications (1)

Publication Number Publication Date
CN202512439U true CN202512439U (zh) 2012-10-31

Family

ID=47064907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012200659265U Expired - Fee Related CN202512439U (zh) 2012-02-28 2012-02-28 一种网络摄像头与可穿戴式传感器的人机协作系统

Country Status (1)

Country Link
CN (1) CN202512439U (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136541A (zh) * 2013-03-20 2013-06-05 上海交通大学 基于深度摄像头的双手三维非接触式动态手势识别方法
CN104970754A (zh) * 2015-06-25 2015-10-14 云南电网有限责任公司电力科学研究院 一种基于Kinect传感器手势控制内窥镜光纤的方法
CN105643590A (zh) * 2016-03-31 2016-06-08 河北工业大学 一种手势控制的轮式移动机器人及其操作方法
CN106020494A (zh) * 2016-06-20 2016-10-12 华南理工大学 基于移动跟踪的三维手势识别方法
CN106772423A (zh) * 2016-11-11 2017-05-31 中国船舶重工集团公司第七�三研究所 一种智能水下激光主动成像装置和成像方法
CN107336238A (zh) * 2017-06-30 2017-11-10 北京建筑大学 全方位移动机器人的控制系统
WO2018032673A1 (zh) * 2016-08-19 2018-02-22 乐鑫信息科技（上海）有限公司 集成声呐的物联网设备及其适用的空间环境探测系统
CN107891425A (zh) * 2017-11-21 2018-04-10 北方民族大学 智能双臂安全协作人机共融型机器人系统的控制方法
CN108374968A (zh) * 2018-04-02 2018-08-07 镇江市建科工程质量检测中心有限公司 一种自动行走支撑底座及三脚架
CN108838997A (zh) * 2018-07-25 2018-11-20 安徽信息工程学院 新型木质机器人
CN109153122A (zh) * 2016-06-17 2019-01-04 英特尔公司 基于视觉的机器人控制系统
CN109635648A (zh) * 2018-11-05 2019-04-16 上海鲸鱼机器人科技有限公司 机器人及其控制方法
CN111702787A (zh) * 2020-04-15 2020-09-25 上海工程技术大学 人机协作控制系统及控制方法
CN112037879A (zh) * 2019-06-03 2020-12-04 萧亚洲 个人智能化饮食监控模块以及方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136541A (zh) * 2013-03-20 2013-06-05 上海交通大学 基于深度摄像头的双手三维非接触式动态手势识别方法
CN103136541B (zh) * 2013-03-20 2015-10-14 上海交通大学 基于深度摄像头的双手三维非接触式动态手势识别方法
CN104970754A (zh) * 2015-06-25 2015-10-14 云南电网有限责任公司电力科学研究院 一种基于Kinect传感器手势控制内窥镜光纤的方法
CN104970754B (zh) * 2015-06-25 2016-09-28 云南电网有限责任公司电力科学研究院 一种基于Kinect传感器手势控制内窥镜光纤的方法
CN105643590A (zh) * 2016-03-31 2016-06-08 河北工业大学 一种手势控制的轮式移动机器人及其操作方法
CN109153122A (zh) * 2016-06-17 2019-01-04 英特尔公司 基于视觉的机器人控制系统
CN106020494A (zh) * 2016-06-20 2016-10-12 华南理工大学 基于移动跟踪的三维手势识别方法
CN106020494B (zh) * 2016-06-20 2019-10-18 华南理工大学 基于移动跟踪的三维手势识别方法
WO2018032673A1 (zh) * 2016-08-19 2018-02-22 乐鑫信息科技（上海）有限公司 集成声呐的物联网设备及其适用的空间环境探测系统
US11105906B2 (en) 2016-08-19 2021-08-31 Espressif Systems (Shanghai) Co., Ltd. Sonar-integrated internet of things device and applicable spatial environment detection system thereof
CN106772423A (zh) * 2016-11-11 2017-05-31 中国船舶重工集团公司第七�三研究所 一种智能水下激光主动成像装置和成像方法
CN107336238A (zh) * 2017-06-30 2017-11-10 北京建筑大学 全方位移动机器人的控制系统
CN107891425A (zh) * 2017-11-21 2018-04-10 北方民族大学 智能双臂安全协作人机共融型机器人系统的控制方法
CN108374968A (zh) * 2018-04-02 2018-08-07 镇江市建科工程质量检测中心有限公司 一种自动行走支撑底座及三脚架
CN108838997A (zh) * 2018-07-25 2018-11-20 安徽信息工程学院 新型木质机器人
CN109635648A (zh) * 2018-11-05 2019-04-16 上海鲸鱼机器人科技有限公司 机器人及其控制方法
CN112037879A (zh) * 2019-06-03 2020-12-04 萧亚洲 个人智能化饮食监控模块以及方法
CN111702787A (zh) * 2020-04-15 2020-09-25 上海工程技术大学 人机协作控制系统及控制方法
CN111702787B (zh) * 2020-04-15 2021-10-22 上海工程技术大学 人机协作控制系统及控制方法

Similar Documents

Publication Publication Date Title
CN202512439U (zh) 一种网络摄像头与可穿戴式传感器的人机协作系统
CN202494922U (zh) 一种安卓操作系统控制的移动机器人平台
CN102681542A (zh) 一种室内多用途移动机器人实验平台
CN202582585U (zh) 一种室内多用途移动机器人实验平台
CN103699126B (zh) 智能导游机器人的导游方法
CN201242685Y (zh) 向导机器人
CN107284544A (zh) 一种多功能的通用移动机器人底盘及其应用方法
CN107065863A (zh) 一种基于人脸识别技术的导览解说机器人及方法
CN102141797A (zh) 航站楼服务机器人及其控制方法
CN101290519B (zh) 基于3g网络的小型仿人形足球机器人远程监控系统
CN109813322A (zh) 无人机与无人车协作导航系统
CN206541196U (zh) 一种基于人脸识别技术的导览解说机器人
CN105015645A (zh) 一种多功能无人探测机器人
CN205378888U (zh) 一种高精度便捷式三维人体扫描仪
CN100361792C (zh) 一种移动机械手控制系统
CN106297367A (zh) 一种地下停车场寻车方法及装置
CN106393142A (zh) 一种智能机器人
CN105082137A (zh) 一种新型机器人
CN105424055A (zh) 具有小型移动助理系统的智能停车场及导航方法
CN105807790A (zh) 一种基于室内混合定位的智能跟随系统及其跟随方法
CN210378028U (zh) 一种嵌入式人工智能实验平台
CN202533803U (zh) 一种网络摄像头的移动机器人目标追踪平台
CN205942440U (zh) 智能营业厅机器人
CN208861182U (zh) 轮椅机器人
CN113425079A (zh) 一种智能演讲台机器人

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121031

Termination date: 20140228