CN202383713U - 一种人脸图像捕捉与存档装置 - Google Patents

一种人脸图像捕捉与存档装置 Download PDF

Info

Publication number
CN202383713U
CN202383713U CN2011203518279U CN201120351827U CN202383713U CN 202383713 U CN202383713 U CN 202383713U CN 2011203518279 U CN2011203518279 U CN 2011203518279U CN 201120351827 U CN201120351827 U CN 201120351827U CN 202383713 U CN202383713 U CN 202383713U
Authority
CN
China
Prior art keywords
image
unit
circuit
human face
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011203518279U
Other languages
English (en)
Inventor
黄文恺
张方樱
胡维
韩晓瑛
伍冯洁
张倩
温泉河
陈虹
唐连章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN2011203518279U priority Critical patent/CN202383713U/zh
Application granted granted Critical
Publication of CN202383713U publication Critical patent/CN202383713U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本实用新型涉及一种人脸图像捕捉与存档装置,其特征在于,所述的热释电红外检测单元为热释电红外传感器、放大电路和电压比较电路依次连接组成;所述的图像拍摄单元为一种CMOS图像采集电路;所述的嵌入式人脸图片捕捉单元为以ARM+DPS主从架构的系统处理器为核心配置外围电路构成的主控制电路;当热释电红外检测单元检测到有人出入时,人脸图片捕捉单元即开启图像拍摄单元采集实时图片,并根据算法程序对图像进行处理并获取人脸图片数据,再将所获得的人脸图片数据存储于FLASH存储器中,若存储介质中的存储容量达到设定存储上限,则由网络传输单元将存储的数据传输至中央处理中心。

Description

一种人脸图像捕捉与存档装置
技术领域
本实用新型涉及智能生物体特征图像识别技术领域,具体涉及人脸图像捕捉装置。
背景技术
随着国民经济的发展,人民生活水平的提高,城乡需要各种机构和部门来满足国民经济的正常运作,因此,提高各机构和部门的科学管理和安全运行显得尤为重要。现有的安全监控系统大多采用语音、视频监控装置,通过对监控点的语音及视频进行采集、硬盘录像存储及远程网络传输的方式来保存特定时间内监控点的视频和语音以供查询。
然而目前这种语音、视频监控装置存在诸多问题,表现在:
对于一些关键的场所,只保留一天、数天或1个月的监控数据往往不能满足安全监控需求,而且这些场所往往需要较高的视频的清晰度。不仅如此,这些监控装置需要备份监控数据,一旦系统不稳定或者操作失误将导致储存的数据丢失,可以通过提取备份系统才能恢复数据。
现有的视频、语音监控装置需要配有庞大的存储介质来保存监控信息,成本高昂。而且,存储介质中保存有大量无用的监控数据,需要查询之前某段时间内的有用的监控数据非常费时费力。
因此,设计一种简洁高效的监控识别装置显得更具意义。
发明内容
鉴于现有技术存在上述不足,本实用新型所要解决的技术问题是,设计一种高效的人脸图像捕捉和存档装置,该装置能够采集和捕捉出入监控点的人员的脸部图像,并将人脸图像数据和采集时间存储及备份于FLASH存储介质中,当储存数据达到设定时限或容量时,将数据上传至中央处理中心,由于该装置仅保存人脸信息,既解决了海量存储和无用信息抛弃的问题,又可供使用者方便的查询出入的人员信息。
本实用新型解决上述问题的技术方案如下:
一种人脸图像捕捉与存档装置,该装置由热释电红外检测单元、图像拍摄单元、嵌入式人脸图片捕捉单元、存储介质和网络传输单元组成,其中所述的网络传输单元为无线或有线网络适配器,其特征在于,
所述的热释电红外检测单元为热释电红外传感器及其放大电路构成的检测电路,该电路包括依次连接的热释电红外传感器、退耦电路、同相交流放大电路、反相交流放大电路、门限比较器,门限比较器的输出端与嵌入式系统处理器的I/O连接;
所述的嵌入式人脸图片捕捉单元为以ARM+DPS主从架构的数字媒体片上系统作为嵌入式系统处理器,以其作为核心同时配置外围电路构成的主控制电路,其中数字媒体片上系统中的ARM单片机的I/O口分别连接FLASH存储器及有线或无线网络适配器的地址总线、数据总线、控制端;
所述的图像拍摄单元为一种以CMOS图像传感器为核心辅以图像采集芯片的图像采集电路,其中图像采集芯片控制端及数据总线与ARM单片机的I/O连接;
当热释电红外检测单元检测到有人出入时,人脸图片捕捉单元即开启图像拍摄单元采集实时图片,并根据算法程序对图像进行处理并获取人脸图片数据,再将所获得的人脸图片数据存储于FLASH存储器中,若存储介质中的存储容量达到设定存储上限,则由网络传输单元将存储的数据传输至中央处理中心。
正常工作时,由于人会辐射出波长在7~13um之间的红外线,因此,当有人出入监控点时,热释电红外传感器可将接收到的红外信号转换成频率在0.5Hz~10Hz,峰峰值约为0.25mV~10mV的交流电信号,该交流电信号经同相放大器和反相放大器2级放大后,若放大的电信号超出门限比较器的门限电压范围,门限比较器则输出一个脉冲至ARM单片机的I/O口,此时ARM单片机打开图像拍摄单元,连续拍摄多张图像,图像拍摄单元将这些图像传输至ARM单片机,再由ARM单片机将这些连续拍摄的图像数据转由DSP处理。然后,ARM单片机将提取出的人脸图像和该图像出现的时间存储至FLASH存储器中,若存储器中的数据存储量或存储的时间范围达到设定要求,ARM单片机则将存储器中的数据上传至中央处理中心。其中,所述的DSP处理图片的步骤如下:
1)如果某张图片过于昏暗或抖动厉害,则DSP将删除这张图片;若图片质量满足程序要求,则开始对图片做预处理;
2)预处理包括几何归一化和灰度归一化:DSP根据程序算法设定对符合质量要求的图片做几何归一化,使图像做坐标平移、旋转、缩放、标准切割等处理,将可能的人脸图像都定位至图片的标准位置,同时对图片做灰度归一化,利用对图像做光照补偿处理,尽可能消除图像因为环境光照和设备噪声对其的干扰,预处理完成后,则开始人脸捕捉处理;
3)DSP根据Adaboost算法开始对预处理过的图片做人脸检测:首先通过程序内置的简单特征对图像进行分析,利用积分图方法得到大量的简单特征,再利用学习算法从得到的特征集合中选出少量关键的分类能力较强的特征,然后,把这些分类能力较强的特征构造出一系列弱分类器,再通过线性组合,将这些弱分类器组合构成一个强分类器,再通过Cascade级联算法,利用强分类器以确定图片中是否含有人脸图像,若图像中无人脸图像,则将图片数据弃之,若含有人脸,则确定人脸的位置及大小,从而提取出人脸图像。
本实用新型所述的人脸图像捕捉与存档装置较现有技术具有以下有益效果:
1、由于只存储出入监控点人员的面部图像和采集时间,因此监控数据量大大减少,大大降低了对存储介质的容量大小的依赖;
2、因为存储的面部图像和采集时间一一对应,抛弃了大量无用数据,大大减少了查询某时间段内的监控数据所需的时间和人力,大大提高了效率。
附图说明
图1为本实用新型所述人脸图像捕捉与存档装置的电路结构框图。
图2为本实用新型所述人脸图像捕捉与存档装置的电源模块电路原理图。
图3为本实用新型所述人脸图像捕捉与存档装置的热释电红外检测单元电路原理图。
图4为本实用新型所述人脸图像捕捉与存档装置的图像拍摄单元、嵌入式人脸图片捕捉单元、存储介质、网络传输单元的电路原理图。
图5为本实用新型所述人脸图像捕捉与存档装置的工作流程图。
具体实施方式
本实施例为采用TI公司生产的TMS320DM6446数字媒体片上系统控制的人脸图像捕捉与存档装置。参见图1,该装置包括电源模块、热释电红外检测单元、图像拍摄单元、嵌入式人脸图片捕捉单元、存储介质、网络传输单元。其中,
参见图4,所述的网络传输单元为瑞昱公司生产的RTL8139C快速以太网控制器及其外围电路构成的有线网络适配器,该适配器通过16位地址总线,8位串行数据总线、读写控制端和时钟端与TMS320DM6446数字媒体片上系统中的ARM单片机相连。其中,16位地址总线由2个8位串行地址总线合并构成,且8位数据总线与8位地址总线复用。
参见图2,所述的电源模块为一种BUCK拓扑开关降压电源,该电源采用TI公司生产的TPS54331降压型电源控制芯片及功率电感L1、快恢复功率二极管D1、输入和输出滤波电容C1、C2、C7、C8和分压反馈电阻R4、R5构成,该控制芯片内置功率型场效应管,最大输出电流可达3A。该电源的具体工作原理如下:
控制芯片通电工作后,开始向场效应管的门极和源极间施加固定频率、占空比受控的方波电压。当内置的场效应管导通时,输入电源接通,电感电流开始线性上升,并流向负载,电感L1开始储能,此时二极管D1反向偏置,当负载两端电压达到设定电压Vcc时,分压反馈电阻R4和R5的分压点电压也超过芯片内设的基准值,此时场效应管关断,电感L1两端产生反电动势,二极管D1正向导通,电感储存的能量通过负载、二极管D1释放,形成回路,当负载两端电压低于设定电压值时,分压反馈电阻R4和R5的分压点电压也低于芯片内设的基准值,此时场效应管再次导通,如此反复,又由于输出滤波电容C7和C8的平滑作用,使得负载两端能始终加载稳定的电压VCC。电源的功率电感L1取值可参考公式:
D = V O + V d V I n MAX Δ I O ≤ 0.3 × I O L = V I n MAX - V O Δ I O × D F S - - - 1 )
式1)中,D为占空比,VO为输出电压值VCC,VInMax为最大输入电压值,Vd为二级管D1导通时的最大电压值,ΔIO为输出电流最大纹波值,IO为输出电流值,FS为开关频率。
参见图3,所述的热释电红外检测单元为热释电红外传感器、美国NS公司生产的集成四运算放大器芯片LM324和若干电阻电容构成的检测电路。该电路包括依次连接的热释电红外传感器、退耦电路、同相交流放大电路、反相交流放大电路、门限比较器,门限比较器的输出端与嵌入式系统处理器的I/O连接。由于人会辐射出波长在7~13um之间的红外线,因此,当有人出入监控点时,热释电红外传感器U1可将接收到的红外信号转换成频率在0.5Hz~10Hz,峰峰值约为0.25mV~10mV的交流电信号,热释电红外传感器U1再将该交流信号添加偏置电压后,由S脚输出,输出的交流电信号经过退耦电路R2和C4退耦后输入至同相放大电路中的运放U2A的同相输入端,由于同相放大器的输入阻抗高,带载能力强,能够有效抑制电源和运放温度漂移对对输入信号的干扰,同相放大器的电压放大增益为电阻R4与R3之比,具体可参考公式:
V U 2 A = R 4 R 3 × V U 1 - - - 2 )
式2)中,VU2A为同相交流放大电路的输出电压,VU1为热释电红外传感器U1的输出电压。
经同相放大后的交流信号经电容C7、电阻R5积分滤波后,输入至交流反相放大器的反相输入端,电阻R7和R8组成分压电阻,为放大输出的交流信号提供偏置,由于反相放大器只放大差模信号,因此能有效抑制共模噪声,反相放大器的电压放大增益为电阻R6与R5之比,相位与输入电压VU2A相反,具体可参考公式:
V U 2 B = - R 6 R 5 × V U 2 A - - - 3 )
式3)中,VU2B为反相交流放大电路的输出电压,VU2A为同相交流放大电路的输出电压。
热释电红外传感器U1输出的交流电型号经2级放大电路放大后输出至门限电压比较电路,门限电压由电阻R9、R10、R11分压产生,具体可参考公式:
V REF + = R 11 + R 10 R 9 + R 10 + R 11 × V CC V REF + = R 11 + R 10 R 9 + R 10 + R 11 × V CC - - - 4 )
式4)中,VREF+为上门限电压,VREF-为下门限电压,VCC为电源电压。
经放大后的交流电信号VU2B若高于上门限电压VREF+,则运放U2C输出高电平至ARM单片机的I/O PIR口,ARM单片机则开启图像拍摄单元采集图像;经放大后的交流电信号VU2B若低于下门限电压VREF-,则运放U2D输出高电平至ARM单片机的I/O PIR口,ARM亦开启图像拍摄单元采集人脸图像;若放大后的交流电信号VU2B介于门限电压之间,则视为扰动,运放U2C和U2D均输出低电平,ARM单片机不会打开图像拍摄单元采集图像。
参见图4,所述的嵌入式人脸图片捕捉单元为采用TI公司生产的TMS320DM6446数字媒体片上系统为核心配置外围电路构成的主控制电路,TMS320DM6446是一种高度集成的片上系统,它基于TMS320C64X的DSP核和一个ARM926处理器,内部集成视频加速器、网络、外部存储器接口等一系列专门应用于视频的外设,其独特的ARM和DSP双核架构不仅能同时满足视频应用在运算能力和控制功能上的要求,而且大大简化了系统设计的复杂性。其中,TMS320DM6446中的ARM926单片机的I/O口分别连接SD存储卡接口电路及RTL8139快速以太网控制器的地址总线、数据总线、控制端。
参见图4,所述的图像拍摄单元为一种以CMOS图像传感器为核心辅以图像采集芯片的图像采集电路,其中图像采集芯片控制端及数据总线与ARM单片机的I/O连接。其中,图像采集芯片采用的是Omnivision公司生产的OV7660,该芯片是一款高度集成、逐行/隔行扫描、8位A/D转换器、30万像素的数字图像采集芯片,其并行数据总线、控制端、时钟端分别连接至TMS320DM6446中的ARM926单片机的I/O口。
参见图4,所述的存储介质为SD数据存储卡,存储卡接口的SPI串行数据总线、读写控制端、时钟端口分别连接至TMS320DM6446中的ARM926单片机的I/O口。
参见图3和图4,当TMS320DM6446数字媒体片上系统初始化完成后,ARM926单片机则根据程序设定开始监听热释电红外检测单元是否有高电平输入,当有人出入监控点时,热释电红外传感器U1则将接收到的红外信号转换成频率在0.5Hz~10Hz,峰峰值约为0.25mV~10mV的交流电信号,热释电红外传感器U1再将该交流信号添加偏置电压后,再由退耦电路滤波后,输出至同相交流放大器的同相输入端,经同相交流放大器和反相交流放大器两级放大后,产生相位与热释电红外传感器输出电压信号相反的交流电压VU2B,并输出至门限电压比较器的输入端,若经放大后的交流电信号VU2B若高于上门限电压VREF+,则运放U2C输出高电平至ARM926单片机的I/O PIR口;经放大后的交流电信号VU2B若低于下门限电压VREF-,则运放U2D输出高电平至ARM单片机的I/OPIR 926口;若放大后的交流电信号VU2B介于门限电压之间,则视为干扰,运放U2C和U2D均输出低电平,当ARM926单片机检测到有高电平输入时,此时ARM926单片机则打开图像拍摄单元,并根据程序设定,由OV7660控制CCD传感器连续地采集多张监控点的图像,OV7660将采集到的图像数据发送至ARM926单片机,再由ARM926单片机将这些连续拍摄的图像数据交由DSP处理。然后,ARM926单片机将提取出的人脸图像和该图像出现的时间,通过SPI串行数据总线存储至SD存储卡中,若SD存储卡中的数据存储量或存储的时间范围达到程序设定要求,此时,ARM926单片机则将SD存储卡的数据通过RTL8139C控制芯片的数据总线上传至中央处理中心。如需查询或备份SD存储卡中存储的监控数据,可直接取下SD存储卡,通过读卡器连接电脑或人机界面直接读取。其中,所述的DSP处理图片的步骤如下:
1)如果某张图片过于昏暗或抖动厉害,则DSP将删除这张图片;若图片质量满足程序要求,则开始对图片做预处理;
2)预处理包括几何归一化和灰度归一化:DSP根据程序算法设定对符合质量要求的图片做几何归一化,使图像做坐标平移、旋转、缩放、标准切割等处理,将可能的人脸图像都定位至图片的标准位置,同时对图片做灰度归一化,利用对图像做光照补偿处理,尽可能消除图像因为环境光照和设备噪声对其的干扰,预处理完成后,则开始人脸捕捉处理;
3)DSP根据Adaboost算法开始对预处理过的图片做人脸检测:首先通过程序内置的简单特征对图像进行分析,利用积分图方法得到大量的简单特征,再利用学习算法从得到的特征集合中选出少量关键的分类能力较强的特征,然后,把这些分类能力较强的特征构造出一系列弱分类器,再通过线性组合,将这些弱分类器组合构成一个强分类器,再通过Cascade级联算法,利用强分类器以确定图片中是否含有人脸图像,若图像中无人脸图像,则将图片数据弃之,若含有人脸,则确定人脸的位置及大小,从而提取出人脸图像。
参见图5,当热释电红外检测单元检测到有人出入时,人脸图片捕捉单元即开启图像拍摄单元连续采集多张实时图片,并根据算法程序对这些图像进行处理并获取人脸图片数据,再将所获得的人脸图片数据存储于SD存储卡中,若SD存储卡中的存储容量达到设定存储上限,则通过有线快速以太网将存储的数据传输至中央处理中心。

Claims (2)

1.一种人脸图像捕捉与存档装置,该装置由热释电红外检测单元、图像拍摄单元、嵌入式人脸图片捕捉单元、存储介质和网络传输单元组成,其中所述的网络传输单元为无线或有线网络适配器,其特征在于,
所述的热释电红外检测单元由热释电红外传感器、放大电路和电压比较电路依次连接组成,其中,电压比较电路的输出端与嵌入式系统处理器的I/O连接;
所述的嵌入式人脸图片捕捉单元为以ARM+DPS主从架构的系统处理器为核心配置外围电路构成的主控制电路,嵌入式系统处理器的I/O口分别连接FLASH存储器及有线或无线网络适配器的地址总线、数据总线和控制端;
所述的图像拍摄单元为一种以CMOS图像传感器为核心辅以外围图像采集芯片的图像采集电路,其控制端及数据总线与嵌入式系统处理器的I/O连接;
当热释电红外检测单元检测到有人出入时,人脸图片捕捉单元即开启图像拍摄单元采集实时图片,并根据算法程序对图像进行处理并获取人脸图片数据,再将所获得的人脸图片数据存储于FLASH存储器中,若存储介质中的存储容量达到设定存储上限,则由网络传输单元将存储的数据传输至中央处理中心。
2.根据权利要求1所述的一种人脸图像捕捉与存档装置,其特征在于,所述的ARM+DPS主从架构的系统处理器为TMS320DM6446数字媒体片系统;所述的CMOS图像传感器的图像采集芯片为OV7660;所述的热释电红外检测单元由热释电红外传感器、集成四运算放大器LM324及其外围电路构成。 
CN2011203518279U 2011-09-17 2011-09-17 一种人脸图像捕捉与存档装置 Expired - Fee Related CN202383713U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011203518279U CN202383713U (zh) 2011-09-17 2011-09-17 一种人脸图像捕捉与存档装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011203518279U CN202383713U (zh) 2011-09-17 2011-09-17 一种人脸图像捕捉与存档装置

Publications (1)

Publication Number Publication Date
CN202383713U true CN202383713U (zh) 2012-08-15

Family

ID=46632202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011203518279U Expired - Fee Related CN202383713U (zh) 2011-09-17 2011-09-17 一种人脸图像捕捉与存档装置

Country Status (1)

Country Link
CN (1) CN202383713U (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595962A (zh) * 2013-11-14 2014-02-19 无锡港湾网络科技有限公司 基于热释电传感器的门禁监控方法
CN104333238A (zh) * 2014-10-17 2015-02-04 重庆金宏汽车电子有限公司 用于导航器的电源电路
CN105991970A (zh) * 2015-02-09 2016-10-05 鸿富锦精密工业(武汉)有限公司 电源控制系统
CN106791683A (zh) * 2016-12-30 2017-05-31 移康智能科技(上海)股份有限公司 智能拍摄方法及装置
WO2017181493A1 (zh) * 2016-04-20 2017-10-26 成都艾尔伯特科技有限责任公司 一种用于led调光板的电源电路
WO2018120673A1 (zh) * 2016-12-30 2018-07-05 移康智能科技(上海)股份有限公司 智能拍摄方法及装置
CN109117834A (zh) * 2018-11-02 2019-01-01 广州市皓品信息科技有限公司 一种双路镜头皮肤图像采集装置
CN113607288A (zh) * 2021-06-25 2021-11-05 上海航天控制技术研究所 一种高速大面阵红外成像电路

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595962A (zh) * 2013-11-14 2014-02-19 无锡港湾网络科技有限公司 基于热释电传感器的门禁监控方法
CN104333238A (zh) * 2014-10-17 2015-02-04 重庆金宏汽车电子有限公司 用于导航器的电源电路
CN105991970A (zh) * 2015-02-09 2016-10-05 鸿富锦精密工业(武汉)有限公司 电源控制系统
WO2017181493A1 (zh) * 2016-04-20 2017-10-26 成都艾尔伯特科技有限责任公司 一种用于led调光板的电源电路
CN106791683A (zh) * 2016-12-30 2017-05-31 移康智能科技(上海)股份有限公司 智能拍摄方法及装置
WO2018120673A1 (zh) * 2016-12-30 2018-07-05 移康智能科技(上海)股份有限公司 智能拍摄方法及装置
CN109117834A (zh) * 2018-11-02 2019-01-01 广州市皓品信息科技有限公司 一种双路镜头皮肤图像采集装置
CN113607288A (zh) * 2021-06-25 2021-11-05 上海航天控制技术研究所 一种高速大面阵红外成像电路

Similar Documents

Publication Publication Date Title
CN202383713U (zh) 一种人脸图像捕捉与存档装置
CN103107886A (zh) 一种身份识别系统及方法
CN204303005U (zh) 智能影像识别进出管制装置
WO2018054038A1 (zh) 双向变换器的保护电路和带储电功能的用电系统
CN206115454U (zh) 一种人脸识别平板
CN108877127B (zh) 基于图像处理的森林火灾检测方法
CN110225300A (zh) 用于无线传感器网络中的低功耗图像传输系统及方法
CN105703490A (zh) 一种微型能量捕获装置及其捕获方法
CN207517175U (zh) 基于4g全网通的物联网智能采集终端
CN208173243U (zh) 一种猪声音信号采集系统
CN207098730U (zh) 一种太阳能独立发电控制器、太阳能发电系统
CN205691660U (zh) 一种电机的输入功率计算电路
CN202435526U (zh) 一种基于cmos图像传感器的视频采集装置
CN104637141A (zh) 一种基于人脸识别的门禁系统
CN103699893A (zh) 一种人脸特征信息采集装置
CN105472336B (zh) 一种低功耗图像压缩模块
CN211375692U (zh) 一种共享回收系统
CN104732622A (zh) 一种基于ZigBee的安全门系统
CN113009869A (zh) 智慧电力维护管理系统
CN207780872U (zh) 一种人脸识别门禁系统
CN204667572U (zh) 监仓的管理一体机和监控集成系统
WO2024146116A1 (zh) 基于区块链与人体特征智慧识别的约视化养老系统
US20240233924A1 (en) Blockchain-based and human characteristics intelligence recognition for appointment visualization elderly care system
CN214102002U (zh) 一种基于ai人脸识别情绪的智能家居控制装置
Orfy et al. WASP: Wireless autonomous sensor prototype for Visual Sensor Networks

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120815

Termination date: 20150917

EXPY Termination of patent right or utility model