CN106650677A - 一种手掌识别装置以及手掌识别的方法 - Google Patents
一种手掌识别装置以及手掌识别的方法 Download PDFInfo
- Publication number
- CN106650677A CN106650677A CN201611237656.0A CN201611237656A CN106650677A CN 106650677 A CN106650677 A CN 106650677A CN 201611237656 A CN201611237656 A CN 201611237656A CN 106650677 A CN106650677 A CN 106650677A
- Authority
- CN
- China
- Prior art keywords
- palm
- pulse signal
- light source
- identification device
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Abstract
本发明实施例公开了一种手掌识别装置,包括至少一个摄像采集模块,其中,所述摄像采集模块包括图像采集单元以及处理器;所述图像采集单元,用于采用基于成像式光电容积描记技术获取待采集者的手掌视频或图片;所述处理器,用于根据所述待采集者的手掌视频或图片提取对应的脉搏信号,并根据所述脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。本发明实施例还提供了一种手掌识别的方法。本发明实施例采用基于成像式光电容积描记技术获取手掌视频或图片提取对应的脉搏信号,并根据该脉搏信号判断是否为活体手掌,可以提高设备的防伪功能,此外,该手掌识别装置的制造方法简单,易于工业化生产。
Description
技术领域
本发明实施例涉及安全认证技术领域,尤其涉及一种手掌识别装置以及手掌识别的方法。
背景技术
市场上已经出现了专门仿制手掌膜技术,如在类似硅胶材料上复制掌纹信息,或打印掌纹信息,因复制的掌纹和使用者的掌纹相同,若设备没有防伪掌纹的功能,手掌识别装置就能轻易通过识别,这很可能遭到有心人士的利用,使得原本打算利用掌纹信息唯一性特点进行身份验证的方式得不到保障。
目前利用掌纹防伪技术设计出一种手掌识别装置,该手掌识别装置可以通过侦测手掌的透光变化量是否在预设范围内,来判断手掌的真伪。
然而手掌识别装置通过侦测手掌的透光变化量判断手掌的真伪仍然存在不足,如果使用的材料制造出的假掌纹膜在颜色和透光度方面都非常接近真掌纹,将无法防伪。随着掌纹仿冒技术的进步,利用树脂或硅胶等材料制造出来的假掌纹很容易就骗过一般的手掌识别装置。
发明内容
本发明实施例提供了一种手掌识别装置以及掌纹识别的方法,通过获取手掌视频提取对应的脉搏信号,并根据该脉搏信号判断是否为活体手掌,可以提高设备的防伪功能,此外,该手掌识别装置的制造方法简单,易于工业化生产。
有鉴于此,本发明第一方面提供一种手掌识别装置,包括至少一个摄像采集模块,其中,所述摄像采集模块包括图像采集单元以及处理器;
所述图像采集单元,用于采用基于成像式光电容积描记技术IPPG获取待采集者的手掌视频或图片;
所述处理器,用于根据所述待采集者的手掌视频或图片提取对应的脉搏信号,并根据所述脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。
结合本发明实施例的第一方面,在第一种可能的实现方式中,
所述图像采集单元,具体用于基于IPPG获取待采集者的手掌视频或图片,并获取所述手掌视频或图片的像素灰度值;
对所述手掌视频或图片的像素灰度值进行数值处理;
所述处理器,具体用于根据经过数值处理后的所述手掌视频或图片的像素灰度值,获取对应的脉搏信号。
结合本发明实施例的第一方面第一种实现方式,在第二种可能的实现方式中,
所述图像采集单元,具体用于基于IPPG获取所述待采集者的手掌视频或图片,所述手掌视频包含多帧手掌图像;
获取所述手掌视频中每帧手掌图像中目标区域所对应的像素灰度值;
对所述每帧手掌图像中目标区域所对应的像素灰度值进行算术平均或加权平均处理,并得到像素灰度平均值;
所述处理器,具体用于根据所述像素灰度平均值确定所述脉搏信号。
结合本发明实施例的第一方面、第一方面第一或第二种实现方式,在第三种可能的实现方式中,所述摄像采集模块还包括镜头以及滤光片;
所述镜头,用于获取所述待采集者的手掌视频或图片;
所述滤光片,用于根据当前环境下的光源过滤出目标光波长对应的光线。
结合本发明实施例的第一方面,在第四种可能的实现方式中,所述图像采集单元包括低照度传感器、高清传感器以及宽动态传感器中的至少一种。
结合本发明实施例的第一方面第三种实现方式,在第五种可能的实现方式中,所述当前环境下的光源为自然光照下的无主动光源;
所述滤光片为窄带滤光片;
所述镜头为彩色镜头。
结合本发明实施例的第一方面第四种实现方式,在第六种可能的实现方式中,所述手掌识别装置还包括光源;
所述光源为蓝色光源、绿色光源和红色光源中的至少一种。
结合本发明实施例的第一方面第六种实现方式,在第七种可能的实现方式中,当所述光源为所述蓝色光源时,所述滤光片为可透蓝光滤光片或440nm窄带滤光片;
或,
当所述光源为所述绿色光源时,所述滤光片为可透绿光滤光片或520nm窄带滤光片;
或,
当所述光源为所述红色光源时,所述滤光片为可透红光滤光片或660nm窄带滤光片。
结合本发明实施例的第一方面,在第八种可能的实现方式中,所述手掌识别装置还包括手掌采集板,所述手掌采集板位于所述摄像采集模块的上方或所述摄像采集模块的下方;
所述手掌采集板,用于安置所述待采集者的手掌。
结合本发明实施例的第一方面,在第九种可能的实现方式中,所述处理器,具体用于根据所述脉搏信号确定所述脉搏信号对应的峰值位置,所述峰值位置为信号强度最高点;
根据所述脉搏信号对应的峰值位置确定脉率值;
判断所述脉率值是否在预设范围内,若是,则确定所述脉搏信号为所述活体脉搏信号
本发明第二方面提供一种掌纹识别的方法,包括:
采用基于成像式光电容积描记技术IPPG获取待采集者的手掌视频或图片;
根据所述待采集者的手掌视频或图片提取对应的脉搏信号,并根据所述脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,提供了一种手掌识别装置,该装置包括至少一个摄像采集模块,其中,摄像采集模块包括图像采集单元以及处理器,图像采集单元用于采用基于IPPG获取待采集者的手掌视频或图片,处理器用于根据待采集者的手掌视频或图片提取对应的脉搏信号,并根据脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。采用上述基于IPPG的手掌识别装置,来获取手掌视频或图片提取对应的脉搏信号,并根据该脉搏信号判断是否为活体手掌,可以提高设备的防伪功能,此外,该手掌识别装置的制造方法简单,易于工业化生产。
附图说明
图1为本发明实施例提供的手掌识别装置一个实施例示意图;
图2为本发明实施例中采用手掌识别装置工作的流程示意图;
图3为本发明实施例提供的手掌识别装置另一个实施例示意图;
图4为本发明实施例提供的手掌识别装置另一个实施例示意图;
图5为本发明实施例提供的手掌识别装置另一个实施例示意图;
图6为本发明实施例掌纹识别的方法一个实施例示意图;
图7为本发明实施例中采用成像式光电容积描记计算方法进行掌纹采集的流程示意图;
图8为本发明实施例中采用两个摄像采集模块的手掌识别装置内部结构。
具体实施方式
本发明实施例提供了一种手掌识别装置以及掌纹识别的方法,通过获取手掌视频提取对应的脉搏信号,并根据该脉搏信号判断是否为活体手掌,可以提高设备的防伪功能,此外,该手掌识别装置的制造方法简单,易于工业化生产。
本实施例中,提供了一种手掌识别装置,包括至少一个摄像采集模块,其中,摄像采集模块包括图像采集单元以及处理器;
图像采集单元,用于采用基于成像式光电容积描记技术IPPG获取待采集者的手掌视频或图片;
处理器,用于根据待采集者的手掌视频或图片提取对应的脉搏信号,并根据脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。
具体地,请参阅图1,图1为本发明实施例提供的手掌识别装置一个实施例示意图,如图所示,图中的一个摄像采集模块仅仅为一个示意,在实际应用中可以有多个摄像采集模块对待采集者的手掌特征信息进行采集,而图像采集单元可以独立于处理器进行安置,也可以与处理器集成于一个模块,然而并不构成对本发明方案的限定。
可以理解的是,手掌识别装置用于提取手掌上的一系列特征,其中包括掌纹以及掌静脉,采集手掌特性信息后对其进行活体检测。
在图1中摄像采集模块包括图像采集单元以及处理器,图像采集单元采用基于成像式光电容积描记技术(英文全称:Image Photo Plethysmo Graphy,英文缩写:IPPG)获取待采集者的手掌视频,手掌视频中包含多帧图像,选择该图像中合适的区域作为敏感区域,敏感区域的像素灰度即可反映出由于心脏搏动引起的血液灌注量的变化,然后将手掌视频中每帧图像对应的敏感区域的像素灰度进行加和平均计算,并将得到的平均结果沿着时间方向画出曲线,从而提取出脉搏信号。
在图像采集单元获取脉搏信号的过程中,由于心脏的搏动引起血管内血液容量的脉动性变化,引起皮肤表面颜色发生不易被人眼观察到的细微变化,从而本发明实施例采用了IPPG测量脉搏波的光波段照射到人的真皮层,即到达微动脉层,可以进行脉搏波的测量。图像采集单元利用IPPG对包含被测部位的信息来进行视频采集,将脉搏信号由血液容积变化引起的光强变化用视频图像的方式记录下来,再对视频图像作出处理,并提取脉搏信号。处理器可以通过视频图像转换出的脉搏信号以确定待采集者所使用的手掌是否为活体手掌,如果是活体手掌,则继续对待采集者进行后续的掌纹比对处理,以验证其身份。
可以理解的是,判断是否为活体手掌的方式可以是预先设置的人体脉搏跳动次数的范围,如果待采集者的脉搏信号在预先设置的人体脉搏跳动次数的范围之内,则对待采集者进行手掌识别。
采用手掌识别装置进行掌纹识别的操作方式可参阅图2,图2为本发明实施例中采用手掌识别装置进行掌纹识别的实施例示意图,具体为:
步骤A1:手掌识别装置根据已经获取到待采集者的掌纹视频图像进行检测,若检测到掌纹视频图像中由于血液容积变化引起光强变化,则提取掌纹视频图像中的脉搏信号;
步骤A2:手掌识别装置进一步判断该脉搏信号是否为活体手掌的脉搏信号,判断的方法可以是提取正常人体脉搏信号的特征,并分析正常人体脉搏信号的小波域特征,用阈值法对手掌识别装置提取的脉搏进行滤波处理,如果发现该脉搏信号的小波域特征与正常人体脉搏信号的小波域特征的误差在预置范围内时,则进入步骤A3,反之,则转至步骤A4;
步骤A3:当检测到手掌识别装置采集的脉搏信号为活体脉搏信号时,则自动启动掌纹的采集过程;
步骤A4:当检测到手掌识别装置采集的脉搏信号为非活体脉搏信号时,则不启动相应的掌纹采集过程。
本发明实施例中,提供了一种手掌识别装置,该装置包括至少一个摄像采集模块,其中,摄像采集模块包括图像采集单元以及处理器,图像采集单元用于采用基于IPPG获取待采集者的手掌视频或图片,处理器用于根据待采集者的手掌视频或图片提取对应的脉搏信号,并根据脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。采用上述基于IPPG的手掌识别装置,来获取手掌视频或图片提取对应的脉搏信号,并根据该脉搏信号判断是否为活体手掌,可以提高设备的防伪功能,此外,该手掌识别装置的制造方法简单,易于工业化生产。
可选地,在上述图1对应的实施例基础上,本发明实施例提供的手掌识别装置第一个可选实施例中,
图像采集单元,具体用于基于IPPG获取待采集者的手掌视频或图片,并获取手掌视频或图片的像素灰度值;
对手掌视频或图片的像素灰度值进行数值处理;
处理器,具体用于根据经过数值处理后的手掌视频或图片的像素灰度值,获取对应的脉搏信号。
本实施例中,图像采集单元可以采用IPPG获取待采集者的手掌视频或手掌图片,然后进而提取手掌视频或手掌图片的像素灰度值,接着对手掌视频或手掌图片的像素灰度值进行数值处理,从而使得处理器根据处理结果,获取对应的脉搏信号。
其次,本发明实施例中,可以使手掌识别装置获取到待采集者更准确的脉搏信号,同时,通过图像分析脉搏信号较为便捷,无需待采集者花费时间检测脉搏信号,从而提升了手掌识别装置的识别效率。
可选地,在上述图1对应的第一个实施例基础上,本发明实施例提供的手掌识别装置第二个可选实施例中,
图像采集单元,具体用于基于IPPG获取待采集者的手掌视频或图片,手掌视频包含多帧手掌图像;
获取手掌视频中每帧手掌图像中目标区域所对应的像素灰度值;
对每帧手掌图像中目标区域所对应的像素灰度值进行算术平均或加权平均处理,并得到像素灰度平均值;
处理器,具体用于根据像素灰度平均值确定脉搏信号。
本实施例中,摄像采集模块还包括镜头,可以采集待采集者的手掌指视频图像,图像采集单元进而将待采集者的手掌视频图像转换为脉搏信号。
具体地,请参阅图3,图3为本发明实施例提供的手掌识别装置另一个实施例示意图,图像采集单元将手掌视频图像转换为脉搏信号可基于矩阵实验室(英文全称:MatrixLaboratory,英文缩写:MATLAB)的视频图像处理技术。首先利用镜头获取一个1分钟左右的手掌视频图像的视频,视频可以为音频视频交错格式(英文全称:Audio VideoInterleaved,英文缩写:AVI)格式,然后通过图像处理数据库中的函数提取的手掌视频图像,把提取出来的手掌视频图像重新做成一个图片集,接着进行数据预处理,选取图像中的合适的区域作为敏感区域,即目标区域,然后将目标区域中的图像进行红、绿和蓝三个通道的分类,分别计算每个通道的像素灰度值,再进行算术平均或加权平均处理,从而得到3组数据,将这三组数据进行归一化处理,处理后的信号波形幅度有所不同,但是整体起伏应该是一致的,这里,我们可以采用红色通道的数据。
可以理解的是,算术平均法即为简单的数值之间进行求和,然后除以数值数目后所得到的平均值,而加权平均法,是利用过去若干个按照时间顺序排列起来的同一变量的观测值并以时间顺序数为权数,计算出观测值的加权算术平均数,可以以这一平均数作为预测未来期间该变量预测值的一种趋势预测法。
目标区域的像素灰度值即可反映由于心脏搏动引起的血液灌注量的变化,将手掌视频图像的视频中每一帧的目标区域的像素灰度值进行加和平均,得到像素灰度平均值,然后将像素灰度平均值沿时间方向画出曲线,从而提取出脉搏信号。
在实际应用中,还可以利用一维小波进行信号分离,将数据的低频部分分离处理。信号的低频部分反映了信号的整体趋势,信号的高频部分反映了信号的具体细节。由于我们无需知道信号的具体细节,只是关心信号的整体波动,所以可以把分离后的信号进行重构,将不关心的高频成分除去,只保留反映信号整体起伏的低频部分。经过简单的平滑滤波后,统计信号的波峰值,即可得到心率,重构后的信号由于毛刺原因,会使得统计出现一定的误差,所以,要利用平滑滤波去把信号多余的毛刺部分去掉,这样得到的信号比较准确。
再次,本发明实施例中,手掌识别装置镜头中的图像采集单元采用基于IPPG获取待采集者的手掌视频或图片,手掌视频包含多帧手掌图像,然后获取手掌视频中每帧手掌图像中目标区域所对应的像素灰度值,再对每帧手掌图像中目标区域所对应的像素灰度值进行算术平均或者加权平均处理,并得到像素灰度平均值,最后根据像素灰度平均值确定脉搏信号。通过上述方式,使得手掌识别装置可以获取到待采集者更准确的脉搏信号,同时,通过图像分析脉搏信号较为便捷,无需待采集者花费时间检测脉搏信号,从而提升了手掌识别装置的识别效率。
可选地,在上述图1、图1对应的第一个或第二个实施例基础上,本发明实施例提供的手掌识别装置第三个可选实施例中,摄像采集模块还可以包括镜头以及滤光片;
镜头,用于获取待采集者的手掌视频或图片;
滤光片,用于根据当前环境下的光源过滤出目标光波长对应的光线。
本实施例中,镜头还包括滤光片,滤光片可以内嵌于镜头。滤光片主要用于根据当前环境下的光源过滤出目标光波长对应的光线。
具体地,若当前处于自然光照的条件下,由镜头拍摄待采集者的手掌图像,需要说明的是,滤光片可以内嵌于镜头内,且可透环境光波长为100纳米(英文全称:nanometer,英文缩写:nm)到700nm之间的波段,在此波段中,图像采集单元能够获取到当前环境下,待采集者的手掌血液被光线吸收后的掌纹视频图像,将该图像以一种电信号的形式转换为脉搏信号。当处理器根据脉搏信号确定待采集者的手掌为活体手掌时,则进而获取该活体掌纹对应的目标掌纹图像,目标掌纹图像可用于进行待采集者的身份识别。
再次,本发明实施例中,手掌识别装置还包括镜头和滤光片,镜头用于获取待采集者的手掌视频或者图片,而滤光片用于根据当前环境下的光源过滤出目标光波长对应的光线。通过上述方式,为手掌识别装置处理待采集者的手掌视频图像提供更合理的波段,从而使得采集到的手掌视频图像更为清晰,以此提升方案的实用性。
可选地,在上述图1对应的实施例基础上,本发明实施例提供的手掌识别装置第四个可选实施例中,图像采集单元包括低照度传感器、高清传感器以及宽动态传感器中的至少一种。
本实施例中,图像采集单元具体可以是低照度传感器,或者高清传感器,又或者是宽动态传感器,根据不同的环境可以选择不同的传感器来采集相应的图像。
低照度传感器主要用于光线较弱的环境,顾名思义,低照度传感器可以在较低光照度的条件下仍然采集到清晰的图像,低照度的定义主要从电荷藕合器件图像传感器(英文全称:Charge Coupled Device,英文缩写:CCD)上诞生的,CCD通过在每个像素点上安装经过形状优化设计的镀膜微小镜片,以保证光线准确到达传感器底部的基层板上,从而达到提高光利用率,使画面更清晰,照度更低。
高清传感器主要用于采集清晰图像,在标清监控时代通常采用CCD,而在高清监控时代互补金属氧化物半导体(英文全称:Complementary Metal Oxide Semiconductor,英文缩写:CMOS)传感器已经逐渐取代CCD,因为CMOS在功耗、集成度和成本方面的优势是CCD无法比拟的。从目前的趋势来看,随着技术的发展,CMOS的灵敏度正在得到快速改善,目前市场上致力于CMOS研究的厂商已经研发出灵敏度性能与CCD接近的半高清与全高清的专用CMOS器件,另一方面,尽管相同尺寸的CCD传感器分辨率优于CMOS传感器,但如果不考虑尺寸限制,CMOS在量率上的优势可以有效克服大尺寸感光原件制造的困难,这样CMOS在更高分辨率下将更有优势。另外,CMOS响应速度比CCD快,因此更适合高清监控的大数据量特点。
宽动态传感器主要用于使场景中特别亮的区域和特别暗的区域在最终成像中同时看清楚。宽动态技术的实现方式主要有两种:第一种是使用非线性传感器的单次曝光方案,这类传感器对不同照度的灵敏度表现不同,仅一次曝光即可使采集的图像具备较宽的动态范围,第二种是基于多帧图像合成的多次曝光方案,不同帧之间的曝光时间有差异,对明亮部分进行短曝光,使高亮度区域的灰阶范围更大,对暗的部分进行长曝光,使低亮度区域的灰阶范围更大,最终多个不同曝光时间的帧合成拥有更宽动态范围的图像。
进一步地,本发明实施例中,将图像采集单元可以为低照度传感器、高清传感器和宽动态传感器中的至少一种,针对不同的图像采集环境选择最适合的图像采集单元,不但有利于采集到更为清晰的图像,使得检测成功率大大得到提升,而且还能根据实际成本来选择性价比最高的图像采集单元,从而提升了方案的灵活性和实用性。
可选地,在上述图1对应的第三个实施例基础上,本发明实施例提供的手掌识别装置第五个可选实施例中,当前环境下的光源为自然光照下的无主动光源;
滤光片为窄带滤光片;
镜头为彩色镜头。
本实施例中,在基于自然光照且无主动光源的条件下,仍可以采用IPPG将手掌视频图像转换为脉搏信号,此时根据自然光照且无主动光源的环境特性,至少部署一个以上的摄像采集模块,以采集到足够亮度的图像,每个摄像采集模块的滤光片均为窄带滤光片,如果采用两个或两个以上的摄像采集模块,则窄带滤光片为可见光波长的组合式选择,选择波段为100nm到750nm,优选440nm、470nm、520nm和660nm波段组合。窄带滤光片能够屏蔽其他波段的自然光干扰。
此外,还应采用彩色镜头,由此提取彩色的图像。
以低照度传感器和摄像采集模块安装于手掌按压位置下方为例进行介绍,且假设有两个摄像采集模块,在实际应用中,可以调整摄像采集模块的安装位置,以及增减摄像采集模块,以达到最佳的采集效果。若两个摄像采集模块的滤光片分别为窄带波长520nm和660nm的组合,以及440nm和660nm的组合,两个低照度图像采集单元从手掌的组织中采集发射或者透射后的光强,并形成相应的掌纹视频图像,再分别将采集到的掌纹视频图像处理成脉搏信号,处理器通过掌纹视频图像转换出的脉搏信号确定待采集者的手掌是否为活体手掌,并根据待采集者的手掌是否为活体手掌以确定是否启动掌纹采集,若符合要求,则判断为真手掌,并可以执行后续的掌纹识别认证。
需要说明的是,摄像采集模块可以安置于手掌识别装置的四周,只要可照射到待采集者的手掌即可,故此处不作限定。
更进一步地,本发明实施例中,在当前环境下的光源为自然光照下的无主动光源时,将窄带滤光片作为滤光片,镜头采用彩色镜头。摄像采集模块采用这样的组合进行图像采集,可以在无主动光源的自然环境下得到更加清晰的图像,提升方案的实际应用能力,以及根据不同环境采用不同的方案来实现图像的采集,增强方案的灵活性。
可选地,在上述图1对应的第四个实施例基础上,本发明实施例提供的手掌识别装置第六个可选实施例中,手掌识别装置还可以包括光源;
光源为蓝色光源、绿色光源和红色光源中的至少一种。
本实施例中,请参阅图4以及图5,图4和图5均为本发明实施例提供的手掌识别装置另一个实施例示意图,图中的光源个数仅为一个示意,并不应理解为对本发明的限定。当手掌识别装置置于比较昏暗的环境时,则手掌识别装置还需要增加光源,光源是指能发出一定波长范围的电磁波(包括可见光、紫外线、红外线和X射线等不可见光)的物体。通常指能发出可见光的发光体。凡物体本身能发光都能称做光源,又称发光体。如太阳、恒星、灯以及燃烧着的物质等都是光源。
本发明中所采用的光源主要是蓝色光源、绿色光源和红色光源中的至少一种,也就是说这三种颜色的光源也可以两两组合使用,或者三种颜色的光源共同使用。
更进一步地,本发明实施例中,在没有足够亮度的环境下,手掌识别装置还可以自带光源,用于提供一定的光照强度,从而保证采集的图片亮度适宜,同时,由于人体的皮肤组织对光的吸收度不同,所以采用不同颜色的光源可以很好地获取到待采集者清晰的掌纹视频图像。
可选地,在上述图1对应的第六个实施例基础上,本发明实施例提供的手掌识别装置第七个可选实施例中,当光源为蓝色光源时,滤光片为可透蓝光滤光片或440nm窄带滤光片;
或,
当光源为绿色光源时,滤光片为可透绿光滤光片或520nm窄带滤光片;
或,
当光源为红色光源时,滤光片为可透红光滤光片或660nm窄带滤光片。
本实施例中,基于主动光源的测量,图像采集单元可采用低照度传感器、高清传感器以及宽动态传感器中的至少一种,摄像采集模块也可包括一个或两个以上,每个摄像采集模块的滤光片均为窄带滤光片,光源包括蓝光、绿光和红光其中一种、两种或三种的混合组合。
具体地,以高清传感器为例,当选择一个摄像采集模块,摄像采集模块包括光源、图像采集单元、镜头及滤光片。光源为蓝光、绿光或红光中的一种。当光源为蓝光时,滤光片为可透过蓝光的滤光片或440nm窄带滤光片,当光源为绿光时,滤光片为可透过绿光的滤光片或520nm窄带滤光片,当光源为红光时,滤光片为可透过红光的滤光片或660nm窄带滤光片。研究认为:0.05毫米至0.15毫米的表皮层对光只有吸收作用没有散射作用,表皮层下0.4毫米至4毫米的真皮层是皮肤组织中光吸收和散射作用发生的主要部分,真皮层中的骨胶原产生的散射作用决定了光的穿透深度,而血液中的血红蛋白、血小板和胆红素是真皮中可见光的主要吸收者。IPPG系统检测到的动脉血信号就是来自于真皮层的散射光波。因此图像采集单元通过手掌血液对光的吸收形成的图像,并对手掌放置区域的手掌血液进行成像,并将采集到的视频信号进行分析,转成脉搏信号。
当选择两个摄像采集模块,摄像采集模块包括光源、图像采集单元、镜头及滤光片。光源为蓝光和绿光时,其中一个摄像采集模块的滤光片为可透蓝光的滤光片或440窄带滤光片,另一个摄像采集模块的滤光片为可透绿光的滤光片或520mm窄带滤光片,图像采集单元通过手掌血液对两种光的吸收形成的图像,并对手掌放置区域的手掌血液进行成像,并将采集到的视频信号进行分析,转成脉搏信号。
当选择两个摄像采集模块,摄像采集模块包括光源、图像采集单元、镜头及滤光片。光源为绿光和红光时,其中一个摄像采集模块的滤光片为可透绿光的滤光片或520窄带滤光片,另一个摄像采集模块的滤光片为可透红光的滤光片或660mm窄带滤光片,图像采集单元通过手掌血液对两种光的吸收形成的图像,并对手掌放置区域的手掌血液进行成像,并将采集到的视频信号进行分析,转成脉搏信号。
当选择两个摄像采集模块,摄像采集模块包括光源、图像采集单元、镜头及滤光片。光源为蓝光和红光时,其中一个摄像采集模块的滤光片为可透蓝光的滤光片或440窄带滤光片,另一个摄像采集模块的滤光片为可透红光的滤光片或660mm窄带滤光片,摄像采集模块通过手掌血液对两种光的吸收形成的图像,并对手掌放置区域的手掌血液进行成像,并将采集到的视频信号进行分析,转成脉搏信号。
当选择三个摄像采集模块,摄像采集模块包括光源、图像采集单元、镜头及滤光片。光源为蓝光、绿光和红光时,其中一个摄像采集模块的滤光片为可透蓝光的滤光片或440窄带滤光片、第二个摄像采集模块的滤光片为可透绿光的滤光片或520窄带滤光片,第三个摄像采集模块的滤光片为可透红光的滤光片或660mm窄带滤光片,图像采集单元通过手掌血液对三种光的吸收形成的图像,并对手掌放置区域的手掌血液进行成像,并将采集到的视频信号进行分析,转成脉搏信号。
若选择两个以上的摄像机采集模块,窄带滤光片为可见光波长的组合式选择,选择波段为100nm到750nm,优选440nm、470nm、520nm和660nm波段的组合。窄带滤光片屏蔽其他波段自然光的干扰,镜头为彩色镜头,本发明以两个摄像采集模块为例,每个摄像采集模块包括低照度图像采集传感器、镜头、窄带滤光片及处理器。两个摄像采集模块的滤光片分别为窄带波长520nm和660nm的组合或440nm和660nm的组合。两个低照度传感器从手掌的组织中采集发射或透射后的光强,并形成图像,然后将分别采集到的图像处理成脉搏信号,处理器通过视频图像转换出的脉搏信号以确定待验证者的手掌是否为活体手掌,并根据待验证者的手掌是否为活体手掌以确定是否启动手掌采集。若为符合要求,判断为真手掌。
再进一步地,本发明实施例中,图像采集单元能够通过手指血液对光的吸收形成掌纹视频图像,为了保证掌纹视频图像的质量和清晰度,对于不同的光源也应配有相应的滤光片进行吸收或散射,实现方案的多样化,并高效地采集掌纹视频图像,提升方案的实用性。
可选地,在上述图1对应的实施例基础上,本发明实施例提供的手掌识别装置第八个可选实施例中,手掌识别装置还可以包括手掌采集板,手掌采集板位于摄像采集模块的上方或摄像采集模块的下方;
手掌采集板,用于安置待采集者的手掌。
本实施例中,手掌识别装置还包括了手掌采集板,手掌采集板可以安置在摄像采集模块上方的任意一个位置,也可以安置于摄像采集模块下方的任意一个位置,此处不作具体限定。
手掌采集板可以在表面涂上专用保护漆,不但坚固而且防刮,手指放置方式采用人体工学设计,手掌采集板包含的串行外设接口(英文全称:Serial PeripheralInterface,英文缩写:SPI)界面用于快速稳定地传输数据资料,操作电压通常为2.5伏特至3.3伏特,手掌采集板耐磨次数可达到一百万次。手掌采集板抗静电能力强,对环境干燥容易起静电的地区特别适用。应用开发简单,开发手掌采集板都可根据提供的控制指令,自行掌纹应用产品的开发,无需具备专业的掌纹识别知识,且易用性强,可以大面积设置掌纹采集区,轻触式掌纹采集过程,轻松易用。
需要说明的是,手掌采集板还可以位于摄像采集模块的侧面,但是需要保证摄像采集模块能够采集到完整的手掌图片或视频。
更进一步地,本发明实施例中,手掌识别装置还包括了手掌采集板,该手掌采集板不但适应性强,可以对各类掌纹都有良好的是适应性,如对于干手指、湿手指、浅纹理手指等都具有极高的辨识率和良好的校正,并且能灵活嵌入到各种体积受限的手掌识别装置中,保证方案的灵活性和实用性。
可选地,在上述图1对应的实施例基础上,本发明实施例提供的手掌识别装置第九个可选实施例中,处理器,具体可以用于根据脉搏信号确定脉搏信号对应的峰值位置,峰值位置为信号强度最高点;
根据脉搏信号对应的峰值位置确定脉率值;
判断脉率值是否在预设范围内,若是,则确定脉搏信号为活体脉搏信号。
本实施例中,脉率是指每分钟脉搏的次数,正常情况下与心率一致,健康成年人在安静状态下脉率为每分钟60次至100次。且脉率受诸如年龄、性别、体型等因素的影响,在一定的范围内波动。而脉率的不同,其对应的脉象也不同,反映着人体不同的生理和病理特征,故在临床诊断中有必要对脉率进行实时检测。
利用处理器检测脉率值的思路为,先检测相邻两个脉搏波的波峰(波谷)值,然后求出两个脉搏波峰(波谷)之间的数据点数(假设为n),由采样率求出这n点所对应的时间,即为脉搏信号的周期(假设为T),最后用60/T便可计算出实时脉率(假设为N次每分钟)。
具体检测脉率的算法如下:脉搏信号峰值检测并确定峰值位置,并求出波峰(波谷)之间的点数n,然后确定脉搏信号的周期T,计算脉率值。采样频率fs=400Hz,则采样周期为1/fs,故脉搏信号的周期为T=n/fs。根据定义,可求得脉率N=60/T=(60×fs)/n
最后处理器判断脉率值是否在预设范围内,若是,则确定脉搏信号为活体脉搏信号。
其次,本发明实施例中,介绍了处理器如何判断脉搏信号是否为活体脉搏信号的方法,即处理器根据脉搏信号确定脉搏信号对应的峰值位置,然后计算出对应的脉率值,在预设范围内的脉率值为活体脉搏。通过上述方式,可以为处理器判断活体脉搏信号提供一种可行的方式,从而增加方案的实用性和可行性。
上述实施例是以手掌识别装置的角度进行介绍,下面将对本发明中的一种掌纹识别的方法进行介绍,请参阅图6,本实施例中掌纹识别方法包括:
101、采用基于成像式光电容积描记技术IPPG获取待采集者的手掌视频或图片;
本实施例中,手掌识别装置先采用基于IPPG获取待采集者的手掌视频或图片。
102、根据待采集者的手掌视频或图片提取对应的脉搏信号,并根据脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。
本实施例中,手掌识别装置根据待采集者的手掌视频或图片提取对应的脉搏信号,然后判断当前采集到的脉搏信号是否满足预设掌纹采集条件。比如,根据脉搏信号确定待采集者每分钟心跳70次,而在手掌识别装置中设置的掌纹采集条件为每分钟心跳在60到80之间为合理值,于是,只需要判断每分钟70次心跳是否满足60到80这个区间。手掌识别装置根据脉搏信号的测量确定是否为活体脉搏信号。
手掌识别装置确定待采集者的脉搏信号满足预设掌纹采集条件时,即确定该脉搏信号为活体信号,于是进而对该待采集者进行身份识别。
本发明实施例中,提供了一种掌纹识别的方法,先采用基于IPPG获取待采集者的手掌视频或图片,然后根据待采集者的手掌视频或图片提取对应的脉搏信号,并根据脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。通过上述方式,手掌识别装置获取手掌视频提取对应的脉搏信号,并根据该脉搏信号判断是否为活体手掌,可以提高设备的防伪功能,此外,该手掌识别装置的制造方法简单,易于工业化生产。
本发明提出的一种手掌识别装置基于IPPG进行掌纹采集,请参阅图7,图7为本发明实施例中采用IPPG法进行掌纹采集的流程示意图,在步骤201中,首先将手掌放置在辨识区域,然后通过步骤202,由视频图像采集单元获取待采集者的掌纹视频图像,交由步骤203的视频图像处理单元进行相关处理后,在步骤204中,处理器即可判断出待采集者的手掌是否是活体手掌,如果是活体手掌,则进入步骤205,掌纹采集单元可以采集该活体手掌的掌纹。
通常情况下,为了采集到的掌纹视频图像能够更加清晰,我们可以在一个手掌识别装置中设置有两个摄像采集模块,当然,如果采用更多的摄像采集模块可能会加大成本,以下将以两个摄像采集模块为例进行介绍,请参阅图8,图8为本发明实施例中采用两个摄像采集模块的手掌识别装置内部结构示意图,如图所示,当手掌识别装置中有两个摄像采集模块时,这两个不同的摄像采集模块可以分别做独立于对方的工作,也可以交互式的工作,这取决于是否公用一个处理器,如果各自包含一个处理器进行工作时,则每个处理应该得到相同的识别结果,若识别结果不同,可停止后续的掌纹采集工作,如果两个摄像采集模块共同使用一个处理器时,则由处理器综合两者的掌纹识别图像作出合理判断。
图8的手掌识别装置300以共用一个处理器303为例进行介绍,且处理器303外置于摄像采集模块301和摄像采集模块302,摄像采集模块301中包括光源3011、图像采集单元3012、滤光片3013和镜头3014,而摄像采集模块302中包括光源3021、图像采集单元3022、滤光片3023和镜头3024。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种手掌识别装置,其特征在于,包括至少一个摄像采集模块,其中,所述摄像采集模块包括图像采集单元以及处理器;
所述图像采集单元,用于采用基于成像式光电容积描记技术IPPG获取待采集者的手掌视频或图片;
所述处理器,用于根据所述待采集者的手掌视频或图片提取对应的脉搏信号,并根据所述脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。
2.根据权利要求1所述的手掌识别装置,其特征在于,
所述图像采集单元,具体用于基于IPPG获取待采集者的手掌视频或图片,并获取所述手掌视频或图片的像素灰度值;
对所述手掌视频或图片的像素灰度值进行数值处理;
所述处理器,具体用于根据经过数值处理后的所述手掌视频或图片的像素灰度值,获取对应的脉搏信号。
3.根据权利要求2所述的手掌识别装置,其特征在于,
所述图像采集单元,具体用于基于IPPG获取所述待采集者的手掌视频或图片,所述手掌视频包含多帧手掌图像;
获取所述手掌视频中每帧手掌图像中目标区域所对应的像素灰度值;
对所述每帧手掌图像中目标区域所对应的像素灰度值进行算术平均或加权平均处理,并得到像素灰度平均值;
所述处理器,具体用于根据所述像素灰度平均值确定所述脉搏信号。
4.根据权利要求1至3中任一项所述的手掌识别装置,其特征在于,所述摄像采集模块还包括镜头以及滤光片;
所述镜头,用于获取所述待采集者的手掌视频或图片;
所述滤光片,用于根据当前环境下的光源过滤出目标光波长对应的光线。
5.根据权利要求1所述的手掌识别装置,其特征在于,所述图像采集单元包括低照度传感器、高清传感器以及宽动态传感器中的至少一种。
6.根据权利要求4所述的手掌识别装置,其特征在于,所述当前环境下的光源为自然光照下的无主动光源;
所述滤光片为窄带滤光片;
所述镜头为彩色镜头。
7.根据权利要求5所述的手掌识别装置,其特征在于,所述手掌识别装置还包括光源;
所述光源为蓝色光源、绿色光源和红色光源中的至少一种。
8.根据权利要求7所述的手掌识别装置,其特征在于,
当所述光源为所述蓝色光源时,所述滤光片为可透蓝光滤光片或440nm窄带滤光片;
或,
当所述光源为所述绿色光源时,所述滤光片为可透绿光滤光片或520nm窄带滤光片;
或,
当所述光源为所述红色光源时,所述滤光片为可透红光滤光片或660nm窄带滤光片。
9.根据权利要求1所述的手掌识别装置,其特征在于,所述手掌识别装置还包括手掌采集板,所述手掌采集板位于所述摄像采集模块的上方或所述摄像采集模块的下方;
所述手掌采集板,用于安置所述待采集者的手掌。
10.根据权利要求1所述的手掌识别装置,其特征在于,
所述处理器,具体用于根据所述脉搏信号确定所述脉搏信号对应的峰值位置,所述峰值位置为信号强度最高点;
根据所述脉搏信号对应的峰值位置确定脉率值;
判断所述脉率值是否在预设范围内,若是,则确定所述脉搏信号为所述活体脉搏信号。
11.一种手掌识别的方法,其特征在于,包括:
采用基于成像式光电容积描记技术IPPG获取待采集者的手掌视频或图片;
根据所述待采集者的手掌视频或图片提取对应的脉搏信号,并根据所述脉搏信号判断是否为活体脉搏信号,若是,则启动手掌信息采集功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611237656.0A CN106650677A (zh) | 2016-12-28 | 2016-12-28 | 一种手掌识别装置以及手掌识别的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611237656.0A CN106650677A (zh) | 2016-12-28 | 2016-12-28 | 一种手掌识别装置以及手掌识别的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106650677A true CN106650677A (zh) | 2017-05-10 |
Family
ID=58832067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611237656.0A Pending CN106650677A (zh) | 2016-12-28 | 2016-12-28 | 一种手掌识别装置以及手掌识别的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650677A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564080A (zh) * | 2018-04-18 | 2018-09-21 | 青岛海泰新光科技股份有限公司 | 生物识别特征检测装置及方法 |
CN109308405A (zh) * | 2018-09-08 | 2019-02-05 | 太若科技(北京)有限公司 | 运用手部静脉血管解锁ar设备的方法、装置及ar设备 |
CN110059638A (zh) * | 2019-04-19 | 2019-07-26 | 中控智慧科技股份有限公司 | 一种身份识别方法及装置 |
CN111898500A (zh) * | 2020-07-17 | 2020-11-06 | 深圳阜时科技有限公司 | 屏下光学检测系统及电子设备 |
CN114385011A (zh) * | 2022-01-14 | 2022-04-22 | 维达力实业(深圳)有限公司 | 物联网控制系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761465A (zh) * | 2014-02-14 | 2014-04-30 | 上海云亨科技有限公司 | 一种身份验证的方法及装置 |
CN104123565A (zh) * | 2014-07-30 | 2014-10-29 | 中山艺展装饰工程有限公司 | 基于多模态识别的身份证认证与持有人同一性认证方法 |
CN106156690A (zh) * | 2015-03-23 | 2016-11-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
-
2016
- 2016-12-28 CN CN201611237656.0A patent/CN106650677A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761465A (zh) * | 2014-02-14 | 2014-04-30 | 上海云亨科技有限公司 | 一种身份验证的方法及装置 |
CN104123565A (zh) * | 2014-07-30 | 2014-10-29 | 中山艺展装饰工程有限公司 | 基于多模态识别的身份证认证与持有人同一性认证方法 |
CN106156690A (zh) * | 2015-03-23 | 2016-11-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Non-Patent Citations (1)
Title |
---|
孔令琴: "非接触式生理信号检测关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564080A (zh) * | 2018-04-18 | 2018-09-21 | 青岛海泰新光科技股份有限公司 | 生物识别特征检测装置及方法 |
CN108564080B (zh) * | 2018-04-18 | 2024-02-02 | 青岛海泰新光科技股份有限公司 | 生物识别特征检测装置及方法 |
CN109308405A (zh) * | 2018-09-08 | 2019-02-05 | 太若科技(北京)有限公司 | 运用手部静脉血管解锁ar设备的方法、装置及ar设备 |
CN110059638A (zh) * | 2019-04-19 | 2019-07-26 | 中控智慧科技股份有限公司 | 一种身份识别方法及装置 |
CN111898500A (zh) * | 2020-07-17 | 2020-11-06 | 深圳阜时科技有限公司 | 屏下光学检测系统及电子设备 |
CN111898500B (zh) * | 2020-07-17 | 2024-02-20 | 深圳阜时科技有限公司 | 屏下光学检测系统及电子设备 |
CN114385011A (zh) * | 2022-01-14 | 2022-04-22 | 维达力实业(深圳)有限公司 | 物联网控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106462754A (zh) | 一种指纹识别装置以及指纹识别的方法 | |
CN106650677A (zh) | 一种手掌识别装置以及手掌识别的方法 | |
CN108604376B (zh) | 用于搏动性检测的设备、系统和方法 | |
US7751622B2 (en) | Method and system for detection of undesirable images | |
CN108549884A (zh) | 一种活体检测方法及装置 | |
CN108389207A (zh) | 一种牙病诊断方法、诊断设备及智能图像采集装置 | |
CN106530279B (zh) | 一种图像处理方法及系统 | |
US20080080755A1 (en) | Apparatus and Method for Measuring Photodamage to Skin | |
CN102982317A (zh) | 用于改进生物统计特征的确定的系统与方法 | |
CN106999116A (zh) | 用于皮肤检测的设备和方法 | |
CN207491128U (zh) | 一种rgb+ir图像采集设备 | |
JP2004283211A (ja) | 画像判別装置、方法およびプログラム | |
CN105959592A (zh) | 一种自适应光线的生物计量信息采集装置和方法 | |
CN103211605A (zh) | 一种心理测试系统及心理测试方法 | |
JP4604451B2 (ja) | 医用画像処理装置及び悪性度の判定方法 | |
CN109549624A (zh) | 一种基于深度学习的实时视频情感分析方法及系统 | |
CN108375095A (zh) | 一种吸油烟机的控制方法及吸油烟机 | |
CN101843020A (zh) | 非接触型多谱生物测量获取 | |
CN116849612B (zh) | 一种多光谱舌象图像采集分析系统 | |
CN108629293A (zh) | 一种具有反馈机制的自适应近红外虹膜图像采集方法 | |
Murray et al. | Real-time diabetic retinopathy patient screening using multiscale AM-FM methods | |
CN110119699A (zh) | 内指纹提取方法、装置、系统及存储介质和指纹识别方法 | |
CN110335249A (zh) | 基于高光谱成像技术的柑橘黄龙病检测方法 | |
Wang et al. | Anti-spoofing study on palm biometric features | |
CN201796028U (zh) | 一种识别外壳带菌蛋的紫外检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |