指纹识别装置和电子设备
本申请要求于2018年12月13日提交中国专利局、申请号为PCT/CN2018/120893、申请名称为“指纹识别装置、方法和电子设备”的PCT专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及光学指纹技术领域,并且更具体地,涉及一种指纹识别装置和电子设备。
背景技术
光学指纹识别装置的应用给用户带来了安全和便捷的用户体验,但是通过人工材料(例如,硅胶、白胶等)制造的指纹模具、打印的指纹图像等伪造的指纹是指纹应用中一个安全隐患。因此,如何识别指纹的真假,以提升指纹识别的安全性是一项亟需解决的问题。
实用新型内容
本申请实施例提供了一种指纹识别装置和电子设备,能够识别指纹的真假,从而能够提升指纹识别的安全性。
第一方面,提供了一种指纹识别装置,包括:
光学指纹传感器,包括多个像素单元;
至少两个滤光单元,设置在所述多个像素单元中的至少两个像素单元的上方,其中,每个滤光单元对应一个像素单元,所述至少两个滤光单元包括至少两种颜色的滤光单元。
在一种可能的实现方式中,所述至少两个像素单元采集的待识别物体的指纹图像用于确定所述待识别物体是否为真实手指。
在一种可能的实现方式中,所述至少两个滤光单元包括多个第一滤光单元,其中,所述多个第一滤光单元的颜色与所述多个像素单元中除所述至少两个像素单元以外的其他像素单元上方所设置的滤光层的颜色不同,或所述其他像素单元上方未设置滤光层。
在一种可能的实现方式中,所述多个第一滤光单元的数量与所述多个像素单元的总数量的比例小于第一阈值。
在一种可能的实现方式中,所述第一阈值为5%。
在一种可能的实现方式中,所述多个第一滤光单元中连续的滤光单元的个数小于第二阈值。
在一种可能的实现方式中,所述第二阈值为8。
在一种可能的实现方式中,所述至少两个滤光单元构成至少一个滤光单元组,每个滤光单元组包括至少两个滤光单元,所述滤光单元组中相邻的滤光单元包括至少两种颜色的滤光单元。
在一种可能的实现方式中,若所述多个像素单元中除所述至少两个像素单元以外的其他像素单元上方设置有绿色滤光层,所述滤光单元组中相邻的滤光单元只包括红色滤光单元和蓝色滤光单元;或者
若所述其他像素单元的上方未设置滤光层,所述滤光单元组中相邻的滤光单元包括红色滤光单元、绿色滤光单元和蓝色滤光单元中的至少两种。
在一种可能的实现方式中,所述至少两个滤光单元中的每个滤光单元的波段范围只包括用于指纹检测的光信号的波段范围中的部分。
可选地,所述至少两个滤光单元构成多个滤光单元组,所述多个滤光单元组离散分布在由所述多个像素单元构成的像素阵列中。
可选地,所述多个滤光单元组呈长方形、正方形、菱形或圆形均分分布在所述光学指纹传感器的像素阵列中。
可选地,所述滤光单元为彩色滤光材料,所述彩色滤光材料包括红色滤光材料、绿色滤光材料和蓝色滤光材料中的至少一种。
可选地,所述滤光单元为彩色滤光片,所述彩色滤光片为红色滤光片、绿色滤光片和蓝色滤光片中的一种。
可选地,所述指纹识别装置还包括:处理器,用于通过深度学习网络对所述至少两个像素单元采集的待识别物体的指纹图像进行处理,确定所述待识别物体是否为真实手指。
可选地,所述处理器还用于:从所述光学指纹传感器采集的多个真实手指和假指纹的指纹图像中,提取每个指纹图像中所述滤光单元对应的像素单元的采样值,重组得到彩色指纹图像;
将所述彩色指纹图像输入至深度学习网络进行训练,得到所述深度学习网络的模型和参数。
可选地,所述处理器还用于:根据所述多个像素单元中除所述至少两个像素单元以外的其他像素单元采集的指纹图像进行指纹识别。
第二方面,提供了一种指纹识别方法,所述方法包括:通过光学指纹传感器的多个像素单元采集待识别物体的指纹图像,其中,所述多个像素单元中的至少两个像素单元的上方设置有至少两个滤光单元,每个滤光单元对应一个像素单元,所述至少两个滤光单元包括至少两种颜色的滤光单元。
可选地,所述方法还包括:根据所述至少两个像素单元采集的待识别物体的指纹图像,确定所述待识别物体是否为真实手指。
可选地,所述根据所述至少两个像素单元采集的待识别物体的指纹图像,确定所述待识别物体是否为真实手指,包括:
通过深度学习网络对所述至少两个像素单元采集的所述待识别物体的指纹图像进行处理,确定所述待识别物体是否为真实手指。
可选地,所述方法还包括:通过所述光学指纹传感器采集多个真实手指和假手指的指纹图像;提取每个指纹图像中所述滤光单元对应的像素单元的采样值,重组得到彩色指纹图像;将所述彩色指纹图像输入至深度学习网络进行训练,得到所述深度学习网络的模型和参数。
可选地,所述方法还包括:根据所述多个像素单元中除所述至少两个像素单元以外的其他像素单元采集的指纹图像进行指纹识别。
可选地,所述至少两个滤光单元包括多个第一滤光单元,其中,所述多个第一滤光单元的颜色与所述多个像素单元中除所述至少两个像素单元以外的其他像素单元上方所设置的滤光层的颜色不同,或所述其他像素单元上方未设置滤光层。
可选地,所述多个第一滤光单元的数量与所述多个像素单元的总数量的比例小于第一阈值。可选地,所述第一阈值为5%。
可选地,所述多个第一滤光单元中连续的滤光单元的个数小于第二阈值。可选地,所述第二阈值为8。
可选地,所述至少两个滤光单元构成至少一个滤光单元组,每个滤光单元组包括至少两个滤光单元,所述滤光单元组中相邻的滤光单元包括至少两种颜色的滤光单元。
可选地,若所述多个像素单元中除所述至少两个像素单元以外的其他像素单元上方设置有绿色滤光层,所述滤光单元组中相邻的滤光单元只包括红色滤光单元和蓝色滤光单元;或者
若所述其他像素单元的上方未设置滤光层,所述滤光单元组中相邻的滤光单元包括红色滤光单元、绿色滤光单元和蓝色滤光单元中的至少两种。
可选地,所述至少两个滤光单元中的每个滤光单元的波段范围只包括用于指纹检测的光信号的波段范围中的部分。
可选地,所述至少两个滤光单元构成多个滤光单元组,所述多个滤光单元组离散分布在由所述多个像素单元构成的像素阵列中。
可选地,所述多个滤光单元组呈长方形、正方形、菱形或圆形均分分布在所述光学指纹传感器的像素阵列中。
可选地,所述滤光单元为彩色滤光材料,所述彩色滤光材料包括红色滤光材料、绿色滤光材料和蓝色滤光材料中的至少一种。
可选地,所述滤光单元为彩色滤光片,所述彩色滤光片为红色滤光片、绿色滤光片和蓝色滤光片中的一种。
第三方面,提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行第二方面或第二方面的任一可能的实现方式中的方法。
第四方面,提供了一种电子设备,包括如第一方面或第一方面的任一可能的实现方式中的指纹识别装置。
第五方面,提供了一种计算机可读介质,用于存储计算机程序,所述计算机程序包括用于执行上述第二方面或第二方面的任一可能的实现方式中的指令。
第六方面,提供了一种包括指令的计算机程序产品,当计算机运行所述计算机程序产品的所述指时,所述计算机执行上述第二方面或第二方面的任一可能的实现方式中的指纹识别的方法。
具体地,该计算机程序产品可以运行于上述第四方面的电子设备上。
基于上述技术方案,通过在光学指纹传感器的多个像素单元中的部分像素单元的上方设置至少两种颜色的滤光单元,从而通过这部分像素单元所采集的指纹图像即为彩色指纹图像,由于对于不同的材料而言,该彩色指纹图像具有明显的差异,因此,可以根据该彩色指纹图像确定指纹图像的真假,从而能够提升指纹识别的安全性。
附图说明
图1是本申请实施例所适用的电子设备的结构示意图。
图2是真假指纹对应的彩色指纹图像的差异对比图。
图3是根据本申请实施例的指纹识别装置的示意性结构图。
图4是根据本申请实施例的滤光单元组的排布方式的示意性图。
图5是滤光单元组中的滤光单元的一种设计方式的示意性图。
图6是滤光单元组中的滤光单元的另一种设计方式的示意性图。
图7是本申请实施例的卷积神经网络的结构图。
图8是根据本申请一实施例的指纹识别方法的示意性流程图。
图9是根据本申请另一实施例的指纹识别方法的示意性流程图。
图10是根据本申请实施例的电子设备的示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
应理解,本申请实施例可以应用于光学指纹系统,包括但不限于光学指纹识别系统和基于光学指纹成像的医疗诊断产品,本申请实施例仅以光学指纹系统为例进行说明,但不应对本申请实施例构成任何限定,本申请实施例同样适用于其他采用光学成像技术的系统等。
作为一种常见的应用场景,本申请实施例提供的光学指纹系统可以应用在智能手机、平板电脑以及其他具有显示屏的移动终端或者其他终端设备;更具体地,在上述终端设备中,指纹识别装置可以具体为光学指纹装置,其可以设置在显示屏下方的局部区域或者全部区域,从而形成屏下(Under-display)光学指纹系统。或者,所述指纹识别装置也可以部分或者全部集成至所述终端设备的显示屏内部,从而形成屏内(In-display)光学指纹系统。
如图1所示为本申请实施例可以适用的终端设备的结构示意图,所述终端设备10包括显示屏120和光学指纹装置130,其中,所述光学指纹装置130设置在所述显示屏120下方的局部区域。所述光学指纹装置130包括光学指纹传感器,所述光学指纹传感器包括具有多个光学感应单元131的感应阵列133,所述感应阵列133所在区域或者其感应区域为所述光学指纹装置130的指纹检测区域103。如图1所示,所述指纹检测区域103位于所述显示屏120的显示区域之中。在一种替代实施例中,所述光学指纹装置130还可以设置在其他位置,比如所述显示屏120的侧面或者所述终端设备10的边缘非透光区域,并通过光路设计来将所述显示屏120的至少部分显示区域的光信号导引到所述光学指纹装置130,从而使得所述指纹检测区域103实际上位于所述显示屏120的显示区域。
应当理解,所述指纹检测区域103的面积可以与所述光学指纹装置130的感应阵列的面积不同,例如通过例如透镜成像的光路设计、反射式折叠光路设计或者其他光线汇聚或者反射等光路设计,可以使得所述光学指纹装置130的指纹检测区域103的面积大于所述光学指纹装置130感应阵列的面积。在其他替代实现方式中,如果采用例如光线准直方式进行光路引导,所述光学指纹装置130的指纹检测区域103也可以设计成与所述光学指纹装置130的感应阵列的面积基本一致。
因此,使用者在需要对所述终端设备进行解锁或者其他指纹验证的时候,只需要将手指按压在位于所述显示屏120的指纹检测区域103,便可以实现指纹输入。由于指纹检测可以在屏内实现,因此采用上述结构的终端设备10无需其正面专门预留空间来设置指纹按键(比如Home键),从而可以采用全面屏方案,即所述显示屏120的显示区域可以基本扩展到整个终端设备10的正面。
作为一种可选的实现方式,如图1所示,所述光学指纹装置130包括光检测部分134和光学组件132,所述光检测部分134包括所述感应阵列以及与所述感应阵列电性连接的读取电路及其他辅助电路,其可以在通过半导体工艺制作在一个芯片(Die),比如光学成像芯片或者光学指纹传感器,所述感应阵列具体为光探测器(Photo detector)阵列,其包括多个呈阵列式分布的光探测器,所述光探测器可以作为如上所述的光学感应单元;所述光学组件132可以设置在所述光检测部分134的感应阵列的上方,其可以具体包括滤光层(Filter)、导光层或光路引导结构以及其他光学元件,所述滤光层可以用于滤除穿透手指的环境光,而所述导光层或光路引导结构主要用于从手指表面反射回来的反射光导引至所述感应阵列进行光学检测。
在具体实现上,所述光学组件132可以与所述光检测部分134封装在同一个光学指纹部件。比如,所述光学组件132可以与所述光学检测部分134封装在同一个光学指纹芯片,也可以将所述光学组件132设置在所述光检测部分134所在的芯片外部,比如将所述光学组件132贴合在所述芯片上方,或者将所述光学组件132的部分元件集成在上述芯片之中。
其中,所述光学组件132的导光层或者光路引导结构有多种实现方案,比如,所述导光层可以具体为在半导体硅片制作而成的准直器(Collimator)层,其具有多个准直单元或者微孔阵列,所述准直单元可以具体为小孔,从手指反射回来的反射光中,垂直入射到所述准直单元的光线可以穿过并被其下方的光学感应单元接收,而入射角度过大的光线在所述准直单元内部经过多次反射被衰减掉,因此每一个光学感应单元基本只能接收到其正上方的指纹纹路反射回来的反射光,从而所述感应阵列便可以检测出手指的指纹图像。
在另一种实施例中,所述导光层或者光路引导结构也可以为光学透镜(Lens)层,其具有一个或多个透镜单元,比如一个或多个非球面透镜组成的透镜组,其用于将从手指反射回来的反射光汇聚到其下方的光检测部分134的感应阵列,以使得所述感应阵列可以基于所述反射光进行成像,从而得到所述手指的指纹图像。可选地,所述光学透镜层在所述透镜单元的光路中还可以形成有针孔,所述针孔可以配合所述光学透镜层扩大所述光学指纹装置的视场,以提高所述光学指纹装置130的指纹成像效果。
在其他实施例中,所述导光层或者光路引导结构也可以具体采用微透镜(Micro-Lens)层,所述微透镜层具有由多个微透镜形成的微透镜阵列,其可以通过半导体生长工艺或者其他工艺形成在所述光检测部分134的感应阵列上方,并且每一个微透镜可以分别对应于所述感应阵列的其中一个感应单元。并且,所述微透镜层和所述感应单元之间还可以形成其他光学膜层,比如介质层或者钝化层,更具体地,所述微透镜层和所述感应单元之间还可以包括具有微孔的挡光层,其中所述微孔形成在其对应的微透镜和感应单元之间,所述挡光层可以阻挡相邻微透镜和感应单元之间的光学干扰,并使得所述感应单元所对应的光线通过所述微透镜汇聚到所述微孔内部并经由所述微孔传输到所述感应单元以进行光学指纹成像。应当理解,上述光路引导结构的几种实现方案可以单独使用也可以结合使用,比如,可以在所述准直器层或者所述光学透镜层下方进一步设置微透镜层。当然,在所述准直器层或者所述光学透镜层与所述微透镜层结合使用时,其具体叠层结构或者光路可能需要按照实际需要进行调整。
作为一种可选的实施例,所述显示屏120可以采用具有自发光显示单元的显示屏,比如有机发光二极管(Organic Light-Emitting Diode,OLED)显示屏或者微型发光二极管(Micro-LED)显示屏。以采用OLED显示屏为例,所述光学指纹装置130可以利用所述OLED显示屏120位于所述指纹检测区域103的显示单元(即OLED光源)来作为光学指纹检测的激励光源。当手指140按压在所述指纹检测区域103时,显示屏120向所述指纹检测区域103上方的目标手指140发出一束光111,该光111在手指140的表面发生反射形成反射光或者经过所述手指140内部散射而形成散射光,在相关专利申请中,为便于描述,上述反射光和散射光统称为反射光。由于指纹的嵴(ridge)与峪(vally)对于光的反射能力不同,因此,来自指纹嵴的反射光151和来自指纹峪的发生过152具有不同的光强,反射光经过光学组件132后,被光学指纹装置130中的感应阵列134所接收并转换为相应的电信号,即指纹检测信号;基于所述指纹检测信号便可以获得指纹图像数据,并且可以进一步进行指纹匹配验证,从而在所述终端设备10实现光学指纹识别功能。
在其他实施例中,所述光学指纹装置130也可以采用内置光源或者外置光源来提供用于进行指纹检测的光信号。在这种情况下,所述光学指纹装置130可以适用于非自发光显示屏,比如液晶显示屏或者其他的被动发光显示屏。以应用在具有背光模组和液晶面板的液晶显示屏为例,为支持液晶显示屏的屏下指纹检测,所述终端设备10的光学指纹系统还可以包括用于光学指纹检测的激励光源,所述激励光源可以具体为红外光源或者特定波长非可见光的光源,其可以设置在所述液晶显示屏的背光模组下方或者设置在所述终端设备10的保护盖板下方的边缘区域,而所述光学指纹装置130可以设置液晶面板或者保护盖板的边缘区域下方并通过光路引导以使得指纹检测光可以到达所述光学指纹装置130;或者,所述光学指纹装置130也可以设置在所述背光模组下方,且所述背光模组通过对扩散片、增亮片、反射片等膜层进行开孔或者其他光学设计以允许指纹检测光穿过液晶面板和背光模组并到达所述光学指纹装置130。当采用所述光学指纹装置130采用内置光源或者外置光源来提供用于进行指纹检测的光信号时,其检测原理与上面描述内容是一致的。
应当理解的是,在具体实现上,所述终端设备10还包括透明保护盖板,所述盖板可以为玻璃盖板或者蓝宝石盖板,其位于所述显示屏120的上方并覆盖所述终端设备10的正面。因为,本申请实施例中,所谓的手指按压在所述显示屏120实际上是指按压在所述显示屏120上方的盖板或者覆盖所述盖板的保护层表面。
另一方面,在某些实施例中,所述光学指纹装置130可以仅包括一个光学指纹传感器,此时光学指纹装置130的指纹检测区域103的面积较小且位置固定,因此用户在进行指纹输入时需要将手指按压到所述指纹检测区域103的特定位置,否则光学指纹装置130可能无法采集到指纹图像而造成用户体验不佳。在其他替代实施例中,所述光学指纹装置130可以具体包括多个光学指纹传感器;所述多个光学指纹传感器可以通过拼接方式并排设置在所述显示屏120的下方,且所述多个光学指纹传感器的感应区域共同构成所述光学指纹装置130的指纹检测区域103。也即是说,所述光学指纹装置130的指纹检测区域103可以包括多个子区域,每个子区域分别对应于其中一个光学指纹传感器的感应区域,从而将所述光学指纹模组130的指纹采集区域103可以扩展到所述显示屏的下半部分的主要区域,即扩展到手指惯常按压区域,从而实现盲按式指纹输入操作。可替代地,当所述光学指纹传感器数量足够时,所述指纹检测区域130还可以扩展到半个显示区域甚至整个显示区域,从而实现半屏或者全屏指纹检测。
还应理解,在本申请实施例中,光学指纹装置中的感应阵列也可以称为像素阵列,感应阵列中的光学感应单元或感应单元也可称为像素单元。
需要说明的是,本申请实施例中的光学指纹装置也可以称为光学指纹识别模组、指纹识别装置、指纹识别模组、指纹模组、指纹采集装置等,上述术语可相互替换。
通常来说,受人体皮肤组织的皮层厚度、血红蛋白浓度、黑色素含量等因素的影响,人体皮肤组织对特定波长光线例如红色光线的反射性能与硅胶、纸张和胶带等人工材料具有显著差别。
基于此,本申请提供了一种指纹识别方案,在指纹识别装置中的部分像素单元(记为特征像素单元)上方设置具有至少两种颜色的滤光单元,这样,通过特征像素单元采集的指纹图像即为低分辨率的彩色指纹图像,对于不同的材料(例如,人体手指和硅胶等人工材料)而言,该低分辨率彩色指纹图像具有明显不同的特性,如图2所示,因此,可以根据特征像素单元采集的低分辨率的彩色指纹图像的差异,确定指纹图像的真假。
以下,结合图3至图10,详细介绍本申请实施例的指纹识别装置。
需要说明的是,为便于理解,在以下示出的实施例中,相同的结构采用相同的附图标记,并且为了简洁,省略对相同结构的详细说明。
应理解,在以下所示出的本申请实施例中的像素单元、滤波单元以及滤光单元组的数量和排布方式等仅为示例性说明,而不应对本申请构成任何限定。
图3是本申请实施例提供的一种指纹识别装置20的示意性结构图,该指纹识别装置20包括:
光学指纹传感器200,包括多个像素单元,例如,图3中的像素单元211和像素单元212;
至少两个滤光单元221,设置在该多个像素单元中的至少两个像素单元212的上方,每个滤光单元221对应一个像素单元212,并且所述至少两个滤光单元221包括至少两种颜色的滤光单元。
可选地,在本申请实施例中,该指纹识别装置可以为指纹模组,或者,该指纹识别装置可以为包括指纹模组的电子设备,本申请实施例对此不作限定。
应理解,在本申请实施例中,该至少两个滤光单元212可以构成至少一个滤波单元组220,每个滤光单元组中的滤光单元的设计方式和该至少一个滤波单元组在该光学指纹传感器中的排布方式在下文作详细阐述。
为便于区分和说明,在本申请实施例中,将上方设置有滤光单元221的像素单元,即图3中的像素单元212,记为特征像素单元;将该至少两个像素单元之外的其他像素单元,即图3中的像素单元211,记为普通像素单元,或称背景像素单元。应理解,图3中的特征像素单元212和背景像素单元211的位置、数量和分布情况仅为示例,但不应对本申请实施例构成任何限定。
在本申请实施例中,在进行指纹图像采集时,显示屏的指纹检测区域可以显示特定颜色的光斑,例如白色光斑或青色光斑等,待识别物体按压该指纹检测区域时,该光斑对应的光信号可以在待识别物体的表面反射形成指纹检测信号。由于在至少两个特征像素单元212的上方设置有至少两个滤光单元221,并且该至少两个滤光单元221包括至少两种颜色的滤光单元,这样,该指纹检测信号经过该至少两种颜色的滤光单元221后,该至少两个特征像素单元212可以采集到具有至少两种颜色的彩色指纹图像,并且经过滤光单元221后,过滤掉部分波段的光信号,相对于不设置滤光单元的像素单元所采集的指纹图像而言,指纹图像的分辨率降低,因此,通过该特征像素单元所采集的指纹图像为低分辨率的彩色指纹图像。进一步地,可以根据该低分辨率彩色指纹图像,确定真假指纹。
应理解,在本申请实施例中,只需单次采集指纹图像,通过不同颜色的滤光单元即可得到具有不同颜色的彩色指纹图像,而不必多次采集指纹图像,有利于降低采集时间,提升采集效率。
可选地,在本申请实施例中,滤光单元通常只允许特定波段范围内的光信号通过,则对于单个滤光单元而言,用于指纹检测的光源的发射光的波段范围需要包括该滤光单元的波段,以及除此波段以外的至少部分其他波段,也就是说,单个滤光单元的波段只包括该发射光的部分波段。这样,该发射光在待识别物体的表面反射后,进入滤光单元,经过该滤光单元后滤除一部分光信号,同时允许一部分光信号通过,进一步在特征像素单元上成像,进而可以得到低分辨率的彩色指纹图像。
举例来说,若该光源发射的是白光,即在指纹检测区域显示的是白色光斑,则该滤光单元可以为红色滤光单元,只允许红光波段通过,或者也可以为蓝色滤光单元,只允许蓝光波段通过,或者也可以为青色滤光单元,同时允许绿光和蓝光波段通过,等等,只要该滤光单元能够滤除部分波段的光信号,同时允许其他波段的光信号通过即可,本申请实施例对此不做限定。
作为一个可选实施例,若该滤光单元221为红色滤光单元,该红色滤光单元可以是红色滤光材料,或者红色滤波片,即可以在特征像素单元的上方涂覆红色滤光材料或设置红色滤波片,以达到只允许红光波段通过的目的,对于其他颜色的滤波单元实现方式类似,这里不再赘述。
例如,蓝色滤光片的波段范围可以是中心波段为440nm~475nm,上截止波段约为550nm,蓝光的透过率高于绿光和红光;绿色滤光片的波段范围可以是中心波段为520nm~550nm,上下截止波段约为620nm、460nm,绿光的透过率高于蓝光和红光;红色滤光片的波段范围可以是下截止波段约为550nm,红光的透过率高于绿光和蓝光。
可选地,在本申请实施例中,该用于指纹检测的光源可以是来自显示屏的自发光源,或者也可以是集成于该指纹识别装置内部的激励光源或其他外置激励光源,本申请实施例对此不做限定。
在一种可选的实现方式中,背景像素单元211的上方可以不设置其他结构,或者不涂覆任何材料,即,该背景像素单元211的上方透明不做处理,换句话说,背景像素单元和其上方的光学组件之间为空气间隙。
在另一可选的实现方式中,可以在背景像素单元211的上方设置透光材料222,此情况下,进入背景像素单元211的指纹检测信号也不受影响或影响较小。
在其他可选的实现方式中,背景像素单元211的上方也可以设置滤光层222,例如绿色滤光层,可选地,可以在该背景像素单元211的上方涂覆绿色滤光材料,或者设置绿色滤光片,这样,指纹检测信号经过该绿色滤光层后,背景像素单元211所采集的指纹图像为绿色指纹图像,即滤除了红色波段和蓝色波段的指纹检测信号,有利于降低红外光等环境光信号的影响,从而能够提升指纹识别性能。
以下,结合具体实施例,说明该至少两个滤光单元在该光学指纹传感器200中位置和颜色的设计方式。
应理解,在本申请实施例中,该至少两个滤光单元可以是连续的滤光单元,或者也可以是部分滤光单元连续,或者也可以是离散的滤光单元,本申请实施例对此不作具体限定。
可选地,在本申请实施例中,可以设置连续的滤光单元的数量小于或等于特定阈值,例如,6个,对应地,连续的特征像素单元的个数也不大于该特定阈值,从而能够避免影响指纹识别性能。
可选地,在一些实施例中,该至少两个滤光单元221可以构成多个滤光单元组220,每个滤光单元组220可以包括至少两种颜色的滤光单元,作为一个可选实施例,该多个滤光单元组220可以离散分布在该光学指纹传感器的感光区域中,相应地,可以认为滤光单元组对应的特征像素单元组离散分布在该光学指纹传感器的像素阵列中,从而能够避免滤光单元组连续覆盖的像素单元的个数过多影响指纹识别性能。应理解,光学指纹传感器的感光区域可以理解为光学指纹传感器的像素单元所在的区域,或称像素区域。
结合图4,说明滤光单元组220在光学指纹传感器中的几种可能的实现方式。
在一种实现方式中,可以设置该滤光单元组220为等间距棋盘格的排布方式,例如,如图4所示的长方形或正方形的棋盘格图案。此情况下,该滤光单元组为滤光阵列M*N,其中,该M和N可以根据光学指纹传感器的像素阵列的行数和列数确定。可选地,该M可以为M=5,6,7,…,32等,该N可以为5,6,7,…,32等,本申请实施例对此不作限定。
在其他可选的实现方式中,该滤光单元组220也可以呈菱形、圆形或其他规则或不规则图案排布在该光学指纹传感器的感光区域中,本申请实施例对此不作限定。
应理解,图4示出了滤光单元组221几种典型的排布方式,或者说,优选的排布方式,但不应对本申请实施例构成任何限定,本申请实施例也可以采用其他排布方式设置该滤光单元组,只要不影响指纹识别性能,或对指纹识别性能的影响较小即可。
以下,以单个滤光单元组为例,说明滤光单元组中的滤光单元的设计方式。
可选地,在一些实施例中,该滤光单元组中的相邻的滤光单元至少包括红色滤光单元和蓝色滤光单元,可选地,在一些情况下,也可以包括绿色滤光单元。应理解,这里的相邻的滤光单元可以是物理上相邻的,或者也可以是中间间隔一个或多个背景像素单元,本申请实施例对此不作限定。
由上文描述可知,背景像素单元的上方可以设置滤光层(记为情况1),或者也可以做透明处理(记为情况2),以下,结合两种情况,说明滤光单元中的滤光单元的设计方式。
对于情况1而言,与滤光单元组中的滤光单元相邻的背景像素单元的上方设置有滤光层,则该滤光单元组可以不包括与该滤光层颜色相同的滤光单元,假设该背景像素单元的上方设置有绿色滤光层,则该相邻的滤光单元中可以只包括红色和蓝色两种颜色的滤光单元,从而能够避免对指纹识别性能的影响。当然,此情况下,也可以包括绿色滤光单元,只要设置的绿色滤光单元的数量不影响指纹识别性能,或对指纹识别性能影响较小即可。
对于情况2而言,与滤光单元组中的滤光单元相邻的背景像素单元的上方透明,此情况下,与背景像素单元相邻的滤光单元可以包括红色滤光单元、蓝色滤光单元和绿色滤光单元中的任意两种或三种。
一般情况下,相对于红光波段和蓝光波段而言,采用绿光波段的指纹图像作指纹识别,指纹识别性能更优,因此,在本申请实施例中,当背景像素单元采用绿光波段的指纹图像作指纹识别时,设置滤光单元时避免使用绿色滤光单元,能够降低对指纹识别性能的影响。
图5和图6分别示出了上述两种情况下滤光单元组中的滤光单元的几种设计方式。
具体地,图5为背景像素单元上方设置绿色滤光层时,该滤光单元组中的滤光单元的几种设计方式。如图5所示,该滤光单元组可以为1*2,2*2,4*4等规则阵列,或者也可以为不规则阵列,当背景像素单元上方设置绿色滤光层时,即背景色为绿色,此情况下,该滤光单元组中可以只有红色和蓝色两种颜色的滤光单元,从而能够避免影响指纹识别性能。
图6所示为背景像素单元上方透明时,该滤光单元组中的滤光单元的可能的设计方式。如图6所示,该滤光单元也可以为1*2,2*2,4*4等规则阵列,或者也可以为不规则阵列,当背景像素单元上方透明,即背景透明时,该滤光单元组中的滤光单元可以包括红色、蓝色和绿色三种颜色的滤光单元,当然也可以只包括其中的两种颜色的滤光单元。
应理解,在本申请实施例中,单个滤光单元组中的滤光单元可以是连续的,例如图5或图6中的设计方式a~e;或者也可以是部分不连续的,例如,图5或图6中的设计方式f~g,即部分滤光单元由背景像素单元隔开;或者也可以是离散的,即滤光单元之间均由背景像素单元隔开,例如,图5或图6中的设计方式h~i。
可选地,在本申请实施例中,背景像素单元所采集的指纹图像可以用于指纹匹配验证,由于特征像素单元的存在,导致背景像素单元所采集的指纹图像并非完整的指纹图像,因此,在进行指纹识别之前,可以根据该背景像素单元所采集的指纹图像恢复完整的指纹图像,例如,可以采用插值或拟合等方式恢复特征像素单元位置的指纹图像,以得到完整的指纹图像。
可以理解,非背景色像素单元的个数越多,背景像素单元所采集的指纹图像的缺失信息越多,不利于根据背景像素单元采集的指纹图像进行完整指纹图像的恢复或还原。
还可以理解,非背景色像素单元中连续的像素单元的数量较大时,即相邻的背景色像素单元的间隔较远时,中间丢失的指纹信息过多,也不利于完整指纹图像的恢复或还原。
因此,在本申请实施例中,可以设置非背景色滤光单元的数量满足以下条件中的至少一个,以降低对指纹识别性能的影响:
1、非背景色滤光单元的数量小于特定数量阈值,例如20个;
2、非背景色滤光单元与光学指纹传感器中的像素单元的总数量的比值小于第一阈值,例如5%或2%;
3、连续的非背景色滤光单元的数量小于第二阈值。
由于非背景色滤光单元和非背景色像素单元一一对应,换句话说,在本申请实施例中,可以设置非背景色像素单元的数量满足以下条件中的至少一个,以降低对指纹识别性能的影响:
1、非背景色像素单元的数量小于特定数量阈值,例如20个;
2、非背景色像素单元占光学指纹传感器中的像素单元的总数量的比值小于第一阈值,例如5%或2%;
3、连续的非背景色像素单元的数量小于第二阈值。
应理解,在本申请实施例中,非背景色滤光单元与背景像素单元上方所设置的滤光层的颜色不同,例如,该非背景色滤光单元为红色滤光单元,或者,所述背景像素单元上方透明。
对应地,非背景色像素单元上方所设置的滤光单元与背景像素单元上方所设置的滤光层的颜色不同,例如,非背景色像素单元上方设置红色滤光单元,背景像素单元上方设置有绿色滤光层,或者背景像素单元上方未设置滤光层。
应理解,在本申请实施例中,该第二阈值可以为水平方向连续的像素单元的个数,例如,6个,或者也可以为竖直方向连续的像素单元的个数,例如6个,或者也可以为水平方向连续的像素单元的个数和竖直方向连续的像素单元的个数,即连续的像素单元的面积,例如6*6,本申请实施例对此不作限定。
需要说明的是,在本申请实施例中,多个滤光单元组中的每个滤光单元组中的滤光单元的颜色和位置的设置方式可以相同,或者也可以变更其中的某个或某几个滤光单元组中的一个或多个滤光单元的颜色和/或位置,也就是说,可以对滤光单元组中的滤光单元的颜色和/或位置进行局部调整,只要不影响指纹识别性能即可,本申请实施例对此不作限定。
可选地,在本申请实施例中,该指纹识别装置20还可以包括:
处理器230,用于根据所述至少两个像素单元采集的指纹图像,确定指纹图像是否来自真实手指。
具体而言,光学指纹传感器的多个像素单元可以对从待识别物体表面反射的指纹检测信号进行成像,进一步地,该处理器可以提取并重组该多个像素单元中的特征像素单元所采集的指纹图像,得到低分辨率的彩色指纹图像,然后该处理器230可以将该低分辨率的彩色指纹图像输入到已训练成功的深度学习网络,通过该深度学习网络对该彩色指纹图像进行处理,确定该彩色指纹图像是否来自真实手指。
可选地,在本申请实施例中,该处理器230可以为指纹模组中的处理器,例如,微控制器(Micro Control Unit,MCU),或者也可以为电子设备中的处理器,例如主控(Host)模块,本申请实施例对此不作限定。
可选地,在本申请实施例中,该深度学习网络可以为卷积神经网络,或者其他深度学习网络,本申请实施例对此不作限定。以下,以卷积神经网络为例,说明具体的训练过程。
首先,构建卷积神经网络结构,例如可以采用图7所示的二层卷积神经网络,或者也可以采用三层网络结构或更多层网络结构,每层卷积网络结构的构成也可以根据待提取的指纹信息进行调整,本申请实施例对此不作限定。
其次,设置该卷积神经网络的初始训练参数和收敛条件。
可选地,在本申请实施例中,该初始训练参数可以是随机生成的,或根据经验值获取的,或者也可以是根据大量的真假指纹数据预训练好的卷积神经网络模型的参数,本申请实施例对此不作限定。
可选地,在本申请实施例中,该收敛条件可以包括以下中的至少一项:
1、将真实手指的彩色指纹图像判定为真实手指的指纹图像的概率大于第一概率,例如,98%;
2、将假手指的彩色指纹图像判断为假手指的指纹图像的概率大于第二概率,例如95%;
3、将真实手指的彩色指纹图像判定为假手指的指纹图像的概率小于第三概率,例如,2%;
4、将假手指的彩色指纹图像判断为真实手指的指纹图像的概率小于第四概率,例如3%。
然后,向该卷积神经网络输入大量的真实手指和假手指的彩色指纹图像,该卷积神经网络可以基于初始训练参数对上述彩色指纹图像进行处理,确定对每个彩色指纹图像的判定结果,进一步地,根据该判定结果,调整卷积神经网络的结构和/或各层的训练参数,直至判定结果满足收敛条件。
之后,可以将特征像素单元采集的其他彩色指纹图像输入到该卷积神经网络,从而该卷积神经网络可以使用训练好的参数对该彩色指纹图像进行处理,确定该彩色指纹图像是否来自真实手指。
可选地,在本申请实施例中,该处理器230可以在该背景像素单元采集的指纹图像与注册的该待识别物体的指纹模板匹配的情况下,进一步判断该待识别物体是否为真实手指,在该待识别物体为真实手指的情况下确定指纹认证成功,从而执行触发该指纹识别的操作,例如,进行终端解锁或支付等操作。
可选地,在本申请实施例中,该处理器230也可以在该待识别物体为真实手指的情况下,进一步判断该背景像素单元采集的指纹图像是否与注册的该待识别物体的指纹模板匹配,在匹配的情况下确定指纹认证成功,进一步执行触发该指纹识别的操作,例如,进行终端解锁或支付等操作。
可选地,在本申请实施例中,该指纹识别装置200还可以包括光学组件,该光学组件可以对应于图1中的光学组件132,这里不再赘述。
上文结合图3至图7,详细描述了本申请的装置实施例,下文结合图8,详细描述本申请的方法实施例,应理解,方法实施例与装置实施例相互对应,类似的描述可以参照装置实施例。
图8是本申请实施例的指纹识别方法的示意性流程图,应理解,该方法400可以应用于如图3所示的指纹识别装置20中,如图8所示,该方法400包括:
S401,通过光学指纹传感器的多个像素单元采集待识别物体的指纹图像,其中,所述多个像素单元中的至少两个像素单元的上方设置有至少两个滤光单元,每个滤光单元对应一个像素单元,所述至少两个滤光单元包括至少两种颜色的滤光单元。
可选地,该方法400可以由该指纹识别装置中的处理器,例如,指纹模组中的微控制器(Micro Control Unit,MCU)来执行,或者也可以由电子设备中的处理器,例如主控(Host)模块来执行,本申请实施例对此不作限定。
可选地,在一些实施例中,所述方法400还可以包括:
根据所述至少两个像素单元采集的待识别物体的指纹图像,确定所述待识别物体是否为真实手指。
可选地,在一些实施例中,所述根据所述至少两个像素单元采集的待识别物体的指纹图像,确定所述待识别物体是否为真实手指,包括:
通过深度学习网络对所述至少两个像素单元采集的所述待识别物体的指纹图像进行处理,确定所述待识别物体是否为真实手指。
可选地,在一些实施例中,所述方法还包括:
通过所述光学指纹传感器采集多个真实手指和假手指的指纹图像;
提取每个指纹图像中所述滤光单元对应的像素单元的采样值,重组得到彩色指纹图像;
将所述彩色指纹图像输入至深度学习网络进行训练,得到所述深度学习网络的模型和参数。
可选地,在一些实施例中,所述方法还包括:
根据所述多个像素单元中除所述至少两个像素单元以外的其他像素单元采集的指纹图像进行指纹识别。
可选地,本申请实施例中,可以先确定该待识别物体是否为真实手指,然后在该待识别物体为真实手指的情况下,再确定该待识别物体的指纹信息与录入的该待识别物体的指纹信息是否匹配,在同时满足上述两个条件的情况下,确定指纹认证成功,进一步执行触发该指纹识别的操作,例如,进行终端解锁或支付等操作。
或者,也可以首先判断该待识别物体的指纹信息与录入的该待识别物体的指纹信息是否匹配,在指纹匹配成功的情况下,进一步判断该待识别物体是否为真实手指,然后在该待识别物体为真实手指的情况下,确定指纹认证成功,进一步执行触发该指纹识别的操作,例如,进行终端解锁或支付等操作。
可选地,在一些实施例中,所述至少两个滤光单元包括多个第一滤光单元,其中,所述多个第一滤光单元的颜色与所述多个像素单元中除所述至少两个像素单元以外的其他像素单元上方所设置的滤光层的颜色不同,或所述其他像素单元上方未设置滤光层。
可选地,在一些实施例中,所述多个第一滤光单元的数量与所述多个像素单元的总数量的比例小于第一阈值。
可选地,在一些实施例中,所述第一阈值为5%。
可选地,在一些实施例中,所述多个第一滤光单元中连续的滤光单元的个数小于第二阈值。
可选地,在一些实施例中,所述第二阈值为8。
可选地,在一些实施例中,所述至少两个滤光单元构成至少一个滤光单元组,每个滤光单元组包括至少两个滤光单元,所述滤光单元组中相邻的滤光单元包括至少两种颜色的滤光单元。
可选地,在一些实施例中,若所述多个像素单元中除所述至少两个像素单元以外的其他像素单元上方设置有绿色滤光层,所述滤光单元组中相邻的滤光单元只包括红色滤光单元和蓝色滤光单元;或者
若所述其他像素单元的上方未设置滤光层,所述滤光单元组中相邻的滤光单元包括红色滤光单元、绿色滤光单元和蓝色滤光单元中的至少两种。
可选地,在一些实施例中,所述至少两个滤光单元中的每个滤光单元的波段范围只包括用于指纹检测的光信号的波段范围中的部分。
可选地,在一些实施例中,所述至少两个滤光单元构成多个滤光单元组,所述多个滤光单元组离散分布在由所述多个像素单元构成的像素阵列中。
可选地,在一些实施例中,所述多个滤光单元组呈长方形、正方形、菱形或圆形均分分布在所述光学指纹传感器的像素阵列中。
可选地,在一些实施例中,所述滤光单元为彩色滤光材料,所述彩色滤光材料包括红色滤光材料、绿色滤光材料和蓝色滤光材料中的至少一种。
可选地,在一些实施例中,所述滤光单元为彩色滤光片,所述彩色滤光片为红色滤光片、绿色滤光片和蓝色滤光片中的一种。
以下,结合图9所示的具体实施例,说明根据本申请实施例的指纹识别方法,如图9所示,该方法可以包括如下内容:
S41,通过光学指纹传感器采集指纹图像;
其中,该指纹图像包括普通像素单元所采集的指纹图像以及特征像素单元所采集的指纹图像。
进一步地,在S42中,提取并重组该指纹图像中普通像素单元采集的指纹图像记为灰度指纹图像,以及特征像素单元所采集的指纹图像,即彩色指纹图像;
然后在S43中,将该灰度指纹图像与注册的指纹模板进行指纹匹配,确定是否匹配成功。
若匹配成功则执行S44,否则,执行S46,确定认证失败,拒绝执行该触发该指纹认证的操作,例如解锁屏幕或支付类操作等。
应理解,在该S43中,在进行指纹匹配前,可以先对灰度指纹图像中特征像素单元位置缺失的指纹信息进行插值或拟合等处理,得到完整的指纹图像,具体实现可以参考前述实施例的相关描述。
在S44中,根据彩色指纹图像确定是否来自真实手指;
具体地,可以将该彩色指纹图像输入到深度学习网络,以确定该彩色指纹图像是否来自真实手指。
若来自真实手指则执行S45,确定认证成功,则执行触发指纹认证的操作,例如解锁屏幕或支付类操作等。
应理解,在本申请实施例中,在S42之后,也可以先执行S44,在确定为来自真实手指的情况下,再执行S43,否则直接确定指纹认证失败,这里不对具体执行过程作具体限定。
如图10所示,本申请实施例还提供了一种电子设备700,所述电子设备700可以包括指纹识别装置710,该指纹识别装置710可以为前述装置实施例中的指纹识别装置20,其能够用于执行图8至图9中所述方法实施例中的内容,为了简洁,这里不再赘述。
应理解,本申请实施例的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例的指纹识别还可以包括存储器,存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图8所示实施例的方法。
本申请实施例还提出了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行图8所示实施例的方法。
本申请实施例还提供了一种芯片,该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线,该至少一个存储器用于存储指令,该至少一个处理器用于调用该至少一个存储器中的指令,以执行图8所示实施例的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。