具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
近年来,基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科,涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支,具体是让机器识别世界,计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步,该项技术在众多领域展开了应用,例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
以屏下皮肤纹路(例如,包括指纹和掌纹)识别为例,示例性阐述现有技术存在的相关问题。需要说明的是,对于非屏下的皮肤纹路识别也会同样面临仅根据采集皮肤纹路进行成像处理导致的获取的皮肤纹路图像不佳的技术问题,因此本申请一些实施例的技术方案既可以用于屏下皮肤纹路识别也可以应用于非屏下的皮肤纹路识别,例如掌纹识别、电容式指纹识别或超声波式指纹识别。
相关技术的光学皮肤纹路(例如,指纹)识别技术在使用隐藏在显示屏幕下方的皮肤纹路采集单元(例如,光学传感器)来采集皮肤纹路(例如,指纹)信号时,由于受限于显示屏幕的遮挡,皮肤纹路采集单元及配套光学组件的体积,功耗,成本等因素,由皮肤纹路采集单元拍摄皮肤纹路图像时很容易受到环境光影响,且相关技术的皮肤纹路识别方法适应被采集皮肤纹路所属对象的状态变化能力也较差(例如,指纹识别方法适应手指状态变化的能力较差)。
本申请的发明人在研究中发现,一方面,在室外阳光环境下,指纹光学传感器的部分区域被阳光直射,会导致过曝,导致曝光参数出现偏差,若不对采集得到的指纹图像做校正处理,会影响指纹采集区域的指纹成像。另一方面,在环境温度较低的环境下,由于低温导致手指较干燥,因此皮肤纹路与采集区域的屏幕接触不良(即人的手指会进入干冷状态),其指纹信号和常温状态有明显差异,需要图像处理算法执行额外的干冷校正流程。而考虑到用户实际使用场景的环境光比较复杂,且人的手指也具有多样性(例如,人的手指存在干冷或者非干冷状态),因此仅通过指纹传感器采集的指纹特征难以快速、有效完成复杂状态的皮肤纹路图像的采集和处理工作,这将进一步影响根据这些指纹图像进行指纹识别的准确率和识别的速度。
至少为了解决上述技术问题,本申请的一些实施例通过设置环境光采集单元以采集环境光特征参量的值,进而提升皮肤纹路采集单元采集的图像质量。本申请的另一些实施例通过设置温度采集单元以采集温度特征参量的值,以确定是否对皮肤纹路采集单元采集的皮肤纹路图像进行校正处理。本申请的又一些实施例中,设置用于采集环境光特征参量的值的环境光采集单元和用于采集温度特征参量的值的温度采集单元。
如图1所示,本申请的一些实施例提供一种获取皮肤纹路图像的模组10,该获取皮肤纹路图像的模组10包括:图像传感器11以及环境参量传感器12。
图1的图像传感器11用于采集皮肤纹路图像。例如,在本申请的一些实施例中,图像传感器11用于采集指纹图像。在本申请的一些实施例中,图像传感器11用于采集掌纹图像。在本申请的一些实施例中,图像传感器11位于显示屏幕的下方,可以进行屏下指纹图像采集。需要说明的是,图像传感器11包括:光学图像传感器、半导体图像传感器或者超声波式图像传感器等,本申请的实施例不限定图像传感器11的具体类型。
图1的环境参量传感器12设置于图像传感器11的相邻区域(后文图4会示例性说明该实施例),这样一方面可以保证该环境参量传感器不影响携带皮肤纹路特征的反射光线到达图像传感器11,另一方面由于环境参量传感器12采集的是图像传感器11的相邻区域的环境特征参量的值,因此能更好反应环境特征,进而提升根据这些特征的与图像传感器11采集的指纹图像进行信息融合,得到质量更好的皮肤纹路图像。
在本申请的一些实施例中,环境参量传感器12设置于图像传感器11的相邻区域即环境参量传感器12与图像传感器11的距离小于或等于设定阈值。本申请的实施例并不限定设定阈值的大小,本领域技术人员可以根据被采集的特征参量的类型来确定环境参量传感器与图像传感器11之间的实际距离,以保证能够采集到环境特征参量的值且不影响图像传感器采集皮肤纹路图像。
例如,在本申请的一些实施例中,图像传感器11为光学指纹传感器,则环境参量传感器12的设置位置不应该遮挡携带了皮肤纹路信息的光信号,且环境参量传感器12能够采集对指纹图像进行拍摄时手指所处环境的环境光光强值或者手指所处环境的温度。可以理解的是,在本申请的一些实施例中,用于采集环境光光强的传感器可以设置在靠近图像传感器11的位置以获取并采集指纹时刻的环境光的光强,用于采集温度的传感器可以设置在靠近图像传感器11的位置以能够尽可能准确的获取和采集手指的温度或者手指所处环境的温度。
图1的环境参量传感器12被配置为采集至少一个环境特征参量的值。例如,在本申请的一些实施例中环境参量传感器包括:环境光传感器和/或温度传感器,在本申请的另一些实施例中,环境参量传感器还包括湿度传感器。也就是说,在本申请的一些实施例中图1的模组10包括图像传感器11和环境光传感器。在本申请的一些实施例中图1的模组10包括图像传感器11和温度传感器。在本申请的一些实施例中,图1的模组10包括图像传感器、环境光传感器以及温度传感器。
在本申请的一些实施例中,图1的模组10还包括:镜头(图1未示出),其中,环境参量传感器12设置于镜头中(如图4所示),即封装于模组10内部作为该模组的一部分。在本申请的一些实施例中,镜头包括:镜筒(图1中未示出)、与镜筒连接的壳体(图1中未示出)和设置在该镜筒内的透镜(图1中未示出),该壳体内设置有容纳空间,环境参量传感器设置于该容纳空间中。
也就是说,在本申请的一些实施例中环境光传感器设置在容纳空间中,在本申请的一些实施例中温度传感器设置在容纳空间中,在本申请的一些实施例中环境光传感器和温度传感器设置在容纳空间中。
在本申请的一些实施例中,图1的模组10还包括:电路板(图中未示出),该电路板与图1的图像传感器11连接,其中,温度传感器被设置在该电路板上。可以理解的是,在本申请的一些实施例中,该电路板至少用于将图像传感器采集的信号传输至处理器。
在本申请的一些实施例中,图1的模组10可以设置在电子设备的显示屏幕下方。在本申请的一些实施例中,图1的模组10为获取指纹图像的装置。在本申请的一些实施例中,图1的模组为获取指纹图像的装置,且模组10设置在显示屏幕下方,该模组10用于屏下指纹图像采集。
在本申请的一些实施例中,图像传感器为光学采集单元,所述模组用于设置在电子设备的显示屏幕下方。例如,在本申请的一些实施例中图像传感器为光学指纹传感器,该光学指纹传感器可以进行屏下指纹采集。
需要说明的是,图1的环境参量传感器用于采集皮肤纹路所属对象的特征和/或所述对象所处环境的特征。在本申请的一些实施例中,当采集的皮肤纹路为指纹时,则在图像传感器11采集指纹图像的同时(或者在与采集指纹图像相邻近的某个时刻,或者与采集指纹图像相邻近的某段时间)环境参量传感器用于采集手指(即皮肤纹路所属对象)采集手指所处环境的环境光光强值。在本申请的一些实施例中,当采集的皮肤纹路为指纹时,则在图像传感器11采集指纹图像的同时(或者在与采集指纹图像相邻近的某个时刻,或者与采集指纹图像相邻近的某段时间)环境参量传感器用于采集手指所处环境的温度和手指所处环境的环境光光强值。
如图2所示,本申请的一些实施例提供一种第一电子设备20,该第一电子设备20包括:显示屏幕21以及如图1的模组10。为了避免重复,对于模组10的结构具体可以参考上述实施例,在此不做过多赘述。
图2的显示屏幕可以包括OLED或者LCD等显示面板。在本申请的一些实施例中,模组10包括的图像传感器11(图2未示出)包括光学指纹传感器,则图2的模组10设置于显示屏幕21的下方。在本申请的另一些实施例中,模组10包括的图像传感器为电容式传感器,则该图像传感器可以位于第一电子设备20的背面或者侧边。
如图3所示,本申请的一些实施例还提供一种第二电子设备30,该第二电子设备30包括:包括图像传感器的第二模组31以及第一环境参量传感器32。
需要说明的是,在本申请的一些实施例中,第一环境参量传感器32包括至少一种类型的传感器。例如,在本申请的一些实施例中,图像传感器(即皮肤纹路传感器)为指纹图像传感器(或称为指纹采集单元),相应的第一环境参量传感器32包括用于采集手指所在环境的环境光强度的环境光传感器以及用于采集手指或者手指所在环境的温度的温度传感器,即环境参量传感器32包括两种类型的传感器。在本申请的另一些实施例中,第一环境参量传感器32包括一种类型的传感器。例如,在本申请的一些实施例中,皮肤纹路传感器为指纹采集传感器,相应的第一环境参量传感器32为用于采集手指所在环境的环境光强度的环境光传感器,或者该第一环境参量传感器32为用于采集手指或者手指所在环境的温度的温度传感器。
图3的第二模组31包括皮肤纹路传感器(图中未示出,对应于图1的图像传感器),用于采集皮肤纹路图像。与图1不同的是,图3的用于采集环境特征参量值的环境参量采集单元(包括第一环境参量传感器)全部或者部分设置于第二模组31的外部。也就是说,在本申请的一些实施例中,环境参量采集单元即第一环境参量传感器,该环境参量采集单元全部位于第二模组31的外部。在本申请的另一些实施例中,环境参量采集单元既包括第一环境参量传感器32还包括设置在第二模组31内部的其他的环境参量传感器。
在本申请的一些实施例中,第一环境参量传感器32包括:环境光传感器和/或温度传感器。例如,在本申请的一些实施例中,第一环境参量传感器32仅包括位于第二模组31外部的环境光传感器。在本申请的一些实施例中,第一环境参量传感器32仅包括位于第二模组31外部的温度传感器。在本申请的一些实施例中,第一环境参量传感器32包括环境光传感器和温度传感器。
为了在第二模组31外部设置环境参量采集单元,在本申请的一些实施例中,图3的第二电子设备30还包括中框(图中未示出)和显示屏幕21,该中框设置有开孔,且该中框、模组31以及显示屏幕21形成有空腔结构,其中,第一环境参量传感器32设置于该空腔结构中。
下面以显示屏幕为参照物示例性阐述图3的第二电子设备30包括的第一环境参量传感器32的设置位置。
在本申请的一些实施例中,第一环境参量传感器32在显示屏幕21上的投影位于第一相邻区域,其中,该第一相邻区域为皮肤纹路采集区域与中框上开孔在显示屏幕上的投影区域相重叠的区域。也就是说,当第一环境参量传感器32包括环境光传感器和/或温度传感器时,则第一环境参量传感器32可以位于第一相邻区域。
在本申请的一些实施例中,第一环境参量传感器32为温度传感器,则该温度传感器在显示屏幕上的投影除了可以位于第一相邻区域之外,还可以位于第二相邻区域,其中,所述第二相邻区域为中框上开孔在所述显示屏幕上的投影区域的外围区域。
需要说明的是,本申请一些实施例的电子设备包括手机、平板电脑或者笔记本电脑等产品。第一相邻区域和第二相邻区域的大小可以根据经验值设置,本申请的实施例并不限定第一相邻区域和第二相邻区域的具体形状或者大小。可以理解的是,第一相邻区域和第二相邻区域的描述用于阐述这些区域距离皮肤纹路采集单元在显示屏幕上的投影区域较近。
正如上文所述,在本申请的一些实施例中环境参量采集单元除了包括图3的第一环境参量传感器32之外,还包括位于第二模组31中的环境参量传感器,具体可以参考图4。
图4示例性提供了第二电子设备30的另一种结构,图4与图3的差异在于该图的第二电子设备30除了包括图3的第一环境参量传感器32之外,还包括位于模组31中的环境参量传感器。需要说明的是,在本申请的一些实施例中,图4的第一环境参量传感器32包括一种类型的环境参量传感器,此时为了获取尽可能多的多模态信息以校正皮肤纹路采集单元34采集的皮肤纹路图像,需要在第二模组31中设置第二环境参量传感器33。第二环境参量传感器33与所述第一环境参量传感器32采集的特征参量的类型不同。在本申请的一些实施例中,第二环境参量传感器33包括温度传感器或环境光传感器。
例如,在本申请的一些实施例中,图4的第一环境参量传感器32为环境光传感器,则第二模组31还包括温度传感器,也就是说第二环境参量传感器33为温度传感器,且环境光传感器在所述显示屏幕上的投影位于第一相邻区域,其中,所述第一相邻区域为皮肤纹路采集区域与所述开孔在所述显示屏幕上的投影区域相重叠的区域。
例如,在本申请的一些实施例中,图4的第一环境参量传感器32为温度传感器,则第二模组31还包括环境光传感器,也就是说第二环境参量传感器33为环境光传感器。其中,温度传感器在所述显示屏幕上的投影位于第一相邻区域或者第二相邻区域,所述第一相邻区域为皮肤纹路采集区域与所述开孔在所述显示屏幕上的投影区域相重叠的区域,所述第二相邻区域为所述开孔在所述显示屏幕上的投影区域的外围区域。
环境光传感器用于采集环境光强度(即采集皮肤纹路所属对象所处环境的环境光的光强信息),温度传感器用于采集温度数据(即采集皮肤纹路所属对象所处环境的温度或者采集皮肤纹路所属对象的文图)。
也就是说,在本申请的一些实施例中图4的第一环境参量传感器32为环境光传感器,且图4的第二环境参量传感器33为温度传感器。在本申请的另一些实施例中,第一环境参量传感器32为温度传感器,且第二环境参量传感器33为环境光传感器。例如,皮肤纹路采集单元为指纹采集单元,根据采集的手指所在环境的环境光光强信息并根据采集的手指所在环境(或者手指)的温度信息,可以保证采集的指纹图像更加清晰,方便进一步基于该指纹图像的防伪识别或者身份识别。
在本申请的一些实施例中,图4的第二电子设备30还包括显示屏幕21,且皮肤纹路采集单元34位于显示屏幕21下方的屏下指纹采集单元,此时为了保证环境光参量能被顺利采集以减少环境光信息对指纹成像信号的干扰,第一环境参量传感器32为所述环境光传感器,则环境光传感器在显示屏幕21上的投影位于第一相邻区域,其中,该第一相邻区域为皮肤纹路采集区域与中框上开孔在所述显示屏幕上的投影区域相重叠的区域。
在本申请的一些实施例中,图4的第二电子设备30还包括显示屏幕21,且皮肤纹路采集单元是位于显示屏幕21下方的屏下指纹采集单元,此时为了保证温度能被顺利采集以减少由于温度太低导致的采集的指纹图像较差的问题,第一环境参量传感器32温度传感器,其中,该温度传感器在所述显示屏幕上的投影位于第一相邻区域,其中,所述第一相邻区域为皮肤纹路采集区域与中框上开孔在所述显示屏幕上的投影区域相重叠的区域;或者所述温度传感器在所述显示屏幕上的投影位于第二相邻区域,其中,所述第二相邻区域为中框上开孔在所述显示屏幕上的投影区域的外围区域。
需要说明的是,图1-图4仅用于说明模组以及电子设备包括的元器件,并不用于阐述这些元器件的在模组或者电子设备中的摆放位置关系。例如,在本申请的一些实施例中图4的第二模组31可以位于显示屏幕21的下方,在本申请的另一些实施例中第二模组31也可以位于电子设备的背部或者侧面。例如,电子设备为手机,电容式的皮肤纹路采集单元可以位于手机的背部或者侧边。电子设备为手机,基于光学原理的皮肤纹路采集单元位于显示屏幕的下方。
下面结合图5以手机为例示例性阐述一个或多个环境参量传感器的设置位置。
请参看图5,图5为本申请的一些实施例提供的具有屏下指纹识别功能的手机内部的结构示意图。图5的手机100包括:指纹识别模组110、指纹传感器控制电路120以及处理器130。
图5的指纹识别模组110是由多个指纹传感器111(即皮肤纹路采集单元的一种)组成的指纹图像采集阵列。在本申请的一些实施例中,图5的指纹识别模组110也可以仅包括一个光学指纹传感器(例如,图5的指纹识别模组110仅包括一个指纹传感器)。例如,镜头式的指纹识别模组仅由一个光学传感器构成。
在本申请的一些实施例中,图5的指纹传感器控制电路120包括如下模块。
串行外设接口(Serial Peripheral Interface,SPI)模块(图中未示出),实现和处理器130的双向通信,即接收处理器130的指令和参数(例如,指令包括但不限于:复位,进入/退出休眠模式,开始曝光指令等,参数包括但不限于:曝光时间,数字增益,黑电平校正,Gamma曲线等),向处理器130发送反馈信息和采集的指纹图像数据。
存储模块(图中未示出),被配置为保存预先定义的光学指纹传感器(对应于皮肤纹路采集单元)、环境光传感器(即环境光采集单元)、温度传感器(即温度采集单元)等的配置参数。例如,配置参数包括但不限于模组型号,序列号,版本号等,曝光完成信息,图像数据校验码等。
传感器配置模块(图中未示出),被配置为根据存储模块和SPI接口模块提供的参数,生成传感器配置指令(例如,传感器配置指令涉及应当保密的传感器硬件设计细节等),并发送到相应的传感器(或称为相应的采集单元)。
图像采集和处理模块(图中未示出),被配置为对采集的指纹图像进行滤波,降采样等预处理操作。
系统控制模块(图中未示出),被配置为控制并协调指纹传感器控制电路120包括的上述模块之间的合作。
时钟和供电模块(图中未示出),被配置为向指纹传感器控制电路120包括的上述模块提供时钟信号和电源。
在本申请的一些实施例中,图5的处理器130(即手机的SoC(System on a Chip))被配置为根据环境光采集单元采集的环境光信息,生成曝光参数的目标值,该曝光参数的目标值用于调整曝光参数。在本申请的另一些实施例中处理器130被配置为根据温度采集单元采集的温度信息确定是否启动对由屏下光学指纹传感器采集的指纹图像进行干冷处理的操作。
需要说明的是,图5的这些部件位于手机对应的主机上,且手机100还包括显示屏幕(图5未示出),可以理解的是,主机位于显示屏幕的下方。在本申请的一些实施例中,图5的手机100还包括设置开孔的部件(图中未示出)。在一些实施例中,设置开孔的部件包括中框,该中框用于支撑固定显示屏幕和/或将模组与显示屏幕之间形成间隙,该支撑固定部件上的开孔是去掉不透光的层得到的,且该开孔不改变OLED像素且不影响显示功能。
图5的中第二区域142是开孔(例如,中框上的开孔)边界在主机上的投影区域,其中,本申请一些实施例的开孔使得手指反射的光或者环境光可以到达皮肤纹路采集单元,在一些实施例中开孔设置在显示屏幕上中心偏下的位置,主要是方便用户按压。图2的第一区域141表征指纹采集区域(即皮肤纹路采集区域,该第一区域是由开孔和设置的透镜共同确定的一个区域),在本申请一些实施例中环境光传感器在显示屏幕上的投影可以位于由第二区域142和第一区域141重叠形成的环形区域中(对应于皮肤纹路采集区域或指纹采集区域的第一相邻区域),以防止环境光采集单元遮挡反射光线的传播影响指纹成像,从图2中可以看出指纹采集区域或称为皮肤纹路采集区域属于第二区域142的一个内部区域。图2的第三区域143属于比第二区域142略大的区域(即第三区域属于开孔外的一个更大的相邻区域),可以理解的是,第三区域143相比第二区域142(第二区域142的边界就是开孔的边界)还包括不透光的相邻区域。
在本申请的一些实施例中,用于获取温度特征参量的值的温度传感器在显示屏幕上的投影位于由第三区域143和第一区域141构成环形区域中(即包括第一相邻区域和第二相邻区域,第二相邻区域即由第二区域142和第三区域143重叠形成的)。可以理解的是,图5的第二相邻区域是与第一相邻区域相邻的一个区域。需要说明的是,第三区域143和第二区域142边界之间的距离需要小于设定阈值,而该设定阈值可以通过多次测量获取。可以理解的是,在本申请的一些实施例中,第二区域142的边界就是中框上开孔的边界。需要说明的是,图5的三个圆形区域仅用于说明这三个区域的包含关系,而本申请的实施例并不限定这三个区域的形状必须是圆形,也不限定皮肤纹路采集区域的第一相邻区域或者第二相邻区域必须为环形,也就是说,在本申请的一些实施例中,开孔区域不是圆形的、皮肤纹路采集区域或者皮肤纹路采集区域也可以不是圆形的。
需要说明的是,在本申请的一些实施例中由图5的处理器130执行的获取指纹图像的过程也可以由指纹识别模组110中设置的微处理器来执行。在本申请的一些实施例中,图5的指纹传感器控制电路120也可以作为指纹识别模组110的一部分,即指纹传感器控制电路120集成在指纹识别模组110中。
图6是通过分层的方式展示的具有指纹识别功能的手机100的结构。图6的手机100包括由显示屏幕/显示面板和触摸屏构成的第一部件210以及位于第一部件210下层的机身220。
图6的开孔边界270(例如,中框上开孔的边界)为透光区域,光线可以通过开孔到达皮肤纹路采集单元(例如,光学指纹传感器)对应的皮肤纹路采集区域(例如,到达图4的第一区域141),之后再由光学指纹传感器完成皮肤纹路采集,得到皮肤纹路图像。需要说明的是,图6的显示屏幕的类型包括OLED、LCD等,图6的开孔设置在手机100的下部240,在本申请的另一些实施例中,开孔也可以设置在手机100的上部230等其它位置。
图6的机身220上包括与开孔在主机对应的投影区域内部设置的指纹识别模组110,图6的指纹识别模组110通过FPC排线250连接至机身220包括的印刷电路板(PCB)260上。也就是说,图6的FPC排线250实现指纹识别模组110和机身220对应的主板的电气连接。
需要说明的是,为了获取环境特征参量的值本申请的一些实施例需要布置环境光采集单元和温度采集单元。
具体地,在本申请的一些实施例中,如图6所示,环境光传感器需要设置于比开孔在机身220(或显示屏幕)上对应的投影区域(即图4的第二区域142)略小的环形区域(具体的,由第一区域141和第二区域142构成的环形区域)中这样可以保证不因为增加环境光采集单元而影响反射光线到达皮肤纹路采集单元中,同时又可以更好的采集环境光特征。也就是说,可以在屏下指纹传感器附近安装一个环境光传感器,直接感知指纹传感器在屏下接收到的环境光强度。
在本申请的一些实施例中,温度传感器可以设置在比开孔对应的投影区域略大的区域中(例如,温度采集单元设置于由图4的第一区域141和第三区域143重叠构成的环形区域中)。例如,如图6所示,温度传感器211设置在FPC排线250上。
下面结合图7示例性提供一种指纹识别模组,并结合该指纹识别模组示例性阐述本申请一些实施例的环境参量传感器的设置位置。
图7具有指纹识别解锁功能的手机包括显示屏幕310、指纹识别模组320、光学指纹采集单元330(可以理解的是,在图7中,透镜能够成像的区域小于镜筒的区域)、透镜340(该透镜用于将与开孔对应的触摸区域的手指反射的光线汇聚到与光学指纹采集单元330对应的感光区域上)。
图7的第二区域142是由中框上开孔边界在显示屏幕310上的投影区域,为了采集本申请一些实施例所需的环境特征参量的值需要设置温度传感器,在本申请的一些实施例中,温度传感器可以设置在比第二区域142(即开孔边界对应的投影区域)略大的区域(例如,由图7的第一直线L1和第三直线L3限定的第三环形区域M3中,对应于第二相邻区域),例如,将温度传感器固定在显示屏幕背面上的环形区域M3包括的第一位置点311。在一些实施例中,温度传感器可以设置第一区域141(即指纹采集区域)之外的相邻区域中(例如,由图7的第一直线L1和第二直线L2限定的第二环形区域M2中,即第一相邻区域中),例如,在接近指纹采集区域的第二位置点312处设置温度采集单元。在一些实施例中,温度传感器(或称为温度采集单元)还可以设置在指纹识别模组320的内部的第三位置点313。
在本申请的一些实施例中,将环境光传感器设置在与皮肤纹路采集单元对应的皮肤纹路采集区域的相邻区域,这样可以保证该环境光采集单元不影响携带皮肤纹路特征的反射光线到达皮肤纹路采集单元。例如,在图7的指纹采集单元330(皮肤纹路采集单元的一种)相邻区域的第三位置点313设置环境光采集单元(或称为环境光传感器),在该位置设置环境光采集单元不遮挡携带指纹特征的反射光线到达指纹采集单元330。
需要说明的,环境光传感器或者温度传感器位于皮肤纹路采集单元的相邻区域,或者位于第一相邻区域等区域的大小可以根据经验获得。需要说明的是,在本申请的一些实施例中皮肤纹路采集单元位于与中框上开孔位置对应的皮肤纹路采集区域,其中,所述的开孔用于使得光线到达所述皮肤纹路采集单元。
在本申请的一些实施例中,在显示屏幕下的皮肤纹路采集单元附近安装一个温度传感器,直接感知皮肤纹路采集单元附近的温度或感知皮肤纹路所属对象的温度。在本申请的另一些实施例中,在显示屏幕下由指纹采集单元构成的获取皮肤纹路图像的模组的内部、印刷电路板(Printed Circuit Board,PCB)或柔性电路板(Flexible PrintedCircuit,FPC)上集成用于获取温度特征参量的值的温度传感器。
需要说明的是,在本申请的另一些实施例中也可以不另外设置环境光采集单元和温度采集单元而直接利用具有指纹识别功能的终端设备已有的传感器来获取环境光特征参量的值和温度特征参量的值。图7中在显示屏幕310上示出了多个区域,仅用于说明这些区域的相对大小。用于限定图4的第二区域142的开孔是位于显示屏幕下方的支撑固定部件(例如,中框)上的开孔。
下面以获取指纹图像的过程为例,结合图8示例性阐述本申请一些实施例的获取皮肤纹路图像的方法。
从图8可以看出,一方面,本申请一些实施例的处理器130从环境光采集单元(例如,结合上文描述可知在一些实施例中环境光采集单元设置于第一相邻区域中)读取指纹采集时刻的环境光特征参量的值(例如,环境光强度值),之后处理器130会依据环境光特征参量的值获取曝光参数的目标值,再把生成的曝光参数的目标值经由指纹传感器控制电路120传输至指纹识别模组110,指纹识别模组110中的指纹采集单元根据曝光参数的目标值采集指纹特征得到调整曝光参数后的指纹图像,再将调整曝光参数后拍摄的指纹图像经由指纹传感器控制电路120传输至处理器130。另一方面,处理器130会读取温度采集单元采集的手指所处环境(对应于所述对象即手指所处环境的特征)或者手指(对应于用于表征被采集的皮肤纹路所属对象的特征)的温度特征参量的值,处理器130会根据该温度特征参量的值确定是否需要对指纹采集单元获取的指纹图像进行校正校正,以消除由于干冷原因导致的图像的质量问题。在本申请的一些实施例中,处理器130会输出经过干冷校正后的指纹图像或者识别结果。
需要说明的是,在本申请的一些实施例中由处理器130执行的获取指纹图像的过程也可以由指纹识别模组110中设置的微处理器来执行。
也就是说,在本申请的一些实施例中皮肤纹路获取模组完成图像采集和简单的处理(例如设定曝光参数的目标值,简单的固定参数滤波、降采样等),取得的指纹图像通过硬件接口传给手机SoC来执行本申请一些实施例提供的获取皮肤纹路图像的方法或者识别皮肤纹路图像的方法。在本申请的一些实施例中,在获取皮肤纹路图像的模组中直接集成处理能力更强的处理单元(例如,微处理器),将更多的图像处理,甚至是识别算法都在皮肤纹路获取模组中实现,具体地,由获取皮肤纹路图像的模组中集成的微处理器执行本申请一些实施例的获取皮肤纹路图像的方法或者识别皮肤纹路图像的方法,之后通过获取皮肤纹路图像的模组上设置的硬件接口传给手机的是“指纹识别通过”或者“防伪检测未通过”之类的识别结果信息。
下面结合一种具体的屏下指纹识别模组为例示例性阐述本申请的获取皮肤纹路图像的模组的结构。
如图9所示,本申请的一些实施例提供一种屏下指纹识别模组1200,该屏下指纹识别模组1200包括:指纹采集单元330和第一环境光传感器1202,其中,皮肤纹路采集单元设置在开孔在显示屏幕上的投影区域对应的皮肤纹路采集区域M1(对应于图5的第一区域141)。第一环境光传感器1202被设置于指纹采集单元330所在位置的相邻区域中,在该区域中环境光采集单元不遮挡携带皮肤纹路特征的反射光线到达指纹采集单元330,同时可以获取环境光特征。
在本申请的一些实施例中,屏下指纹识别模组1200还包括:温度传感器(图9中未示出),温度传感器被设置于指纹采集单元330所在位置的相邻区域中。也就是说,在图9中温度传感器可以设置在指纹采集单元330附近(不遮挡携带指纹特征的反射光的区域)且与皮肤纹路采集单元封装在一起。
需要说明的是,本申请一些实施例涉及的屏下指纹识别模组并不局限于图9的模组,在本申请的一些实施例中,获取皮肤纹路图像的模组也可以为超薄模组。
下面以封装一个环境参量传感器的模组以及在该模组外的另一个环境参量传感器为例,示例性阐述本申请一些实施例的电子设备。
如图10所示,本申请的一些实施例的第三电子设备40包括:显示屏幕21以及皮肤纹路图像的模组(图中未示出)。需要说明的是,在本申请的一些实施例中,获取皮肤纹路图像的模组被配置为获取与该显示屏幕21接触的被采集手指的指纹图像。
在本申请的一些实施例中,图10的第三电子设备40还包括:设置有开孔的中框(图中未示出中框),图10展示了开孔边界270在显示屏幕21上的投影区域,可以理解的是,相关技术中用于支撑手机的中框、用于获取皮肤纹路图像的模组以及显示屏幕21形成有空腔结构(图7中未示出),环境参量传感器(包括,环境光传感器和温度传感器中的至少一个)设置于所述空腔结构中。
在本申请的一些实施例中模组包括的指纹采集单元1380被配置为采集指纹采集区域(对应于皮肤纹路采集区域)的指纹特征,得到指纹图像。需要说明的是,环境参量传感器(图10未示出)被设置于所述皮肤纹路采集单元的相邻区域,其中,所述环境特征采集单元被配置为采集至少一个环境特征参量的值,所述环境特征参量用于表征被采集的皮肤纹路所属对象的特征和/或所述对象所处环境的特征。
如图10所示,在本申请的一些实施例中,环境参量传感器包括:第二环境光采集单元1301,该第二环境光采集单元1301设置于由指纹采集单元构成的获取皮肤纹路图像的模组中,且被配置为采集环境光特征参量的值,其中,环境光特征参量用于表征被采集的指纹所属的手指所处环境的光强特征;处理器1303,被配置为根据所述环境光特征参量的值获取曝光参数的目标值,并将所述曝光参数的目标值提供给指纹采集单元,以使指纹采集单元根据曝光参数的目标值采集所述指纹图像。
如图10所示,在本申请的一些实施例中,所述环境特征采集单元还包括:温度采集单元1302,设置于所述指纹采集区域的第二相邻区域(该第二相邻区域的具体含义可以参考上文描述),且被配置为采集温度特征参量的值,其中,温度特征参量用于表征被采集指纹所属的手指所处环境的温度或者用于表征所述手指的温度;其中,处理器1303还被配置为根据所述温度特征参量的值确定是否执行对由指纹采集单元1380采集的指纹图像的校正处理。在本申请的一些实施例中,所述温度采集单元包括温度传感器,所述电路板包括印刷电路板或者柔性电路板;其中,所述温度传感器设置于所述印刷电路板或者所述柔性电路板上。
在一些实施例中,处理器1303在确认低温标志位有效的情况下,启动对由指纹采集单元1380采集的指纹图像的干冷校正处理,其中,当所述温度特征参量的值低于设定温度阈值时所述低温标志位有效。
在一些实施例中,指纹采集单元1380为光学指纹传感器。
图10的指纹识别模组通过第二FPC排线1350连接至机身220包括的印刷电路板(PCB)上。也就是说,图10的第二FPC排线1350实现指纹识别模组和机身220对应的主板1360的电气连接。电路板包括印刷电路板(Printed Circuit Board,PCB)或柔性电路板(Flexible Printed Circuit,FPC)。在有一些实施例中,通过屏下指纹模组的FPC排线实现指纹识别模组和主板1360的电气连接。
下面结合图10示例性说明镜头采集某根手指的指纹时,本申请的一些实施例的指纹识别模组的具体工作过程。
第一步,在手机的显示屏幕21上的指纹采集区域显示一个提示图标(例如指纹形状的图示),指示用户按压此处可使用指纹识别功能。
第二步,用户手指按压提示图标。
第三步,手机SoC通过触摸事件得知用户已经按压了与开孔对应的指纹采集区域。
第四步,手机SoC控制显示屏幕21在与开孔对应的开孔区域发光,发出的光照射到用户的按压手指并向屏下反射。
第五步,通过按压的手指,使得反射的光线包含指纹信息信息,之后包含指纹信息的反射光线到达指纹采集单元1380。
第六步,手机SoC控制指纹采集单元1380,获取指纹特征的指纹图像。
需要说明的是,本申请的一些实施例还可以获取环境光采集单元采集的环境特征参量的值和温度采集单元采集的温度特征参数的值,之后再由SoC根据环境特征参量的值调整曝光参数的值,来获取指纹图像,再根据温度特征参量的值确定是否需要对采集得到的指纹图像进行干冷等校正处理。可以理解的是,开孔边界对应的开孔区域是确定的,而指纹采集区域(或称为皮肤纹路采集区域)以及指纹采集区域的相邻区域(或称为皮肤纹路采集区域的相邻区域)作为一个示例可以通过如下方式确定。
指纹采集单元1380能够拍摄的指纹区域(即指纹采集区域或称为皮肤纹路采集区域)最小,具体的与图4的第一区域141对应,开孔边界在显示屏幕上投影得到的区域如图4的第二区域142,其中,指纹采集区域相对于开孔区域的确切位置,可通过拍摄校准图的方式明确,校准只需要在设备出厂前做一次。手指按压时覆盖到显示屏幕的区域是大致的开孔区域的相邻区域。例如,开孔区域的相邻区域是与开孔区域边缘不超过5mm的区域,其中,“5mm”这个数值是估计的,本申请的实施例并不限定该距离的具体取值,本领域技术人员可根据实际装机进行调整。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。